能否在SDK中增加EmbeddingModels和Rerankers相关接口，同时做好归一化，目前看只有PY的sdk存在。

Question

能否在SDK中增加EmbeddingModels和Rerankers相关接口，同时做好归一化，目前看只有PY的sdk存在。

Opened this issue 2 months ago · 9 comments

dbc-2024 commented 2 months ago

如果有计划加入，麻烦告知一下大概的计划

Answer 1 · 2024-06-19T09:04:49.000Z

都加上去的话太重了，不好维护，得累死。

Answer 2 · 2024-06-19T11:27:16.000Z

3.0我们会增加服务端推理的能力。目前暂时没有计划在客户端增加这部分逻辑

Answer 3 · 2024-06-22T13:17:57.000Z

都加上去的话太重了，不好维护，得累死。

RESTFUL里面加上可行？毕竟RAG应用，必须架设向量/重排服务，如果向量数据库里面自带方便非PY的开发人员。

Answer 4 · 2024-06-22T13:19:18.000Z

restful 应该没法加这个，没地方做模型servering
要么客户端做，要么需要再milvus内部做

Answer 5 · 2024-06-22T13:21:56.000Z

pySDK里面的向量，本质是客户端本地做的？

Answer 6 · 2024-06-22T13:39:52.000Z

目前是的，服务端推理的能力要到3.0才提供

Answer 7 · 2024-07-26T07:49:31.000Z

没必要，不然容易被Embedding版本更新带着走，增加维护难度，我理解milvus既然是做向量库就集中做向量库，别像Langchain那样；我自己是这么干的，写一个springboot服务专门用来管向量库，另外再起一个fastapi服务专门去调那些embedding官方的接口，词嵌入做完了再给到springboot服务

Answer 8 · 2024-07-26T08:15:14.000Z

没必要，不然容易被Embedding版本更新带着走，增加维护难度，我理解milvus既然是做向量库就集中做向量库，别像Langchain那样；我自己是这么干的，写一个springboot服务专门用来管向量库，另外再起一个fastapi服务专门去调那些embedding官方的接口，词嵌入做完了再给到springboot服务

目前我们也是。只是fastapi这块挂不同模型不太想维护。哈哈

Answer 9 · 2024-07-27T09:08:43.000Z

我们会在3.0提供对接推理服务的能力（但是Milvus不会自己做），用类似

OpenAIEmbeddingFunc， TritonEmbeddingFunc这样的能力对接不同的模型和推理服务