能否在SDK中增加EmbeddingModels和Rerankers相关接口,同时做好归一化,目前看只有PY的sdk存在。
Opened this issue · 9 comments
dbc-2024 commented
如果有计划加入,麻烦告知一下大概的计划
yhmo commented
都加上去的话太重了,不好维护,得累死。
xiaofan-luan commented
3.0我们会增加服务端推理的能力。目前暂时没有计划在客户端增加这部分逻辑
dbc-2024 commented
都加上去的话太重了,不好维护,得累死。
RESTFUL里面加上可行?毕竟RAG应用,必须架设向量/重排服务,如果向量数据库里面自带方便非PY的开发人员。
xiaofan-luan commented
restful 应该没法加这个,没地方做模型servering
要么客户端做,要么需要再milvus内部做
dbc-2024 commented
pySDK里面的向量,本质是客户端本地做的?
xiaofan-luan commented
目前是的,服务端推理的能力要到3.0才提供
hcnhcn012 commented
没必要,不然容易被Embedding版本更新带着走,增加维护难度,我理解milvus既然是做向量库就集中做向量库,别像Langchain那样;我自己是这么干的,写一个springboot服务专门用来管向量库,另外再起一个fastapi服务专门去调那些embedding官方的接口,词嵌入做完了再给到springboot服务
dbc-2024 commented
没必要,不然容易被Embedding版本更新带着走,增加维护难度,我理解milvus既然是做向量库就集中做向量库,别像Langchain那样;我自己是这么干的,写一个springboot服务专门用来管向量库,另外再起一个fastapi服务专门去调那些embedding官方的接口,词嵌入做完了再给到springboot服务
目前我们也是。只是fastapi这块挂不同模型不太想维护。哈哈
xiaofan-luan commented
我们会在3.0提供对接推理服务的能力(但是Milvus不会自己做),用类似
OpenAIEmbeddingFunc, TritonEmbeddingFunc这样的能力对接不同的模型和推理服务