/torch-transformers-convert-onnx

Primary LanguagePython

image

第一种方法

参考: https://docs.spring.io/spring-ai/reference/api/embeddings/onnx.html
从远程down模型并转换成onnx optimum-cli export onnx -m BAAI/bge-large-zh-v1.5 onnx-output-folder

第二种

先下载模型到本地
抱抱脸连接: https://huggingface.co/BAAI/bge-large-zh-v1.5/tree/main
强内镜像地址:https://hf-mirror.com/
然后用torch或transformer转换onnx

后续

玩法一: 用java操作onnx embedding后入库(milvus or 其他)
玩法二: 用vllm或ollama加载模型生成接口, 实现增量数据同步