部署 embedding服务到函数计算上注:当前项目为 Serverless Devs 应用,由于应用中会存在需要初始化才可运行的变量(例如应用部署地区、服务名、函数名等等),所以不推荐直接 Clone 本仓库到本地进行部署或直接复制 s.yaml 使用,强烈推荐通过
s init
的方法或应用中心进行初始化,详情可参考部署 & 体验 。
使用该项目,您需要有开通以下服务:
服务 | 备注 |
---|---|
函数计算 FC | 对 AIGC 进行 CPU 推理计算 |
文件存储 NAS | 存储 AIGC 的模型, 新用户请先领取免费试用资源包https://free.aliyun.com/?product=9657388&crowd=personal |
推荐您拥有以下的产品权限 / 策略:
您还需要注意:
1.项目依赖阿里云函数计算和阿里云文件存储 Nas,这两款产品都会产生资费,请关注您的资源包使用情况和费用情况 2.项目部署成功之后确保模型加载完毕(左上角选择框有模型显示)再开始推理 3.项目初始启动有大约 1 分钟的白屏时间,这是服务完全冷启动的状态,请耐心等待
免责声明:
- 该项目的构建镜像及应用模板完全开源,由社区开发者贡献,阿里云仅提供了算力支持;
- 🔥 通过 Serverless 应用中心 , 该应用。
- 通过 Serverless Devs Cli 进行部署:
- 安装 Serverless Devs Cli 开发者工具 ,并进行授权信息配置 ;
- 初始化项目:
s init fc-chat -d fc-chat
- 进入项目,并进行项目部署:
cd fc-chat && s deploy - y
使用该项目,您需要有开通以下服务:
服务 | 备注 |
---|---|
函数计算 FC | |
文件存储 NAS |
推荐您拥有以下的产品权限 / 策略:
本应用旨在帮助开发者实现将Sentence Transformers应用部署到阿里云函数计算,并且提供动态管理模型插件等能力
- 安装 Serverless Devs Cli 开发者工具
npm install @serverless-devs/s -g
,并进行授权信息配置 ; - 初始化项目:
s init fc-embedding-api -d fc-embedding-api
- 进入项目,并进行项目部署:
cd fc-embedding-api && s deploy - y
本地部署成功后使用部分参考应用中心部署方案配置管理后台系列操作
您如果有关于错误的反馈或者未来的期待,您可以在 Serverless Devs repo Issues 中进行反馈和交流。如果您想要加入我们的讨论组或者了解 FC 组件的最新动态,您可以通过以下渠道进行:
微信公众号:serverless |
微信小助手:xiaojiangwh |
钉钉交流群:33947367 |