function-server

为各种gpt代理或未提供函数调用功能的模型提供function calling能力。

使用方式

中间代理模式

启动服务,假设是http://127.0.0.1:8000,目标服务baseUrl是http://yourgpt.com,则客户端配置baseUrl为http://127.0.0.1:8000/proxy/http://yourgpt.com

一旦LLM产生工具调用,如果是客户端工具,则交给客户端处理,如果是本服务内工具,则执行后将结果交给上游LLM处理后把最终响应返回给客户端。

独立工具服务模式

本服务提供工具列表工具调用接口,供其他服务使用。 计划支持级联模式。