为各种gpt代理或未提供函数调用功能的模型提供function calling能力。
启动服务,假设是http://127.0.0.1:8000
,目标服务baseUrl是http://yourgpt.com
,则客户端配置baseUrl为http://127.0.0.1:8000/proxy/http://yourgpt.com
一旦LLM产生工具调用,如果是客户端工具,则交给客户端处理,如果是本服务内工具,则执行后将结果交给上游LLM处理后把最终响应返回给客户端。
本服务提供工具列表
和工具调用
接口,供其他服务使用。 计划支持级联模式。