Toolify——为任意LLM API添加完善的Function Calling支持

2025/7/31更新：添加模型映射

项目地址：

博文地址：

本程序在实现上类似于Open WebUI的code interpreter功能，通过xml标签让AI调用函数。事实上站内N佬已经发过一个类似的实现：让任何 OpenAI 兼容渠道强行支持 Function Call !! 美中不足的是不支持多工具调用，并且要求模型在开头立刻输出函数调用，无法输出其他的文本内容。

刚好之前公益站很多人说希望模型支持函数调用，于是写了这个项目。已经在公益站测试了一段时间，自己也用着，感觉没有很大的问题，遂发布。

本项目应该可以最大程度上让不支持函数调用的OpenAI compatible接口/模型支持函数调用：

• 允许模型在输出的任何地方调用函数


• 兼容<think>思维链


• 支持一次性多函数调用


• 支持多上游渠道配置


• 模型可以看到自己上次调用的具体函数和参数


• 支持Docker Compose快速部署

两点说明：

1. 为了兼容流式响应，流式输出时实际上会逐个扫描模型的输出结果，所以流式请求传入tools参数会导致输出变慢变卡


2. 由于是通过提示词实现的，肯定效果不如原生支持Function Calling的接口好，但胜在能用，性能好的模型调用起来应该没太大问题。我自己在公益站的所有模型上都应用了，自己也测试过，还是可以的

嗯，好像想不到什么其他可以说的了，就这样吧。

大家有用上的可以给个star，谢了。