[开源推广] 「能工智人」把自己封装成 LLM

本帖使用社区开源推广，符合推广要求。我申明并遵循社区要求的以下内容：

• 我的帖子已经打上 开源推广 标签： 是


• 我的开源项目完整开源，无未开源部分： 是


• 我的开源项目已链接认可 LINUX DO 社区： 是


• 我帖子内的项目介绍，AI生成、润色内容部分已截图发出： 是


• 以上选择我承诺是永久有效的，接受社区和佬友监督： 是

以下为项目介绍正文内容，AI生成、润色内容已使用截图方式发出

Sotapi

SotAPI 是一个真人驱动的 LLM API 网关（The State-of-the-Art (SOTA) LLM API — powered by humans.）

用途：

• 这是一个 funny 项目


• 可以当做一个 contact 自己的途径（非常个性化）

声明

这个 IDEA 是在抖音看到一个博主分享的，但是他没开源，于是就自己糊了一个出来。

PS：其实本质上还是 IM 即时通讯系统 hhh

效果

核心流程

目前已经支持的功能（tag v0.2.0）：

• 上图核心流程（OpenAI Compatible + Telegram bot）


• 思考模板（未回复是输出自定义的思考模板：俺在跑步🏃‍♂️哩，俺在睡觉💤哩）


• 模型自定义（deepseek-v100-pro-max）


• 多平台构建（Windows、Linux、MacOS）


• docker-compose 一键部署


• fallback 机制（部分实现）

TODO：

• 动态配置加载/热重载（降低心智负担） 已基本实现（会有小幅重启时间）


• fallback 机制（用户不在线、超时等路由给其他用户/接入真的 LLM 简单回复/模板化回复 etc…）


• 多 Responser（User Pool）


• 多 LLM API 协议支持（目前仅做了 OpenAI /v1/chat/completion）


• 多模态（目前只支持文本）


• 多 Channel（目前仅适配 telegram）


• web（低优先级）


• …

一键快速启动

# 1. 创建工作目录并进入

mkdir sotapi && cd sotapi



# 2. 下载 docker-compose.yaml 与 示例配置文件

curl -fsSL https://raw.githubusercontent.com/Xbai-hang/sotapi/main/docker-compose.yaml -o

docker-compose.yaml

mkdir -p configs

curl -fsSL https://raw.githubusercontent.com/Xbai-hang/sotapi/main/configs/config.example.yaml -

o configs/config.yaml



# 3. 编辑配置（填入你的 api_key, telegram bot_token 和 recipient chat_id）

vim configs/config.yaml



# 4. 一键后台启动

docker compose up -d

共建

目前在实习，只能晚上稍微开发一下 Orz，月末离职后全力推进度

欢迎佬们试用，觉得有趣可以给个 star ^-^，欢迎提 PR、feature、bug、欢迎共建～

试用

试用地址（OPENAI Chat Completions 格式，随缘回复），建议自部署玩耍喵

• BaseURL: https://is.1hang.live/v1


• APIkey: CALL-ME