自建了个"多模型并排"的 AI 入口,跑在 NAS 上,全家共享

zcbgood 2026-06-26 14:19 1

想输入一句话,让 Claude / GPT / Gemini 同时回答、并排比较。现成工具不顺手(收费 / 不让填 key / 不能并排),就自己搭了。


做法:



  • 把访问统一成一个 OpenAI 兼容接口

  • 前面套 Open WebUI (并排 + 合成一个答案)

  • 两个服务 Docker 跑在群晖 NAS ,24h 常驻

  • key 只存服务端,永不下发浏览器

  • 规则分流:只让国外模型域名走代理,国内直连


踩的坑:半夜崩是 NAS 的 inotify 实例数满了;代理坏节点用"健康检查指向真实模型接口"自动剔除。


写成长文 + 架构图了: https://zerblion.github.io/zrxl_blog/#/post/2026-06-21-multi-model-ai-gateway
顺便问下,大家的自托管多模型都怎么搞的?

最新回复 (1)
  • alfawei 06-26 18:09
    1
    挺有意思的想法 要能在手机端实现就好了。我用 docker 在群晖上部署了一个 deepseek 接口接入到 synology chat
* 帖子来源V2EX
返回