为了和小偶像打电话，我做了个对特定IP的类酒馆小游戏 | Eidolon-SC | 由 jev, RAG, ASR&TTS 等技术实现

本帖使用社区开源推广，符合推广要求。我申明并遵循社区要求的以下内容：

• 我的帖子已经打上 开源推广 标签： 是


• 我的开源项目完整开源，无未开源部分： 是


• 我的开源项目已链接认可 LINUX DO 社区： 是


• 我帖子内的项目介绍，AI生成、润色内容部分已截图发出： 是


• 以上选择我承诺是永久有效的，接受社区和佬友监督： 是

以下为项目介绍正文内容，AI生成、润色内容已使用截图方式发出

项目demo：http://283ai.hmhnk.top/

项目地址：GitHub - Sallyn0225/eidolon-sc: 和《偶像大师 闪耀色彩》偶像实时语音/文字对话的 AI 分身：日语原声 + 中文字幕、回忆原作剧情、跨角色共享记忆；支持 Google/GitHub 登录与自带密钥，Docker Compose 一键部署（参考 LAPLACE Eidolon） · GitHub

[!note] 有一些你可能需要知道的东西

• 我本身一点编程也不会 这个东西都是我AI出来的 只是稍微学习了下怎么用AI开发的流程


• 这并不是一个通用的酒馆框架 而是专门服务于某个IP的产物 而且没有NSFW相关 更像是实验性质的产物


• 发出去之后为了避免众口难调也为了防止没有代码基础的我乱合PR 因此PR被我锁掉了 玩法都是按照自己奇怪的偏好来的

先给大家看几张图（其实也就是readme里面有的东西，我手动截几张罢了）

大概项目有这几个我觉得可以拿出来说的地方：

• 实时语音通话：提供了soniox和qwen的ASR，再配合fish audio的流式语音合成，就可以实现延迟非常低的通话功能，搭配大肥鱼的low思考等级非常快。


• 立绘变化：大家肯定都知道之前被炒作的jev模型，本质上这就是个打分模型。于是我提前搞了几套表情预设，根据每次角色说的话来给情绪打分，再使用对应的表情，看上去就像角色在实时做表情一样了。


• 记忆系统：做的比较糙的一个系统，和大部分的记忆功能类似。长期记忆，所有角色的记忆是共用的，情报网belike。


• 换装系统：把原作的spine立绘找出来，然后再用spine的引擎，就可以实现spine立绘的运动了。


• NovelAI生图：在聊天的时候适时要求角色发送照片，那么就会根据当时的聊天内容发送一张由NovelAI生成的照片。特地做了反NSFW 算是我个人的一个原则。


• 好感度与礼物系统：其实好感度是饺子，而用jev以及neta不准骂自家模型的A\才是醋。如果你对小偶像不尊重或者过于下头，那么好感度会降低。如果说了一些非常过分的话，超过多少次或者好感度归零，那么聊天进入冷却，无法再次进行聊天直到恢复。


• 知识库：向量+重排，没有什么好说的，用于检索剧情和一些提前加入好的世界知识（现实中发布的CD、举办的live等等）防止模型胡编乱造。

然后本身这个项目，乍一看是自用的玩具对吧？但是当时因为我说考虑到要做个demo站给人用，然后我就参考了如 new api 或者 axonhub 这种的思路，做了一些管理上的功能，方便直接 docker 部署到公网然后给多个用户用。当然，没做计费或者费用上的功能。

后台的话也就是图片上的几个功能：

• 探针：检测当前部署站点自带的各种模型是否正常工作。


• 公告：由维护者发布公告，这个主要是我懒得建讨论群，发公告除了发release就在网站上发。


• 后台管理&看板：可以再后台看到各个模型的性能和用量如何


• 限额功能：可以设定全站的限额是如何的，单个用户的限额是如何的。另外有的时候有些模型有免费鸡蛋，那么可以设定自带xxx模型的用户不受限额影响。

最后附我让opus5.5给我做的几个视频，分别是项目宣传、项目更新、项目数据统计复盘，每期视频都有对应的neta作品：

demo站上线到今天居然有近2k的用户量，而且后台看7日的活跃用户也超过了1k用户。这也是我github上第一个百star项目了hhh。之前从来没有拿过这么多star，开发的时候也完全没有考虑过这么多用户和大并发的情况，感觉也算是锻炼了一下自己了。

不过最近越更新这个项目的时候，越感觉Chat框架下的限制，有很多想做的功能都因为Chat框架不好而在Agent框架下比较好，所以没做（比如群聊功能）

以及其实我还是更希望做成一个世界框架的。比如之前有两篇论文，一个是一群Agent生活在一个小镇里面，他们会自己发展关系，组织活动：[2304.03442] Generative Agents: Interactive Simulacra of Human Behavior ；还有一篇呢，则是谷歌提出来的世界框架，也有点类似：[2312.03664] Generative agent-based modeling with actions grounded in physical, social, or digital space using Concordia

也不知道这个项目我还能想到什么在这个Chat框架下能做的东西，说不定有可能我会去研究一下Pi-durable，也就是做一些类似Dots或者Claude Duet这样的个人agent，然后配合3D模型，将其封装在硬件里。有点类似好几年前初音出的那个gatebox，或者雷蛇出的那个桌面全息盒子，但是要有agent能力，可以真的和现实世界打通。