【开源推广】Kiyomizu | 记忆化 LLM 网关

我发现酒馆这种东西不适合我。由于一些原因，我玩酒馆需要模型来破我的甲，一开始太过于过分的RP会直接把我触发，然后就没有下文了。

所以我想不如让我和AI互相破对方的甲。

然后我就想到，正常人际交往不也是在互相破对方的甲吗，所以我们直接做个AI伙伴得了。

小红书上有很多人机恋的姐妹，她们做了LLM网关，不过她们应该是让 CC vibe出来的（说啥的，搞得好像我不是一样），太过于特化了，我想不如做一个大家都可以玩一玩的东西出来。

刚好某大善人恢复了，再加上我自己手里的Token，说干就干。

使用方法

请和我一起高呼：Write Once, Run Anywhere

我提供的是一个 Fat JAR 文件，你直接使用 java -jar xxx.jar 来运行它就行。

运行完了以后，默认是开放在 8787 端口，你可以访问相应的URL。

功能介绍

设置密码

人们总是喜欢安全的东西，GPT也喜欢，我拗不过它。有还是比没有的好吧。

Claude 特化的缓存控制

Anthropic这个公司总喜欢标新立异，它们的模型缓存需要手动回传cache_control，并且除了Anthropic的第一方provider支持自动缓存，其它居然需要手动标记四个缓存断点。

所以我做了一个Claude特化模式，可以指定TTL，缓存分布以及断点数量。

记忆和情感功能

Kiyomizu 有一个简单的记忆系统，通过摘要模型提取关键信息，并通过Embedding转换成向量。

计算用户输入向量和记忆向量的夹角的余弦值，找到用户输入向量和记忆向量方向最一致的若干个，注入在 稳定prefix的后面 给模型参考。（小巧思，增加cache hit率的）

有一些参数供你自己customize。

每个对话，都会由摘要模型评估出一个intimacy和一个trust，这个东西会累加到数据库里，你的 Kiyomizu 会根据和你的交流而成长。

当然，撬开别人脑壳来看亲密度是不友好的，所以我没有提供显式的查询接口。

使用方法和演示

这只是个网关，所以跑起来以后去Cherry Studio之类的APP里面配置API接口指向你的网关

使用演示：我展示一下 Kiyomizu 的记忆功能

（新对话）

大概还是有人机感，这个就日后再改善，或者用System Prompt驯服一下了。

后记

这是我四五个小时和 Codex、Antigravity一起Vibe出来的东西，我也学到了很多，关于embedding之类的小知识。

Kiyomizu 注定是个小玩具，因为我的能力还有限，如果你发现了什么问题并且愿意帮助我解决，我非常的感谢。

Kiyomizu 的安全性存疑，请在确定以后再部署，最好就是在localhost玩玩或者局域网里面玩玩就行了〜

谢谢大家