本帖使用社区开源推广，符合推广要求。我申明并遵循社区要求的以下内容：

• 我的帖子已经打上 开源推广 标签： 是


• 我的开源项目完整开源，无未开源部分： 是


• 我的开源项目已链接认可 LINUX DO 社区： 是


• 我帖子内的项目介绍，AI生成、润色内容部分已截图发出： 是


• 以上选择我承诺是永久有效的，接受社区和佬友监督： 是

以下为项目介绍正文内容，AI生成、润色内容已使用截图方式发出

最近O/由于算力紧张,对6 astra降智不断,坛内佬们纷纷寄出焚诀, 鹈鹕,鹈鹕+孙悟空,鹈鹕+糖果…然而这种任务型降智测试无法量化结果,且消耗token量大,耗时较长

而糖果,水桶等单问题测试是比较好的量化方式,但是他们只能测出测试当时的降智表现,而降智和掺水往往是前者算力紧张,账号风控和后者封号严重后的周期性的,主动行为,并不是持续表现

因此,也有 codex radar,靠谱哥排行榜,真探排行榜,price比价

等一系列中站持续性监测网站出现,然而他们算法不透明,且需要brok非本地请求,收录站点不多,宣传力度不大,查询需要用户二次检索,且容易被站点针对导致他们也并不是一种持续化的解决方案

那么有没有一种更好的方案呢,他能本地优先,持续检测,用户定制化,易于观察,美观,检测方案多样.

基于此,我做出了 Modivue，一个本地优先的 Vibe Coding 「灵动岛」。

[项目地址]

下载 Releases · 功能文档

目前提供 macOS Apple Silicon 和 Windows x64 预览版。

这干啥的？

软件将 最近1小时(可自定义)内系统内运行的支持的15种agents的配置文件中存在的 不同的 模型 × 渠道 × Key 分组 × 推理档位 作为一个运行检测项,并分开统计其各种指标。并以折线和圆环形式展现给用户(可以自定义展示的数量和取舍各种指标的展示)。

01｜灵动岛

为了能以美观丝滑的方式展现这些复杂的核验报告(好不好),并与首字到达时长(快不快),cache命中率(便宜不),模型余额(钱钱还有么)一起作为灵动岛状态栏形式呈现给大家

平时收起来，需要再展开

灵动岛存在silent,active,focus三种状态,鼠标悬停与否与当前是否存在活跃agent决定了其当前的状态

鼠标移动灵动岛会展开变成active模式，悬停到岛上每个agents环上展示其当前使用的模型的指标与趋势；移开后收回

感兴趣的点一下看详情,挡视野了拖一下到别处

focus专注界面中点击拓展窗口的感兴趣的曲线可以打开对应的统计窗口；灵动岛可以自由拖动，并自动吸附到屏幕左右边缘(还支持开关鼠标穿透)。

交互动效

Agent 状态

除了展示运行中驱动agent的各个模型的各个指标，灵动岛也会展示识别到的 Agent 会话状态并展示再拓展窗口中(等待输入,运行中,完成,还有个忘了)。

灵动岛说明 · Agent 识别方式原理

02｜点开，展示详细窗口

灵动岛是入口,负责快速看provider状态；当用户需要看历史、比较渠道、检查核验依据时，再进入详细窗口。

详细窗口包含 概览与趋势 → 模型核验 → 费用与余额 → 可信参考与校准 → 设置,私人渠道排行榜等界面，可以切换查看,同时支持长按拖动tab和tab内组件改变顺序和排版。

吗的全是AI图,我要超市你 :angry_face_with_horns:

上图虽用AI演绎,但是UI都是丢实图出来的,主要是UI界面太长,长图不好排版,AI图又太好看,请原谅我捏喵~

概览 · 费用 · 设置

继续看模型核验 · 返回顶部导航

03｜模型核验：岛里结果随心看,详情还需见窗口

方案直达： 方案总表 · Meow · HLWY · 单问题 · 综合方案 · 其他方案

模型核验

首先先说最重要模型核验,项目是如何检测降智的,软件收录了多种方案,每个方案都进行了适配,并将其量化显示到灵动岛中

meow方案

感谢 @heymeow 佬提供的5000份数据,及其项目 https://github.com/chen-006/meow-llm-detector和在线检测网站https://meowllm.top ,

在应用中我们也实现了其检测方案

其检测采样基于检测成本,我们开放了自定义单次采样样本量 少(6),中(35),多(50)

若存在未收录或新模型,大家可以自行使用始皇或or,anyrouter等可信站点等真实模型采样来完善这个检测

检测结果会回传到灵动岛,并以申报模型的匹配概率为得分

hlwy方案

同样的,我们也实现了 @hanlinwenyuan 佬的 GitHub - hanlinwenyuan/hlwy-ai-checker: 检查第三方AI API是否掺假以及渠道一致|基于llm指纹的AI模型识别 · GitHub 方案

方案同时支持使用内置基准和真实模型同时采样 两种核验的方式,后者是非常重要的方式,是唯一一个能区别到底是 中转站掺水 还是 官方降智 的方案

检测结果会回传到灵动岛,并以申报模型的匹配概率为得分

同样我们也支持通过采样补充内置基准

单问题方案

上面两种都是黑箱式检测方案,他们可能有效,但是并无可解释性,而目前的糖果和水杯测试可以可解释的展示当前模型的智力,是仍然为高智力模型,还是被路由到啦低智力模型,我们内置这两个问题,同样可以进行补充,

指的注意的是,由于测试速度快,这个方式我们以时间范围内的正确率作为得分回传到灵动岛,此外用户可以在路由 tab栏 私人渠道排行榜处获取各个时段下各个渠道的,各个分组下的不同模型的回答情况

综合方案

此外还有从模型指纹,api实现功能(pdf解析,远程压缩,识图,response等),模型能力等多维度分析的方案,我们这里也做了接入

并且对其官网的报告进行了可视化解析

其他方案

这里不做过多介绍了,大家可以在模型核验 tab 栏 自行选取和尝试

回看灵动岛与 UI · 下载与安装 · 返回顶部导航

04｜ Agent 工具支持情况支持情况

目前测试了codex,cc(前两款用的多,高强度进行了测试),pi,opencode这些主流agents上的效果,测试验证了其他11款agents的接入情况。

具体接入方式和后续变化以 Agent 文档 为准。

05｜下载与开始使用

在 Releases 页面 选择对应平台：

预览版说明： 当前 macOS 包使用临时签名，；Windows 包尚未签名，部分原生交互和多 DPI 场景还没测试。人话,也是群U反馈,bug较多windows首次打开可能会遇到系统拦截，

费用和数据

数据保存在本机，API请求可能回产生费用。

费用统计 · 隐私

06 | 目前已知问题和roadmap

问题

1. Windows版本目前无法正常读取配置导致无法正常工作,已经紧急修复完成,稍后推送


2. 部分核验方式可能无法正常自动进行,如bazzar


3. 部分进入预警中的指标记录可能无法统计到正常的指标曲线中


4. 官方订阅的检测没进行测试,可能存在问题


5. CPA反代目前很多指标检测不到,正在接入中


6. win/mac安装过程受到OS不同程度的警告和拦截

路线

1. CPA的5h,7d等额度窗口支持作为指标环展示再灵动岛和详细窗口中,以及重置额度显示


2. 支持更多指标环,如token/request


3. 增加win/Mac的签名

---

目前还是预览阶段，欢迎各位佬友试用，也欢迎反馈bug和分享产品体验。

项目仓库 · 下载 · 提交 Issue

衷心希望它能成为您的第一个平时不打扰、需要时看得明白的vibe coding小工具。

返回顶部导航