我做了一个可以直接在白板上和 AI 对话的开源项目, 真诚期待您的意见

演示：

大家好，最近自己瞎折腾了一个项目 PenEcho。

我平时会做瞎折腾一点物理和数学，经常使用白板和手写笔。以前想让 AI 帮忙时，常常要先把半成品推导重新打成 prompt ，再解释符号、图形和上下文。整个过程挺麻烦，也很容易打断自己的思路。

所以我就想试试：现在的 AI ，尤其是 GPT-5.6-sol、Claude Opus 4.8 和 Fable5，到底能不能看懂我在白板上写的东西？

于是就做了这个项目。没想到最后的效果比预期好很多，AI 可以理解手写公式、图形和它们之间的空间关系，然后把回答放在画布旁边。

为了控制 token 和响应速度，我没有把整个大画布都发送给模型。画布逻辑上是 20,000 x 20,000，但只会保存有笔迹的 512 x 512 区域。

每次请求主要发送当前 viewport、笔迹热点、图片和几何信息。一次典型的 low effort 请求大约包含几千个输入 token ，输出通常在 1,000 token 左右。

使用 API 时，费用一般是几美分。如果已经订阅了 Claude Code 或 Codex ，实际成本还会更低。

目前支持：

• Claude Code CLI


• Codex CLI


• OpenAI-compatible API


• Anthropic API


• 本地运行

项目地址：

https://github.com/erickong/penecho