把 Joy-Con 和 Apple TV Remote 接进 Vokie,作为 Agent 的语音触发器

dday198990 2026-08-19 12:11 1

最近给 Vokie 接了两个外设入口:Switch Joy-Con 和 Apple TV Remote 。想法很直接,把语音输入从键盘快捷键里拆出来,交给一个独立的物理按键触发。

Joy-Con 这一版主要是在验证交互。把手柄按键作为 Vokie 的录音触发器,识别结果直接进入当前的 Agent 会话。需要连续描述需求、讲调试思路,或者人不在键盘旁边时,比反复切窗口顺手不少。


Apple TV Remote 这版技术上更麻烦,卡点主要在 Siri 键。它不像普通键盘按键那样能直接走系统快捷键映射,常规的 key event 监听和第三方映射方案也不太好处理。自己接的话,通常会碰到设备识别、事件捕获和系统版本兼容这些问题。

所以这部分我们直接做进了 Vokie 。连接 Apple TV Remote 后,可以直接把 Siri 键作为语音触发器,不需要再额外配置映射工具或脚本。

还有一个之前没讲清楚的点:Apple TV Remote 本身就带麦克风,并不是只拿它当一个按钮。它的收音灵敏度比我预期好,几颗实体键也可以承载常用操作。拿在手里有点像 PPT 翻页器和手持麦克风的结合,甚至有点像拿着话筒唱歌,触发和说话都很跟手。


也有人问:既然已经坐在电脑前,为什么不直接按键盘快捷键?

如果遥控器只是把一个组合键换成另一个按钮,这个问题确实成立。这里的区别是,触发、拾音和几个常用操作都在同一个手持设备上。视线可以一直留在屏幕上,手不需要来回找键盘;靠着椅背、站起来讲,或者在屏幕前走两步,也不会打断输入。

所以它不是在解决“够不到快捷键”,而是在把 Agent 的语音输入从桌面操作变成一个独立的手持交互。实际用下来,体验差异不只在 ASR 的延迟和识别率,也在触发、拾音和物理反馈是不是一体的。这也是它比快捷键更跟手的地方。

如果大家对 Apple TV Remote 的事件处理,或者 Joy-Con 的接入方式感兴趣,我可以后面把实现细节单独整理一下。也欢迎提其他设备,我看看哪些适合做原生支持。
最新回复 (11)
  • wentx 08-19 12:16
    1
    站起来蹬
  • zerob13 08-19 12:17
    2
    方便分享下提示词么,我也准备把 joy con 接到我自己的 Agent 里面去
  • dreambakerq 08-19 12:37
    3
    挺好玩的,烦请分享下接入方式
  • ETiV 08-19 12:43
    4
    better touch tool ,支持 TV Remote 的各种操作,包括录音转文字、文字上屏,遥控器上的触摸板还能当鼠标用,就是贼小罢了 🤣
  • dday198990 楼主 08-19 13:46
    5
    @dreambakerq 是什么硬件呢?
  • dday198990 楼主 08-19 13:48
    6
    @ETiV 请教下,BTT 的 Siri 按键收音怎么解决的?
  • ETiV 08-19 14:20
    7
    btt 的具体实现吗?不知道

    硬件上 Siri Remote 自带 Mic ,我配的不是长按录制、松开发送,配不出来那种 push-to-talk 对讲的操作

    我的配置:
    - 长按🎙️,开始听写功能(可以松开)
    - 说话,转文字
    - 再长按🎙️,停止听写功能(松开)
  • ETiV 08-19 14:38
    8
    我只是跑通了概念验证,Siri Remote 是借的公司会议室的

    跑是能跑,但是用遥控器做语音输入还是没办法远离电脑,因为没法切换 session ,离远了看不见🤣

    最近我看 M5Stack 出了个 StopWatch ,感觉这个可以拿这个做套方案来玩玩,蓝牙、Wi-Fi 、Mic 、OLED 屏都有,有屏幕了就远程可以做 session 选择了
    但做这些只是折腾,毕竟人手都有一个带屏幕的手机,这些功能都可以装进手机里…
  • dday198990 楼主 08-19 14:48
    9
    @ETiV cool ,我目前的方案是
    - 长按🎙️,开始听写功能
    - 说话,转文字
    - 松开🎙️,完成输入

    - 短按返回键删除一个字
    - 按返回键清空输入框
    - 音量加按键,按一下,新建 session
    - Home 键,点击,回到 Codex


    然后,AppleTV 遥控器的触摸板基本可以实现简单的鼠标交互,移动鼠标和点击。
  • dreambakerq 08-19 15:49
    10
    @dday198990 我也想试试把 joycon 或者 apple tv 遥控接入我的一个语音 app ,还有个钉钉的 dinttalk 录音器也想看看有没有实现的路径
  • dday198990 楼主 08-19 16:10
    11
    @dreambakerq 挺好的,可以研究下 btt ,4 楼那个
* 帖子来源V2EX
返回