2. Linux.do
  3. 又被震惊了，专属硬件配专用模型真的未来可期

又被震惊了，专属硬件配专用模型真的未来可期

bigice 2026-08-15 11:50 1

最近在研究语音转录，设备是M4 Mac mini，一段20分钟的录音转成文本，最快需要多长时间？4秒，你没听错，就是4秒。


事情是这样的，我先测了几个主流asr，选择了qwen3asr0.6b模型，一开始20分钟花了2分钟转录完成，感觉已经很满意了，但用于视频总结感觉还是太慢，于是就找了各种量化版，mlx版测试，最终优化到30秒。


有一天，我把一段录音放到备忘录里，本身想着用来同步到手机的，结果突然发现备忘录有了转文本功能，而且是瞬间完成的，我以为是苹果云端发力了，当时想着云端就是快啊。后来转念一想，不对啊，苹果不是强调本地ai加隐私的吗，怎么随便上传用户录音呢，于是查了下，没想到竟然是本地模型。


然后就让 agent 调研了一下，用的技术是苹果专门训练的小模型加神经网络引擎ANE推理，20分钟只需4秒就能转录完毕。


至此，我下两个判断：1. 专用模型配专属硬件上限极高 2. 苹果被低估了，未来moe加小模型加神经网络引擎很有可能造就本地大模型的王

最新回复 (6)
  • GPLer 08-15 12:12
    1楼

    ANE 对 AI 来说算通用硬件了，能耗比强，性能不一定打得过 GPU 吧

    iPhone 算力理论上应该没 M4 强，如果更快应该是参数量更小，但如果效果还好，就很可疑了(联网)，要不试试关 WiFi 开飞行模式新转一段看看，如果真的又快又好可以考虑提取出来用了 ^-^

  • 野狗 08-15 12:14
    2楼

    之前就有直接将推理网络硬件化的研究，能达到百倍甚至千倍的速度提升，缺点就是成本和迭代速度

    还有GPT5.6 Sol 传说中的Cerebras 芯片，据说速度达可以达到750 tps

    也许未来模型架构迭代降速后，硬件化会更普遍？

  • bigice 楼主 08-15 12:17
    3楼

    不是是在Mac备忘录里转的，而且用swift成功调macOS API复现了

  • ANON 08-15 12:18
    4楼

    不过这真的叫"专属硬件配专用模型"么?

  • GPLer 08-15 12:20
    5楼

    我的，阅读理解没看仔细 ^-^

    一会去试试

    对了传统的 whisper 试过了吗，如果速度差不多大概率用的这个

  • neteroster 08-15 12:25
    6楼

    就llm来说，moe本来就不小，moe是要大才有效的，你要么选择超大内存放低带宽和计算要求，要么选择放弃大内存但你不得不需要很大的带宽和计算，没有免费午餐

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐