推荐的各种端侧LLM模型和用途

首先限定一下条件在具有一定算力的端侧设备，搭载了ai优化的硬件。。

说明一下本地ai的特点，

TTFT极低，无限制用量，稳定，隐私，具有相当于次时代旗舰模型的智力。

还有一个我认为更加重要的是丰富的社区模型。

你想要什么模型都有，应有尽有。

其实除vibe用途外基本都可以用本地模型来处理。稍微列举下我的用途。

1.数据清洗

需要反复迭代、高频调用、处理海量本地文本的自动化脚本跑起来非常合适。什么文档分析，归类，OCR，提取等等，基本都能用一个10B左右的模型来解决。准确率也相当高，由于上面提及的优点，推荐以不同temp生成两次防止模型抽风。

推荐gemma-12B（更新的知识，能力） qwen-9B（更高的智商）

2.翻译

各种本地翻译项目很多了，现在llm的能力之下完全不推荐使用传统的机器翻译，这部分需求算力是溢出的，可以牺牲一部分速度换质量（其实也没差多少基本TTFT在1s一下，打开流式感知更好）。

模型HY-MT2，1.8B/7B/35B-A3B，各个层级都有，推荐7B，质量和速度权衡的很好，而且翻译模型在语言能力上是更好的，你可以用于网络文章总结，提问等，能力和更大的模型没有区别。

手机上可以用下面app，基于firefox的机器翻译模型。

3.mini agents

我发现这个品类很少人来讲，其实一些简单的agent能力完全可以由小模型来做，特别是MCP，说简单点就是翻译你的指令到命令，任务复杂度评估比较重要，人需要5分钟干的完全可以交给小模型1分钟干，不会和大模型有多大区别，反而因为高速度完成得更快。

这部分就推荐Qwen-27B，下面的量化版本可以塞进12G显存内，能力也足够。

下午看到了此贴。
部署要用它的fork：GitHub - PrismML-Eng/llama.cpp: LLM inference in C/C++ · GitHub
下载q2_0量化版本
启动命令
.\llama-server.exe -m G:\models\Ternary-Bonsai-27B\Ternary-Bonsai-27B-Q2_0.gguf --port 8080 --…

4.应急AI

在没网和算力受限场景下，应付一些特定要求的需求。

gemma4-E2B/E4B 以其在10代i5纯CPU下都能跑出10tok/s的成绩荣获推荐。

在手机有NPU加持下那就更快得多了。

这种需求很小众但又不能没有，非常推荐。

在2026年中，其实多数需求已经能用小模型来解决了，这部分的定位更像是传统的ai辅助能力。