请问自部署的 qwen3.8 27B 可以有哪些用途

nanbloom001 2026-08-17 11:54 1

我打算在4*A10（24GB、与3090 同代性能稍弱于 3090）上基于 vllm 框架部署一个 qwen3.8 27B int4 量化，请问佬友们能想到有哪些应用的场景？（第一次部署本地模型）目前想到：

1.接入自己的个人网站，当一个讲解员。

2.轻量的编程任务（纯玩具）

3.Role Play（不知道上下文够不够）

有没有什么其他有趣的玩法，另外针对接入Hermes 是否需要做额外的适配和优化？有没有什么推荐的应用可以很好的适配自部署模型？另外我服务器没有公网 ip 只能尝试做内网穿透或者租一个服务器做中转了，感觉可玩性下降了（）

最新回复 (12)

hkdoll 08-17 11:57

1楼

可以接到hermes用来打打杂，coding还是差点意思
ZeusFunk 08-17 12:03

2楼

实际上qwen3.8 27b的能力已经相当不错了。轻量coding【在提示词明确的任务下】也是相当优秀的。实测qwen3.8 27b FP8 + dspark 速度相当快的同时262k的上下文用于本地coding确实很不错，nvfp4差点儿意思。且qwen3.8 27b 在文本能力上也不错，用来接入自己的个人网站，当一个讲解员^-^的，Role Play也不错，特别是后续社区肯定会有无审查版，或者coding特化版（专武微调）出来，可玩性相当的高。另外a10 24g4 = 96g内存，甚至抗一点儿并发都可以，262k x 8 应该有机会，速度用上mtp/dspark 估计也不会很慢 40~50tps应该是有机会达到的

但是a10的具体性能我不清楚据说有288 个tensor core，9216个cuda单元，显存带宽600 GB/s
fcten 08-17 12:10

3楼

我维护了一个大模型 leaderboard，之前 Codex 额度用不完都是直接用 Codex 更新网站信息的，现在感觉 20x 也不够用了，正在测试用本地模型来执行这些任务（抓取模型发布信息和基准测试结果，按照指定格式收录到系统中）。

目前测试下来 Qwen3.8-27B-FP8 + DSpark 在单卡 PRO 6000 上就能跑到 100 token/s，感觉速度和性能都到完全可用的程度了。相比 DeepSeek 又多了多模态能力（对于前端开发很重要），完美适配我的需求。
jrerrq 08-17 12:12

4楼

擦我在6000只能跑70token咋回事
nanbloom001 楼主 08-17 12:13

5楼

谢谢佬友回复。A10相当于缩配版的 3090（只有 150w 功耗），我实测下来，int4 量化，配上 mtp，能有 80 多 tps
nanbloom001 楼主 08-17 12:15

6楼

居然能这么快，100 多 tps，我 int4+mtp 3+4 卡并发也只有 80 多 tps
impouo 08-17 12:16

7楼

驱动hermes那些claw类工具，做一些简单的任务；翻译等简单通用任务；利用qwen的多模态能力进行能力补全
hymenjj 08-17 12:16

8楼

抱抱脸上已经有无审查版了,或许可以拿来搞搞注册机
nanbloom001 楼主 08-17 12:17

9楼

好主意，但是我还没有调优测试过稳定性，已经研究 2 天了，让 AI 尝试了很多优化，参考了一些社区方案
Eray 08-17 12:17

10楼

当ocr模型用，用来处理视觉识别任务
Belope 08-17 12:22

11楼

我们科室大服务器那个q8的3.6 27b，现在是用来给那个队列的组，ocr资料，自动归类病例检查等文件。样本组给他们接了个语音模型，一边扫码入库一边念编码id和样本量自动记录和记入。给学生用一般就筛符合他们课题条件的样本。

我自己偷偷放了个接口，拿来给我的子代理v4flash做fallback^-^
逍遥 08-17 12:23

12楼
- 作为视觉模型
- 做基础操作：爬取内容，翻译，总结……
- 做苦力；分析日志、分析视频、生成图谱……
- 越狱做你想做在线模型不能做的事
- 模型测试调试，比如测试电费和在线模型哪个更具有性价比
- 一些重要文档的本地分析