2. Linux.do
  3. 买了台无头骑士部署本地模型玩玩

买了台无头骑士部署本地模型玩玩

未完待续 2026-09-06 14:09 1

32G内存m1pro想部署Qwen3.8 27B 的q4版本，大概16G的那个，怎么才能开到长上下文（想用128k），lm和ollama都不太行（lm强制限制40多k上下文改不了，然后ollama后面跑到快100k的时候回复一下要思考一个小时），然后问ai，ai说用omlx，但是缓存率只有个位数，

最新回复 (3)
  • Ruby 09-06 14:12
    1楼

    1. 基础知识
    1.1 什么是本地部署
    本地部署就是通过个人或者企业通过消费级设备或工作站设备，将云端开源大语言模型部署到本地私有化设备上的过程
    1.2 本地部署所需的环境
    硬件层面：一般而言需要一张消费级显卡，消费级显卡上满足显存≥16GB 的显卡都可以适用本教程。具体见下表

    显卡厂商
    起步型号
    注解

    Nvidia
    4060 Ti 16G / 5060 Ti 16G
    起步型号…
  • BlitzKat 09-06 14:29
    2楼

    多少钱买的呀。 部署模型不是让agent直接搞嘛

  • 未完待续 楼主 09-06 15:15
    3楼

    5k，跑不了长下文啊，默认设置可以随便跑，我已经让ai搞了两天了，死活搞不定，正在尝试楼上大佬的方法

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐