用aimax395部署qwen 3.8 flash next并达到50toks/s( Halogen flash server )

好久没有逛linuxdo了，想水文绞尽脑汁想不出，遂写点没有技术含量的 ps.纯手写无ai，放心食用

准备工作

1. 一台Ubuntu（推荐）系统下的aimax395机器，安装podman


2. 一个会动的脑子


3. 一双会动的手（

提醒

请首先在bios中将显存分配调到最小（我的是512mb）

对！没错！是最小！

教程

Step 1 安装ROCm

sudo apt install libatomic1 libquadmath0

sudo usermod -a -G render,video $LOGNAME

# Download and install GPG key

sudo mkdir --parents --mode=0755 /etc/apt/keyrings



# ROCm release signing key

wget https://stable.repo.amd.com/rocm/gpg/packages.gpg -O - | \

    gpg --dearmor | sudo tee /etc/apt/keyrings/amdrocm.gpg > /dev/null



sudo tee /etc/apt/sources.list.d/amdrocm-stable.sources << EOF

X-Repo-Id: amdrocm-stable

Types: deb

URIs: https://stable.repo.amd.com/rocm/core/packages/ubuntu2604/

Suites: stable

Components: main

Architectures: amd64

Signed-By: /etc/apt/keyrings/amdrocm.gpg

Enabled: yes

EOF



sudo apt update

sudo apt install amdrocm-core-sdk10.0-gfx1151

ROCm官方页面

Step 2 通过modelscope获取模型

通过你喜欢的方式下载模型并放到一个你想放的目录

Step 3 跑起来！

podman run --rm \

  -p 8731:8731 \

  --device /dev/kfd \

  --device /dev/dri \

  --group-add keep-groups \

  --ipc=host \

  --ulimit memlock=-1:-1 \

  -e HALOGEN_CHECKPOINT=/models/qwen38-flash-next-v2.hgn \

  -e HALOGEN_MODEL_ID=Qwen/Qwen3.8-Flash-Next \

  -e HALOGEN_VISION_TOWER=1 \

  -e HALOGEN_TEMPERATURE=0.6 \

  -e HALOGEN_TOP_P=0.95 \

  -e HALOGEN_TOP_K=20 \

  -e HALOGEN_ROPE_YARN=4 \

  -e HALOGEN_REASONING_EFFORT=medium \

  -v /path/to/your/models:/models \

  ghcr.io/peonist-ai/halogen-flash-server:0.15.1

模型相关参数如HALOGEN_TEMPERATURE等可以自己调，将***/path/to/your/models***改为你的模型所在目录，然后就可以用了, api地址是http://xxx.xxx.xxx.xxx:8731

演示（使用oh my pi，medium强度，耗时25分钟）

prompt:生成一个赛车游戏