Ternary-Bonsai-27B-2bit 5070ti 简单测试

[43f87f699036a77df01f6f54059d559d]
[1d2a2aee6845632e44256ba1e3d5cf21]
[b27d287712b3752ec6081e6d69be0414]
[27e2df007af3c4f90b1ec2e66199e7c0]
[779745e2a0842122054cb67e36ac70b8]
[4fe1fd0b53c29c31c1…

下午看到了此贴。

部署要用它的fork：GitHub - PrismML-Eng/llama.cpp: LLM inference in C/C++ · GitHub

下载q2_0量化版本

启动命令

.\llama-server.exe -m G:\models\Ternary-Bonsai-27B\Ternary-Bonsai-27B-Q2_0.gguf --port 8080 --temp 0.7 --top-p 0.95 --top-k 20 -ngl 99 -n 256 -c 16384 -np 1 -cram 0 -fa on -ctk q8_0 -ctv q8_0 --no-mmap

吃掉了7.7G显存 如果是5060 8GB版本的话非常极限，刚刚好。



速度在 40tok/s 27B稠密跑到这个速度其实很可以了。

效率非常高，占用可以跑到97%。

感觉上和35b-a3b没什么区别，劣化5%使得没区别了，相比就是不用加载到内存里了，可以在显存里完整跑，缺点就是难用了一些。

这下真的天顶星科技了。