kaggle CPU 30GB 跑 Ornith-1.0-35B-GGUF

mikey 2026-07-01 22:52 1





翻译好像还不错,5tps


CPU 15GB的话(例如免费colab)可以跑 Ornith-1.0-9B-GGUF,能到 3tps,翻译质量目测和Ornith-1.0-35B-GGUF差不多。 上 T4 GPU 的话能到 35tps

最新回复 (3)
  • nanguatou 07-01 23:08
    1

    佬 有没有测试其他方面啊,感受怎么样啊,我也关注这个模型一周多了,但是还没有部署

  • mikey 楼主 07-03 15:14
    2



    参看 免费kaggle 一键跑Ornith-1.0-9B/35B 及其他模型 放后台好像可以连续跑12小时,佬友测了其他性能的话欢迎反馈

  • nanguatou 07-03 21:53
    3

    佬,专业,kaggle 连续跑 12 个小时,看起来速度还行。我准备在 4090 上面运行 gguf 我只是在 hermes 中使用

* 帖子来源Linux.do
返回