2. Linux.do
  3. Ninfer和Strata 这两个真的是让老硬件起飞了 3090+64g 本地120bmoe模型1M上下文

Ninfer和Strata 这两个真的是让老硬件起飞了 3090+64g 本地120bmoe模型1M上下文

darkstarrd 2026-10-01 17:17 1

Strata之前用了一阵子Ninfer，速度快最爽的是可以高并发，也就算了，毕竟也就是27B dense


Strata一出来各种离谱的结果，8g+32gram的笔记本都能跑120b的moe模型了


稍微好点的老爷机本地开1M上下文，另一个号称自己优化后4090上跑到220tps的

这个框架还欠缺的就是并发能力和视频推理能力了，这两个还是得用Ninfer




这么搞下去，硬件还有可能降价吗

最新回复 (6)
  • sg8011 10-01 17:24
    1楼

    我已经用strata来作为本地的主力模型来做一些小任务了，以前都不敢想我一个破16G 的4060ti，能跑这种模型

  • darkstarrd 楼主 10-01 17:35
    2楼

    这个已经不是小任务的范畴了，3.8 flash next比老版的ds4f都强

    最重要的是马上qwen4.0又要出来了，更强的27b和flash，现成的推理框架

    还有传说中的ds mini本地模型

    日子真是好了

  • lkainan 10-05 16:05
    3楼

    搞得我都想屯点硬件了 哈哈

    自己最近也想搞1个

  • darkstarrd 楼主 10-05 17:08
    4楼

    主要这玩意一下子把一堆老古董硬件都给拉起来了


    不管是十几年前的老xeon还是ddr2内存，v100那种没啥用的卡，全都可以用上


    而且项目更新也很勤快，从我刚开始用到现在，速度几乎已经提升了一倍了


    这个是测试搓的中国象棋


  • 卧靠 10-12 21:48
    5楼



    为什么我的相哪也不能去了。

  • seq001 10-21 08:40
    6楼

    我手里好多老服务器，全是xeon+DDR3的内存，是不是配几个老显卡，也能搞一下。能安装cuda最新版本吗

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐