rwkv作者悬赏30万适配vllm,sglang,hf transformer

xy3 2026-06-30 15:22 1

以下为群消息转发


各位,RWKV-7的HF transformer适配,vllm适配,sglang适配:各奖励30万元


需要做到接近生产级的性能:




  1. 达到rwkv-lm和albatross的 性能 速度 精度 显存占用 等等,对于各种bsz




  2. HF的适配,需要能正常用HF的各种PEFT和RL库等等




  3. vllm/sglang的适配,需要dynamic batching, chunked prefill, state cache等等




  4. 支持全部常见专业和消费卡




  5. 量化推理,支持8bit 4bit,显存占用需要下降,速度做到不比16bit慢即可




最新回复 (6)
  • mozilla 06-30 15:36
    1

    要增加模型支持是吗?那么问题来了,为什么不直接用这个模型驱动agent实现呢?还能顺便测一下模型能力

  • xy3 楼主 06-30 15:37
    2

    rwkv模型在rnn模型那边的很厉害,但是比起国产主流transformer模型目前训练的数据和算力明显不够,可以当做实验室的产品

  • tikitoki 06-30 16:25
    3

    8bit 4bit不包含int8 int4吧,应该只要fp8 fp4是吧

  • ba lao 06-30 22:49
    4

    RWKV是什么东西?这个搞什么的?

  • yeluo001 06-30 22:51
    5

    一个比较小众的大语言模型吧,潜力挺不错的,以前下载过,16g跑几b的小参数,文字工作表现挺不错的

  • xy3 楼主 07-01 00:16
    6

    线性注意力的大模型,传统transformer的注意力在长上下文显存吃的多,算的慢

    rwkv的线性注意力解决了这个问题。但是目前rwkv没有很多算力,数据来scale出一个能用于生产环境的ai,比较偏实验室

* 帖子来源Linux.do
返回