2. Linux.do
  3. rwkv作者悬赏30万适配vllm，sglang，hf transformer

rwkv作者悬赏30万适配vllm，sglang，hf transformer

xy3 2026-06-30 15:22 1

以下为群消息转发


各位，RWKV-7的HF transformer适配，vllm适配，sglang适配：各奖励30万元


需要做到接近生产级的性能：




  1. 达到rwkv-lm和albatross的 性能 速度 精度 显存占用 等等，对于各种bsz




  2. HF的适配，需要能正常用HF的各种PEFT和RL库等等




  3. vllm/sglang的适配，需要dynamic batching, chunked prefill, state cache等等




  4. 支持全部常见专业和消费卡




  5. 量化推理，支持8bit 4bit，显存占用需要下降，速度做到不比16bit慢即可




最新回复 (6)
  • mozilla 06-30 15:36
    1楼

    要增加模型支持是吗？那么问题来了，为什么不直接用这个模型驱动agent实现呢？还能顺便测一下模型能力

  • xy3 楼主 06-30 15:37
    2楼

    rwkv模型在rnn模型那边的很厉害，但是比起国产主流transformer模型目前训练的数据和算力明显不够，可以当做实验室的产品

  • tikitoki 06-30 16:25
    3楼

    8bit 4bit不包含int8 int4吧，应该只要fp8 fp4是吧

  • ba lao 06-30 22:49
    4楼

    RWKV是什么东西？这个搞什么的？

  • yeluo001 06-30 22:51
    5楼

    一个比较小众的大语言模型吧，潜力挺不错的，以前下载过，16g跑几b的小参数，文字工作表现挺不错的

  • xy3 楼主 07-01 00:16
    6楼

    线性注意力的大模型，传统transformer的注意力在长上下文显存吃的多，算的慢

    rwkv的线性注意力解决了这个问题。但是目前rwkv没有很多算力，数据来scale出一个能用于生产环境的ai，比较偏实验室

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐