2. Linux.do
  3. 分享一个自托管的 Qwen 3.8 27B API

分享一个自托管的 Qwen 3.8 27B API

๏ ʟᴜᴍɪɴᴏ ⇗ ˣᵖ 2026-09-15 10:08 1

自己搭了一个 Qwen 3.8 27B，给大家免费试试


Endpoint: https://about-grades-concentrations-zone.trycloudflare.com/v1

API Key: sk-23778823e64bd310884071f643e50306

Model: qwen3.8-27b

Context: 131072


没有 RPM 限制，不过最多同时处理 16 个请求，超过的会排队。


所以人多的时候可能会有点慢，毕竟硬件就这么多，暂时也没办法再提速了 ^-^


目前不支持图片，只能用文本。


有需要的可以试试～

最新回复 (12)
  • poppyit 09-15 10:12
    1楼

    我来试试，看看佬的实力

  • 杨渣渣 09-15 10:14
    2楼

    我也来试试，看看佬的实力

  • ๏ ʟᴜᴍɪɴᴏ ⇗ ˣᵖ 楼主 09-15 10:18
    3楼

    还能用几个小时，过期了我再更新。

    有空的话也帮忙反馈一下速度怎么样～

  • 3003n 09-15 10:26
    4楼

    佬用的什么配置搭的

  • guozhuang 09-15 10:32
    5楼

    感谢大佬的无私奉献，蹬一蹬试试^-^^-^

  • mengzhichaolove 09-15 10:48
    6楼

    那我来测测佬的实力，感谢了！

  • fengchris 09-15 10:49
    7楼

    感谢佬友分享


    这个模型效果有时候真的惊人 就是速度慢

  • poppyit 09-15 10:50
    8楼



    速度挺好的，但是我估计提升上下文应要腰斩，但是我觉得实际能有50token每秒就很快了，然后ttft我觉得挺快的

  • huoyuhai 09-15 10:54
    9楼

    我也来试试，看看佬的实力。

  • Magisk317 09-15 11:01
    10楼

    zcode报错，但是没地方配置reasoning这个字段啊 ^-^


    ZCode 报错信息
    

    
报错摘要
    
Unexpected reasoning effort high. Supported types are xhigh (default), medium, and low.
    

    
TraceID: 35bde725-13f8-4533-a45b-f6958b3cc0e8
    

    
报错详情
    
Turn execution failed
    
provider=qwen-alibaba-model-studio-cn provider_code=400 model=qwen3.8-27b request=9ab52481-1127-48e1-b8b2-cdb0be0a68df reason=invalid_request status=400 retryable=false
  • TrampPoet 09-15 11:01
    11楼

    速度还可以啊，不过没想到实际工作场景

  • ๏ ʟᴜᴍɪɴᴏ ⇗ ˣᵖ 楼主 09-15 11:03
    12楼

    2× H100，GCP 的 a3-highgpu-2g，TP=2，BF16。

    手里有点快过期的 GCP credits，正好拿来跑一下。

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐