2. Linux.do
  3. 9小时 Qwen3.8-27B-Q5-K_M 服务

9小时 Qwen3.8-27B-Q5-K_M 服务

You_Guess 2026-10-04 10:36 1

Base URL:

http://oracle-sg-arm1.youguess.site:18000/v1

API Key:

随便写，我没设置


祝大家国庆快乐！

最新回复 (8)
  • 疯狂麦克斯 10-04 10:42
    1楼

    佬友，为什么不能做核弹啊 ^-^

  • You_Guess 楼主 10-04 10:43
    2楼

    什么核弹？不好意思，我没理解这是啥梗？

  • 疯狂麦克斯 10-04 10:45
    3楼

    自部署的不应该是无审查版吗

  • You_Guess 楼主 10-04 10:47
    4楼

    呃，我直接用的 unsloth 的量化版，就写写代码，无审查版的我不知道该选哪个好，huggingface 上太多了，没比较过。

  • JunYiXi 10-04 10:55
    5楼

    有什么注意事项吗，在Cherry中看不到模型。

  • Serelene 10-04 11:00
    6楼

    哈哈哈哈哈这是佬嫖的tpu吗

  • You_Guess 楼主 10-04 11:02
    7楼

    你让 cherry 自动获取模型，应该可以，我这里没问题。

    要么就是并发数量太多了，你的链接超时了。

  • You_Guess 楼主 10-04 11:05
    8楼

    嫖的 GPU ，TPU 排不上队啊，自从我分享了我在 GitHub 上的源代码，我发现 TPU 的排队时间显著增加了 ^-^


    最开始我的 TPU 两个小时就能排上，后来 4 个小时，现在要 24 个小时以上 ^-^


    但是，我用其他的 TPU 脚本又可以 8 个小时排上队，Kaggle 针对 TPU 部署大模型应该是有了防白嫖机制了 ^-^

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐