跑前置护栏模型，有什么性能机推荐吗？

安全审查模型?

一天3刀，一个小时3刀差不多，建议还是用api

@Crueyl #1 是，前置扫描。

@helloling #2 api成本太高，本来倍率就不高，很麻烦

本地部署个小模型 你能接受不 ^-^

@pl6 #5 都是小模型2b的足够了

@qianyexingchen #6 我给你部署 一天三块 无限使用怎么样hhh

主要是 我tm才高一 等到成品弄好估计得一周 ^-^

现在在熬夜补作业

家里是pve跑ai max+ 395 包稳定的 除非停电了

可以给国内frp也可以走你的 ^-^

@qianyexingchen #6 llama.cpp应该能很快起 vllm我还没试过 估计得调试几天 但这个小模型基本无需在意 ^-^

@pl6 #7 ^-^ 国内就算啦，服务器都在美西

@qianyexingchen #9 好 ^-^

@qianyexingchen #9 好奇下 多少的延迟能接受呢 ^-^

@pl6 #11 区域尽量在美国，毕竟高并发审计下，虽然模型强度不大，但是丢包延迟什么的很麻烦。

@qianyexingchen #12 我提供 美西大妈corona ^-^

@pl6 #13 老板你会亏的，本地我国内服务器也有不少高配，就是因为网络不稳定才想要美国的 ^-^

@qianyexingchen #14 行 今晚放学我来弄 弄好了给你测试 我不信了 一个核显我能亏啥 比挖矿收益还大 ^-^

@qianyexingchen #14 网络你要是不满意的话 我找人上po0-uspo0 能接受吧？

@pl6 #16 也可以，不丢包不卡太久首字最好。

ibm/granite3.1-guardian:2b

sileader/qwen3guard:0.6b

这2个模型，做好鉴权就行，看看一个来回多久，毕竟要做全量审查。延迟高用户体验是很差劲的 ^-^

@qianyexingchen #17 ok 今晚给你做好 到时候你要是真的想要我绝对能给你弄到po0双端 这两天弄好先给大妈的行不？ ^-^

@pl6 #18 可以测测

小模型本地跑就行