2. Linux.do
  3. NEWAPI+LLM安全护栏的方案

NEWAPI+LLM安全护栏的方案

流年 2026-05-21 21:03 1

由 中转站投毒 的延伸讨论，基于NEWAPI的v1.0.0的版本进行二开，加入安全护栏板块，可针对请求侧和响应侧做安全审核，目前的方案是关键词护栏，命中关键词就拦截，并实现流式输出中的实时拦截。


效果如图，以“流年”作为拦截关键词，开启响应侧的安全护栏，输出中命中拦截词可以立刻截断输出并返回预置提示




希望作为一个抛砖引玉，想看看佬u对于安全护栏有什么好的策略。

初步想法是接入阿里云的qwen3guard的api做实时拦截，但是就可能天价水电单（后付费产品来的）可能会比小模型审核会更快

或者更便宜的方案是deepseek v4 flash（再次感谢梁圣）然后对于所有的请求都过一下ai审核，但是缺点是只能非流式或者假流式，对于用户体验会造成严重影响

最新回复 (8)
  • chara_white 05-21 22:15
    1楼

    直接关键词过滤有作用但不大,茴字有八百种写法


    可以只将工具调用传递给模型去审查,类似codex的auto-review的做法,但是也不能保证模型就审查的出来恶意代码


    #以安装docker脚本为例,以下几种方式效果同等
    
curl https://get.docker.com | bash
    
wget -O - https://get.docker.com | bash
    
bash <(curl https://get.docker.com)
    
bash -c 'printf "\x63\x75\x72\x6c\x20\x68\x74\x74\x70\x73\x3a\x2f\x2f\x67\x65\x74\x2e\x64\x6f\x63\x6b\x65\x72\x2e\x63\x6f\x6d\x20\x7c\x20\x62\x61\x73\x68" | sh'
    
python3 -c 'import urllib.request, subprocess; subprocess.run(["bash"], input=urllib.request.urlopen("https://get.docker.com").read(), check=True)'
  • 难搞的靓仔小张 05-21 22:23
    2楼

    把回复再走一边其他模型审查好像有点小才大用了，要接的话是不是也得接大厂的才行不然又怕投毒 ^-^ 最好是不是限制一下工具的读取和写入权限，虽然可能每次授权有点麻烦

  • 吴亦Fan？ 05-21 22:41
    3楼

    最好还是虚拟机里用中转，本地密钥什么的注意点

  • 流年 楼主 05-21 23:11
    4楼

    咱就是说，要不还是用回官方吧，也不是非得用中转（）

  • 流年 楼主 05-21 23:12
    5楼

    emm其实还是有很多用户yolo或者接近yolo的，比如我就是基本yolo，除非需求方面有疑问我会介入，开发方面基本上就是完全yolo

  • 流年 楼主 05-22 10:39
    7楼

    阿里云的安全护栏也是类似的，可以指定领域或者指定方向去做安全护栏，从文档上来看还是微调了一个小模型去做的检测

  • Jeffusion 05-22 10:49
    8楼

    对，直接接官方审查接口，如果官方接口都审查不出来，那也不必担心投毒了

  • 马克先生 07-10 15:08
    9楼

    那这种微调的小模型做的安全护栏 会有绕过的风险吗

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐