2. Linux.do
  3. 挺火的模型测试：模型会不会胡说八道

挺火的模型测试：模型会不会胡说八道

xiaomao 2026-08-13 04:26 1

BullshitBench（胡说基准 / 扯淡基准） 主要测评的是：AI 模型在面对明显荒谬、无意义或前提错误的提示（nonsense prompts）时，会不会主动识别并明确挑战/拒绝，而不是一本正经地继续回答。


作者设计了共有约 100 道无意义问题。

覆盖 5 个领域：软件（40题）、金融（15）、法律（15）、医疗（15）、物理（15）。使用多种“胡说技巧”，比如听起来专业但实际不存在的框架、错误套用机制、嵌套荒谬等。


官网：BullshitBench Viewer


问题都是开源的


最新回复 (2)
  • Grogu 08-13 04:29
    1楼

    不仅会，还会一本正经的胡说八道 ^-^

  • prosumer 08-13 04:29
    2楼

    感觉会和模型的指令遵循能力相关, claude的指令遵循能力确实差一些, 但是在这方面就表现好, gpt指令遵循能力好这方面就差

    gemini则不同, 既不遵循指令又胡说八道 ^-^

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐