为什么 AI 生成的语言如此难以理解？

[!ABSTRACT]

人们普遍感觉，AI 生成的文本近来变得更难理解。在本研究中，我们考察了一组已知与人类加工难度相关的心理语言学特征（例如宾语关系从句、长句法依存、低频 n 元组）。我们使用一个涵盖多领域的 AI 生成文本新语料库，发现 AI 模型比往返翻译生成的改写文本更频繁地使用这些困难特征。与人类写作相比，所有九个前沿和接近前沿的模型都更常使用无生命主语搭配有生动词，并更常使用低频 n 元组；多数模型在对话中还使用更长的依存、更多堆叠名词和更多缩减宾语关系从句。我们还展示了不同模型家族之间存在显著差异。我们提出并检验了一个关于其原因的假设：人类语言为成功交流而优化，而 AI 生成文本正日益为数学、代码和推理等其他目标而优化，在这些目标中存在一种追求信息密度而非成功交流的压力。我们通过在长度惩罚下微调一个语言模型为这一假设提供了概念验证，这导致模型偏离类人语言行为。我们的发现凸显了人类与 LLM 在语言加工需求之间的错位维度，并指向可能的补救措施。

前沿的模型们似乎为了编码和数学已经走得太远太远，Opus 甚至能说出“bug 咬人”这种虽然生动但是毫无作用的废话。