研究人员首先招募了1682名成年人,让每人阅读6篇短篇故事中的一篇。其中3篇由人类作者创作,另外3篇由ChatGPT生成,每篇AI作品都与其中一篇人类作品主题相近。
在阅读前,研究人员会告知参与者该故事的作者是人类还是AI——不过,这个“标签”有时是故意给错的。随后,参与者需要对阅读沉浸感以及故事整体质量进行评分。
结果显示,从作品的“真实来源”来看,AI生成的故事总体上被认为更吸引人,质量也更高。可一旦考察读者被告知的“作者身份”,情况却反了过来:凡是被标为“人类创作”的故事(无论实际作者是谁),得到的评价往往更高。
也就是说,人们似乎同时表现出两种相反倾向:阅读时,他们可能更喜欢AI写出来的东西;但观念上,他们仍然更愿意相信人类作品更好。
研究人员随后又进行了两项实验,共招募905名成年人。参与者每次阅读两篇主题相同的故事,其中一篇由人类创作,另一篇由AI生成,并判断哪一篇出自人类。
一次实验中,参与者只有约40%判断正确,甚至低于随机猜测的50%;另一次实验的正确率为52%,基本接近随机水平。研究团队认为,总体来看没有证据表明,普通读者能够可靠区分这些故事出自人类还是AI。
有意思的是,自认为更“懂”小说的人,并没有表现出更强的辨别能力;相反,对AI系统更熟悉的人判断得更准确。研究人员认为,这可能意味着AI文本存在某些可以通过接触和练习逐渐识别的风格特征,就像读者能够逐渐熟悉不同人类作家的文风。
文章来源:https://mp.weixin.qq.com/s/NHYXYj8VevaFk4uzABcJ9Q
论文:Bot or not: Can people tell the difference between stories written by a human or by an AI system? | Judgment and Decision Making | Cambridge Core