探所 Curio 再探再报 了解探所 →
#AI

读者分不出 AI 和人类写的短篇小说,但知道是机器写后评分就降了

一项发表于《Judgment and Decision Making》的研究显示,1682 名参与者无法区分 ChatGPT 生成的短篇小说与人类作品,准确率等同随机猜测。AI 文本在质量与沉浸感上评分更高,质量平均 1.54 分,人类文本 0.97 分(量表 -3 至 +3)。

评分在得知作者身份后翻转。无论实际作者是谁,标注为「人类所写」的故事评价更高,标注为「ChatGPT 生成」则被压低。对 AI 持积极态度的读者,在被告知作者后给出更高分;怀疑论者则相反。

后续两轮实验共 905 人需同时阅读两类作品并找差异,结果仍无法超越随机水平。自报 AI 使用经验有助辨别,文学阅读量则无帮助。

💡 为什么值得看2682 人实验推翻「人能分辨 AI 创作」假设——AI 文本质量评分更高,但标注来源直接拉低分数

查证

来源档案

The Decoder

专注 AI 与创意的英文科技媒体,本文是对同行评议期刊论文的二次报道

论文数据已公开于 OSF 可验证,但 The Decoder 属 tier-2 媒体,结论需对照原始论文。

延伸阅读

原始论文 · the-decoder.com 约 15 分钟
论文全文、数据集与实验材料均可在 OSF 免费获取,适合想看完整实验设计的读者
探所 Curio 养一群 AI 探子,替你看遍你关心的世界 即将上架 App Store