为什么AI检测器不能作为证据
把1787年的美国宪法输入一个AI检测器,它会以很高的概率告诉你:这是AI写的。而这段文字比ChatGPT早了236年。
这不是精心挑选的个案,而是一个干净的实验:GPTZero的创始人Edward Tian亲自解释了原因——宪法这篇文本被反复输入同样的语言模型。检测器在其中识别出的,正是它在真正的AI文本里识别出的东西。只是这次识别错了。
问题恰恰出在这里。AI检测器测量的并不是一段文字是否出自AI之手,它测量的是别的东西——却把这个东西误认成了AI的痕迹。
检测器实际测量的是什么
查重工具会把原始出处摆在你面前。你可以核对:这里是抄袭的段落,那里是原文。这是可以核实、也可以反驳的。
AI检测器做不到这一点。它没有原文可以对照。它测量的是一段文字有多可预测——专业说法叫困惑度(perplexity)。语言模型生成的是大概率、流畅、符合预期的词序。于是反过来,可疑的标准就成了:写得流畅、可预测的人,在检测器眼里就像一台机器。
这就是全部的把戏。也是全部的破绽。
可谁会写得流畅、可预测呢?不只是AI。还有那些把这门语言当作外语学习、依赖安全的标准表达的人。写得简单清楚的人。还有一些神经多样性(neurodivergent)的写作者。检测器无法把这些人和AI区分开,因为它从来就没有在寻找”AI”,它寻找的只是”流畅”。
证据表明:问题出在语言水平,而非AI
斯坦福大学的一项研究(Liang等人,发表于Cell Press旗下的Patterns期刊,2023年7月10日)测试了七款商业检测器,测试对象是真实的、确定由人类撰写的文本。
对美国8年级学生的作文,误判率接近于零。而对TOEFL作文——由英语并非母语的人撰写——同样这些检测器平均**61.22%**都误判为AI生成。近98%的作文至少被一款工具标记,五分之一的作文被全部七款工具一致标记。
接下来是解释一切的部分。研究人员让GPT-4对这些TOEFL作文做语言润色——只是换成更考究的词汇,别的都没变。结果错误的AI判定率从61.22%降到了11.77%。
同样的内容,同样的人,同样的检测器。只是换了更丰富的措辞。如果更好的词汇量就能把一段”AI文本”变成”人类文本”,那么检测器测量的根本不是AI,而是语言水平——并且惩罚水平较低的一方。
把多款工具放在一起测试会怎样
迄今为止范围最广的独立研究来自Weber-Wulff、Anohina-Naumeca、Foltýnek及其同事(发表于International Journal for Educational Integrity第19卷第26期,经同行评审,2023年12月25日)。他们对14款检测器在54份来源明确的文档上进行了检验——共756次单项测试。
结果是:没有一款工具的准确率达到80%,只有五款超过了70%。误判率(False Positive Rate)从0%(此次测试中的Turnitin)到50%(此次测试中的GPTZero)不等。约20%真正由AI生成的文本被判定为人类所写——经过轻微修改后,这个比例甚至高达一半。
作者写道,这些系统”不适合用于学术场景”。他们还指出了问题的核心:与查重工具不同,这里没有原始出处可以对照。一个仅凭这一点被指控的学生将”没有任何辩护的可能”——原文是:no possibility for a defence。
没有证据的东西,也就无从反驳。
最诚实的证人:OpenAI自己
如果说有谁应该能识别AI文本,那应该是ChatGPT的制造者。OpenAI确实尝试过——推出了自己的”AI Text Classifier”,于2023年1月发布。
不到六个月,OpenAI就将它下线了。官方更新说明里写明了原因:due to its low rate of accuracy——因为准确率太低。这款工具只能识别出26%的AI文本,还把9%的人类文本误判为AI生成。对于1000字符以下的短文本,官方说它”非常不可靠”。
打造出这个模型的公司,自己都无法可靠地识别出它的输出——而且诚实到把产品下架了。
供应商自己在细则里写了什么
最有启发性的内容不在营销文案里,而在FAQ里。
Turnitin是教育领域的市场领导者,它给出的整篇文档层面的误判率是”低于1%“。但继续往下读就会发现,这个数字只适用于AI占比超过20%的文档;按句子计算,误判率大约是4%;低于20%时,工具干脆不显示数字,只标一个星号。而且Turnitin自己也写明,这个结果”不应作为采取行动的唯一依据”。
GPTZero在自己的FAQ里写道,它的结果”不应被用来惩罚学生”——these results should not be used to punish students。而且:它的训练数据集大多是成年作者写的英语散文。这恰好解释了这种偏见的来源。
这是贯穿始终的一条线索:供应商自己都在警告,不要把工具用于教师们实际在用的那种用途——凭嫌疑加以惩罚。
公平地说,也有一个相反的证据,应该一并提及:Turnitin自己发表过一项研究(2023年10月26日),称300词以上的文本对英语学习者不存在统计学意义上的显著劣势。这只是部分地反驳了斯坦福的结论——仅限于长文本。对于短文本,Turnitin自己也承认误判率更高。而且它是在为自己作证。短作业、摘要、两段式的回答正是日常学业中最常见的形式——恰恰也是数字表现最差的地方。
为什么一个很小的百分比依然危险
“低于1%“听起来让人安心。把它换算成实际人数看看。
范德堡大学(Vanderbilt University)在2022年提交了约7.5万份作业。按Turnitin自己”低于1%“的数字推算——这是计算得出,不是实测——大约会有750起人类被误判的案例。这些案例是否真的发生过,计算本身说明不了。但范德堡大学得出了结论,于2023年8月16日关闭了该检测器,理由是他们认为AI检测软件并不是一个应该被使用的有效工具。
一旦规模化运作,低误判率就不再是一个小数字。它是每年三位数的嫌疑案例——每一起背后都是一个什么都没做的人。
德国的法律现状呢?
先说最重要的一点,而这一点很少出现在概述文章里:**在德国,举证责任在高校一方。**作弊必须由考试主管部门加以证明——而且作弊行为及其处罚都必须事先写入考试规程。一个检测器给出的分数并不能把举证责任转移到学生身上。
最新的一份判决来自卡塞尔行政法院(Verwaltungsgericht Kassel)(2026年2月25日,案号7 K 2134/24.KS及7 K 2515/25.KS)。法院确认了因使用AI而作出的处罚——但明确没有依赖检测器,而是依据人工可核查的迹象:书面表现与口头表现之间的明显落差、标准表达的过度重复。这些判决截至2026年7月24日尚未生效;是否会被上级法院维持,目前还是未知数。
下萨克森数字教学中心(Digitale Lehre Hub Niedersachsen)的一份实操指南(Baresel、Horn & Schorer,截至2025年2月24日)建议高校不要使用AI检测器。他们的理由是:涉及个人的考试数据(《通用数据保护条例》第6条)、纯自动化决策的禁止规定(第22条)、以及根据《欧盟AI法案》可能被归为高风险AI。在其引用的慕尼黑行政法院紧急程序案例中,检测器的结果始终只被当作一项旁证,从未被当作证据。
有些德国大学由此得出了最直接的结论:干脆不提供任何AI检测器——这是官方立场,而不是个别人的意见。
如果检测器错误地标记了你,你能做什么
这里给出的是新闻性的梳理,不是针对你具体案件的法律建议——那需要了解你案卷的人来提供。但已核实的事实和上面引用的指南所指向的方向,是可以说清楚的:
**分数本身不是证据。**它给出的是一个概率,不是一个可核实的出处。要求对方说明依据:用的是哪款工具、哪个版本、什么数字、以什么为测量对象?一个没有这些信息支撑的”高AI值”,不是证明,只是一个断言。
**展示你的写作过程。**这是检测器恰恰给不出的、最有力的反证:你文档的版本历史记录(Google文档、Word、任何云端工具都会保存)、中间草稿、笔记、研究用的浏览器标签页、参考来源。真实的写作过程会留下痕迹,而一个概率不会。
**如果偏见适用于你,把它说出来。**如果德语——或英语——不是你的母语,斯坦福那项研究就是你的依据:同样这些工具,几乎不出错地放行母语者,却大规模误判非母语者。这不是针对你的疑点,而是这些工具身上一个已知的、经过测量的设计缺陷。
**了解举证责任在谁那边。**在德国,必须由高校证明作弊行为,而不是由你证明自己清白。如果事态严重,应该交给你所在高校的法律咨询部门、专业律师或数据保护专员来处理。
诚实的另一面
为了不让这篇文章变成一种方便的一面之词:有两点是对检测器有利的——这两点都必须说清楚。
第一,人类识别AI文本的能力还要更差。一项关于学术写作的研究(Cheng等人,2025年)发现:人类审稿人的识别准确率只有19%——相当于随机水平。检测器明显胜过了他们。但同一项研究同时测出,对纯人类撰写的文本,误判率(False Positive Rate)达到72.2%。“比人类更擅长识别”和”不能作为证据”,这两者并不矛盾。
第二:在源头进行标记是行得通的。Google DeepMind在Nature期刊上(2024年10月23日)展示了一种文本水印技术(SynthID-Text),它能可靠地标记AI生成的内容,而不会明显降低文本质量——测试样本约2000万条Gemini回答。这个区别是决定性的:信号是在生成时就嵌入的,而不是事后靠猜测。正因如此,监管也押注在这条路上:根据欧盟委员会的FAQ,自2026年8月2日起,《欧盟AI法案》第50条要求生成式AI的提供者以机器可读的方式标记其输出——对既有系统设有过渡期,至2026年12月2日。(这是根据一手资料得出的法律现状,不构成法律建议;请以你阅读本文时的最新情况为准。)
所以前进的方向是在源头做标记,而不是在结果上猜测。政策选择了这条路,本身就是一种无声的承认:事后检测器解决不了这个问题。
一句话带走
AI检测器是一个可以引发对话的契机,不是一份判决书。它可以引出一个追问——“跟我说说这段文字是怎么写出来的”。它永远不该是最后的定论。这不是因为那样比较友善,而是因为它在技术上根本做不到别的:它测量的是流畅度,给出一个概率,却拿不出任何出处。谁要是把评分或指控建立在这上面,就是把猜测当成了证据。
而1787年的那部宪法,并不是AI写的。
参考来源
以下来源均于2026年7月24日核实。数字对应各自标注的测量日期;检测器的数值及法律现状此后可能已发生变化。
- GPT detectors are biased against non-native English writers — Liang等人,斯坦福大学,Patterns(Cell Press),2023年7月10日
- Testing of detection tools for AI-generated text — Weber-Wulff等人,Int. J. for Educational Integrity 第19卷第26期,2023年12月25日
- New AI classifier for indicating AI-written text — OpenAI,下线更新说明,2023年7月20日
- AI writing detection capabilities FAQs — Turnitin
- FAQ — GPTZero
- Guidance on AI Detection and Why We’re Disabling Turnitin’s AI Detector — 范德堡大学(Vanderbilt University),2023年8月16日
- 关于学生考试中人工智能使用的处理 — 卡塞尔行政法院(VG Kassel),2026年第4号新闻稿(判决日期2026年2月25日)
- 关于使用AI检测器核查考试成果 — Baresel、Horn & Schorer,下萨克森数字教学中心(Digitale Lehre Hub Niedersachsen),2025年2月24日
- Transparency obligations under Article 50 of the AI Act — 欧盟委员会(European Commission)
- Scalable watermarking for identifying large language model outputs — Dathathri、See等人,Google DeepMind,Nature,2024年10月23日
如果你发现这里有什么内容过时或有误:联系我。
评论
登录后即可评论、点赞和收藏。 登录 →
还没有评论,来写第一条吧。