AI検出ツールが証拠にならない理由
1787年のアメリカ合衆国憲法をAI検出ツールに入力すると、高い確率で「AIが書いた」と判定される。ChatGPTより236年も前に書かれたテキストなのに。
これは恣意的に選ばれた特殊事例ではなく、むしろ明快な実験だ。GPTZeroの創業者エドワード・ティエン(Edward Tian)自身がその原因を説明している——合衆国憲法は、同じ言語モデルに何度も繰り返し学習データとして与えられてきたテキストだ。検出ツールはそこに、本物のAIテキストで検出するのとまったく同じものを見出している。ただし、それは誤りだ。
問題はまさにそこにある。AI検出ツールは、テキストがAI由来かどうかを測っているのではない。何か別のものを測っていて、それをAI由来と取り違えているのだ。
検出ツールが本当に測っているもの
剽窃チェッカーは、原典をあなたの文章の隣に並べて示してくれる。ここが写された段落、そちらが元の文章——と確認できる。これは検証も反証も可能だ。
AI検出ツールにはそれができない。参照元となる原典が存在しないのだ。測っているのはテキストがどれだけ予測可能か——専門用語で言えば*パープレキシティ(perplexity)*だ。言語モデルは、確率の高い、滑らかで予測しやすい単語の連なりを生成する。だから逆に、滑らかで予測しやすい文章を書く人間は、検出ツールの目には機械のように映ってしまう。
これがすべての仕掛けであり、同時にすべての欠陥でもある。
滑らかで予測しやすい文章を書くのは誰か。AIだけではない。外国語として学び、安全な定型表現に頼る人たちもそうだ。シンプルで明快に書く人たちもそうだ。一部の神経多様性(ニューロダイバージェント)を持つ書き手もそうだ。検出ツールはこうした人々をAIと見分けられない——なぜなら、そもそもAIを探していたのではなく、「滑らかさ」だけを探していたからだ。
AIではなく言語レベルの問題である証拠
スタンフォード大学の研究(Liang et al., Cell Press誌『Patterns』掲載、2023年7月10日)は、実在する、確実に人間が書いたテキストを対象に、市販の検出ツール7種類をテストした。
アメリカの中学2年生(8年生)によるエッセイでは、誤判定率はほぼゼロだった。ところがTOEFLのエッセイ——英語を外国語として学ぶ人々が書いたもの——では、同じ検出ツールが平均**61.22%**を誤ってAIと判定した。エッセイのほぼ98%が少なくとも1つのツールにフラグを立てられ、5本に1本は7つ全ツールが満場一致でAI判定を下した。
ここからがすべてを説明する部分だ。研究者たちはGPT-4にTOEFLエッセイの言葉遣いを磨かせた——より高度な語彙を使わせただけで、それ以外は何も変えていない。すると誤ったAI判定は61.22%から**11.77%**まで下がった。
内容は同じ、書いた人も同じ、検出ツールも同じ。変わったのは語彙の豊かさだけだ。より良い語彙が「AIのテキスト」を「人間のテキスト」に変えてしまうのなら、検出ツールが測っているのはAIではない。言語レベルを測っているのであり、レベルの低いほうを罰しているのだ。
多数のツールを横並びでテストするとどうなるか
これまでで最も広範な独立調査は、Weber-Wulff、Anohina-Naumeca、Foltýnekらの研究チームによるもの(『International Journal for Educational Integrity』19:26、査読済み、2023年12月25日)。彼らは出所が明らかな54件の文書を対象に、14種類の検出ツールを検証した——合計756件の個別テストだ。
結果:精度80%に達したツールは一つもなく、70%を超えたのはわずか5つだった。誤検知率は0%(このテストにおけるTurnitin)から50%(このテストにおけるGPTZero)まで幅があった。本物のAIテキストの約20%が人間によるものとされ、軽く手を加えただけで半分がそう判定された。
研究者たちは、これらのシステムは「学術目的での使用に適さない」(“should not be used in academic settings”)と書いている。そして本質的な核心を指摘する——剽窃チェッカーとは違い、原典が存在しないのだ。これだけを根拠に告発された学生には「防御の手段がない」——原文では no possibility for a defence。
証拠のないものは、反証のしようがない。
最も正直な証人:OpenAI自身
AIのテキストを見分けられる者がいるとすれば、それはChatGPTを作った当人のはずだ。OpenAIはそれに挑戦した——2023年1月に公開された独自の「AI Text Classifier」がそれだ。
わずか半年足らずで、OpenAIはそれを公開停止にした。自らのアップデート告知には理由がこう書かれている:due to its low rate of accuracy——精度の低さゆえに、と。このツールはAIテキストのわずか26%しか検出できず、人間が書いたテキストの9%を誤ってAIと判定した。1,000文字未満の短いテキストについては「非常に信頼性が低い」(“very unreliable”)としている。
そのモデルを作った当のメーカーが、自らの出力を確実には見分けられなかった——そして、その製品を撤回するだけの正直さは持ち合わせていた。
提供元自身が細字で書いていること
もっとも示唆に富むのは、マーケティング文句ではなくFAQの中にある。
Turnitin、教育分野の市場リーダーは、文書単位の誤検知率を「1%未満」としている。だが読み進めると、この数字はAI含有率20%を超える文書にのみ当てはまるものだとわかる。文単位で見ると誤検知率は約4%になり、20%未満では数値自体が表示されず、アスタリスクが表示されるだけだ。そしてTurnitin自身が、その判定結果は「措置を取る唯一の根拠として使うべきではない」(“should not be used as the sole basis for action”)と書いている。
GPTZeroは自らのFAQで、その判定結果は「生徒を罰するために使われるべきではない」——these results should not be used to punish students——と書いている。さらに、学習データセットの大部分は成人が書いた英語の散文で構成されているという。これこそが、まさにバイアスを説明している。
ここに一貫した筋が見える。提供元自身が、まさにその使い方——疑いだけを根拠にした処罰——について警告しているのに、教育者たちはそのためにこれらのツールを使っているのだ。
公平を期すために、反対の証拠も挙げておこう。Turnitinは独自の研究(2023年10月26日発表)を公開しており、それによれば300語以上の文章では英語学習者にとって統計的に有意な不利益は生じないという。これはスタンフォードの研究と部分的にしか矛盾しない——長い文章に限っての話だ。短い文章については、Turnitin自身がより高い誤検知率を認めている。しかもこれは当事者自身による証言でもある。短い課題、要約、2段落程度の回答というのは学業の日常そのものであり——まさにそこで数字が最も悪くなるのだ。
小さなパーセンテージがそれでも危険な理由
「1%未満」と聞くと安心に思える。だが、これを実数に換算してみよう。
ヴァンダービルト大学は2022年、約75,000件の課題を提出させた。計算上——実測ではなく——Turnitin自身の「1%未満」を当てはめると、約750件の人間が誤ってフラグを立てられたことになる。実際にそうした事例があったかどうかは、この計算だけではわからない。だがヴァンダービルト大学は結論を出し、2023年8月16日に検出ツールを停止した。理由は、AI検出ソフトウェアは使用すべき有効なツールとは考えていない、というものだった。
大規模運用においては、低い誤検知率は決して小さな数字ではない。それは年間で3桁に及ぶ疑いの件数であり——その一つひとつの背後には、何もしていない人間がいる。
そしてドイツの法的状況は?
まず最も重要な点から。これはほとんどの要約記事に書かれていない事実だ——ドイツでは、立証責任は大学の側にある。 不正行為があったことは試験当局が証明しなければならず、しかも不正行為とその制裁の両方が、あらかじめ試験規則で定められていなければならない。検出ツールのスコアが、この立証責任を逆転させることはない。
最新の判決はカッセル行政裁判所(Verwaltungsgericht Kassel)によるもの(2026年2月25日、事件番号7 K 2134/24.KSおよび7 K 2515/25.KS)。裁判所はAI利用を理由とする制裁を支持したが、その根拠としたのは明確に検出ツールではなく、人間が検証可能な状況証拠だった——筆記試験と口頭試験の成績の間の顕著な食い違い、過度に繰り返される定型表現などだ。この判決はまだ確定していない(2026年7月24日時点)。上級審がこれを支持するかどうかは未定である。
デジタル教育ハブ・ニーダーザクセン(Digitale Lehre Hub Niedersachsen)による実務向けガイダンス(Baresel, Horn & Schorer、2025年2月24日時点)は、大学に対しAI検出ツールの使用を控えるよう助言している。その論拠は次の通り:個人に関わる試験データの扱い(DSGVO第6条)、純粋に自動化された決定の禁止(DSGVO第22条)、EU AI法におけるハイリスクAIとして分類される可能性。引用されているミュンヘン行政裁判所の仮処分手続きでは、検出ツールの結果はあくまで一つの状況証拠にすぎず、証拠として扱われたことは一度もない。
一部のドイツの大学は、そこから最も明快な結論を導き出し、意図的にAI検出ツールを一切導入していない——それは個人的な見解ではなく、公式方針としてである。
検出ツールに不当にフラグを立てられたら、できること
ここに書くのはジャーナリスティックな整理であって、あなたの個別のケースに対する法的助言ではない——それには事件記録を把握した専門家が必要だ。だが、実証された事実と、ここで引用したガイダンスが示す方向性は、はっきりと示すことができる。
スコア単体は証拠にならない。 それが示すのは確率であって、検証可能な出典ではない。根拠を尋ねよう——どのツールか、どのバージョンか、どの数値か、何を基準に測定したのか。こうした情報を伴わない「高いAIスコア」は証明ではなく、単なる主張にすぎない。
執筆プロセスを示そう。 これこそが、検出ツールがまさに提供できない最強の反証となる——文書のバージョン履歴(Google Docs、Word、どのクラウドサービスも保存している)、途中経過、メモ、調べ物をしていたタブ、参照した情報源。本物の執筆プロセスは痕跡を残す。確率はそれをしない。
自分に当てはまるなら、バイアスの存在を指摘しよう。 ドイツ語——あるいは英語——があなたの母語でないなら、スタンフォードの研究があなたの拠り所になる。同じツールが、母語話者はほぼ誤りなく通過させる一方で、非母語話者には大量にフラグを立てているのだ。これはあなたに対する疑いの根拠ではなく、ツール自体の既知の、測定済みの設計上の欠陥である。
立証責任の所在を知っておこう。 ドイツでは、不正行為を証明しなければならないのは大学であって、あなたが自分の無実を証明する必要はない。本当に深刻な事態になった場合は、大学の法律相談窓口、専門の弁護士、あるいはデータ保護担当者に委ねるべき事柄だ。
公正な反論
この記事が都合の良い一方通行の議論にならないように言っておくと、検出ツールに有利な点が2つある——そしてどちらも触れておかなければならない。
第一に、人間はAIテキストの見分けにおいて、それよりもさらに劣っている。学術執筆に関する研究(Cheng et al., 2025)によれば、人間の査読者の正解率は19%——ほぼ偶然と同じ水準だった。検出ツールは明らかに彼らを上回った。ただし、この同じ研究は、純粋な人間のテキストに対する誤検知率が72.2%であることも同時に測定している。「人間より検出がうまい」ことと「証拠としては使えない」ことは、実は矛盾しないのだ。
第二に、生成元での検出は機能する。Google DeepMindは『Nature』誌(2024年10月23日)で、AIの出力を確実にマークしながらもテキスト品質を測定可能なレベルでは下げないテキスト電子透かし(SynthID-Text)を発表した——約2000万件のGemini応答でテストされている。この違いは決定的だ。信号は生成の時点で埋め込まれるのであり、あとから推測されるのではない。まさにそれゆえに、規制当局もこの方向に賭けている。2026年8月2日以降、EU AI法第50条(欧州委員会のFAQによる)は、生成AIの提供者に対し、出力を機械可読な形でマークすることを義務付ける——既存システムには2026年12月2日までの移行期間がある。(これは一次資料による法的状況であり、法的助言ではない。あなたが読んでいる時点での最新状況を確認してほしい。)
つまり、進むべき道は生成元でのマーキングであって、結果からの推測ではない。政治がこの道を選んでいるということ自体が、静かな告白でもある——事後的な検出ツールでは問題は解決しない、という告白だ。
持ち帰ってほしい、たった一つの言葉
AI検出ツールは対話のきっかけであって、判決ではない。それは一つの問いを引き出してもいい——「このテキストがどうやって生まれたか、教えてほしい」。だが、それが最終的な結論になることは決してあってはならない。それは単に感じの良い態度だからではなく、技術的にそれ以外のことができないからだ。それが測っているのは滑らかさであり、示しているのは確率であって、そこに出典が添えられることはない。それを根拠に成績をつけたり非難したりする者は、推測を証拠と取り違えているのだ。
そして、1787年の憲法はAIが書いたものではなかった。
出典
すべて2026年7月24日に確認済み。数値はそれぞれ記載された測定日時点のものであり、検出ツールの数値や法的状況はその後変化している可能性がある。
- GPT detectors are biased against non-native English writers — Liang et al., Stanford, Patterns (Cell Press), 2023年7月10日
- Testing of detection tools for AI-generated text — Weber-Wulff et al., Int. J. for Educational Integrity 19:26, 2023年12月25日
- New AI classifier for indicating AI-written text — OpenAI、サービス終了時のアップデート、2023年7月20日
- AI writing detection capabilities FAQs — Turnitin
- FAQ — GPTZero
- Guidance on AI Detection and Why We’re Disabling Turnitin’s AI Detector — Vanderbilt University, 2023年8月16日
- 学生の試験成績におけるAI利用への対応について — カッセル行政裁判所、プレスリリース第4/2026号(2026年2月25日付判決)
- 試験成績の検証におけるAI検出ツールの活用 — Baresel, Horn & Schorer、Digitale Lehre Hub Niedersachsen、2025年2月24日
- Transparency obligations under Article 50 of the AI Act — 欧州委員会
- Scalable watermarking for identifying large language model outputs — Dathathri, See et al., Google DeepMind, Nature, 2024年10月23日
ここに書かれていることが古くなっていたり間違っていたりすると感じたら、連絡してほしい。
コメント
コメント・いいね・保存にはサインインが必要です。 サインイン →
まだコメントはありません。最初のひとりになりませんか。