1787년 미국 헌법을 AI 탐지기에 넣어보면, 높은 확률로 이렇게 말한다: AI가 쓴 글이라고. ChatGPT보다 236년이나 앞서 나온 글인데도.

이건 골라낸 특이 사례가 아니라 깔끔한 실험이다. GPTZero의 창립자 Edward Tian은 그 원인을 직접 설명했다 — 헌법은 같은 언어 모델들에 계속 반복해서 입력되어 온 텍스트라는 것이다. 탐지기는 그 안에서 실제 AI에서 인식하는 것과 정확히 같은 것을 인식한다. 다만 이번엔 틀리게.

바로 여기에 문제가 있다. AI 탐지기는 텍스트가 AI에서 나왔는지를 측정하지 않는다. 다른 무언가를 측정하고 — 그것을 AI 출처와 혼동한다.

탐지기가 실제로 측정하는 것

표절 검사기는 원본 출처를 나란히 보여준다. 직접 확인할 수 있다: 여기가 베낀 문단, 저기가 원본. 이건 검증도 되고 반박도 된다.

AI 탐지기는 그럴 수 없다. 대조할 원본이 없다. 그 대신 텍스트가 얼마나 예측 가능한지를 측정한다 — 전문 용어로는 퍼플렉시티(perplexity). 언어 모델은 확률이 높고, 매끄럽고, 예상 가능한 단어 배열을 만들어낸다. 그러니 그 역도 의심의 근거가 된다: 매끄럽고 예측 가능하게 쓰는 사람은 탐지기 눈에는 기계처럼 보인다.

이게 트릭의 전부다. 그리고 이게 결함의 전부이기도 하다.

매끄럽고 예측 가능하게 쓰는 게 누구인가? AI만이 아니다. 외국어를 배워서 안전한 정형 표현에 의지하는 사람들도 그렇다. 단순하고 명료하게 쓰는 사람들도 그렇다. 일부 신경다양성 작가들도 그렇다. 탐지기는 이런 사람들을 AI와 구별하지 못한다 — 애초에 AI를 찾은 적이 없고, 매끄러움만 찾았기 때문이다.

문제가 AI가 아니라 언어에 있다는 증거

스탠퍼드 대학교의 한 연구(Liang et al., Cell Press의 Patterns지 게재, 2023년 7월 10일)는 실제로 확실히 사람이 쓴 텍스트를 대상으로 상용 탐지기 7개를 테스트했다.

미국 8학년 학생들의 에세이에서는 오류율이 거의 0에 가까웠다. 반면 TOEFL 에세이 — 영어가 모국어가 아닌 사람들이 쓴 글 — 에서는 같은 탐지기들이 평균 **61.22%**를 AI로 잘못 분류했다. 에세이의 거의 98%가 최소 하나의 도구에 의해 표시되었고, 다섯 편 중 한 편은 7개 도구 모두가 만장일치로 표시했다.

그리고 모든 것을 설명해주는 대목이 나온다. 연구자들은 GPT-4에게 TOEFL 에세이의 언어를 다듬게 했다 — 더 세련된 단어 선택, 그 외에는 아무것도 바꾸지 않았다. 잘못된 AI 분류는 61.22%에서 **11.77%**로 떨어졌다.

같은 내용, 같은 사람들, 같은 탐지기. 오직 언어만 더 풍부해졌을 뿐이다. 더 나은 어휘가 ‘AI 텍스트’를 ‘사람이 쓴 텍스트’로 바꿔놓는다면, 탐지기는 AI를 측정하는 게 아니다. 언어 수준을 측정하는 것이다. 그리고 낮은 쪽을 벌준다.

여러 도구를 나란히 테스트하면 무슨 일이 벌어지는가

지금까지 가장 폭넓은 독립 조사는 Weber-Wulff, Anohina-Naumeca, Foltýnek와 동료 연구자들에게서 나왔다(International Journal for Educational Integrity 19:26, 동료 심사, 2023년 12월 25일). 이들은 출처가 확인된 문서 54건에 탐지기 14개를 적용해 총 756건의 개별 테스트를 수행했다.

결과는 이렇다: 단 하나의 도구도 정확도 80%에 도달하지 못했고, 70%를 넘긴 것은 다섯 개뿐이었다. 오탐률은 0%(이 테스트에서 Turnitin)에서 50%(이 테스트에서 GPTZero)까지 걸쳐 있었다. 실제 AI 텍스트 중 약 20%가 사람이 쓴 것으로 판정되었고 — 가볍게 수정한 뒤에는 그 비율이 절반에 달했다.

저자들은 이 시스템들이 「학술적 용도에 적합하지 않다」고 적는다. 그리고 진짜 핵심을 짚는다: 표절 검사기와 달리 원본 출처가 없다는 것. 이것만으로 고발당한 학생에게는 「방어할 수단이 없다」— 원문 그대로: no possibility for a defence.

증거로 제시되지 않은 것은 반박할 수도 없다.

가장 정직한 증인: OpenAI 자신

만약 누군가 AI 텍스트를 알아볼 수 있어야 한다면, 그건 ChatGPT를 만든 회사일 것이다. OpenAI는 실제로 시도했다 — 2023년 1월에 공개한 자체 「AI Text Classifier」로.

채 6개월도 지나지 않아 OpenAI는 이를 다시 내렸다. 자체 업데이트 노트에는 이유가 이렇게 적혀 있다: due to its low rate of accuracy — 정확도가 너무 낮아서. 이 도구는 AI 텍스트의 26%만 인식했고, 사람이 쓴 텍스트의 9%를 잘못 AI로 분류했다. 1,000자 미만의 짧은 텍스트에서는 「매우 신뢰할 수 없다」고 했다.

그 모델을 만든 회사조차 자기 모델의 출력을 믿을 만하게 알아보지 못했다 — 그리고 제품을 철회할 만큼은 정직했다.

제공업체들이 스스로 약관에 적어놓은 것

가장 시사하는 바가 큰 내용은 마케팅 문구가 아니라 FAQ에 있다.

Turnitin은 교육 분야 시장 선두주자로, 문서 전체 기준 오탐률을 「1% 미만」이라고 밝힌다. 계속 읽어보면 이 수치는 AI 비율이 20%를 넘는 문서에만 해당한다는 것을 알 수 있다. 문장 단위로는 오탐률이 약 4%에 이르고, 20% 미만에서는 이 도구가 수치 자체를 아예 보여주지 않고 별표만 표시한다. 그리고 Turnitin 스스로도 결과가 「조치를 취하는 유일한 근거가 되어서는 안 된다」고 적는다.

GPTZero는 자체 FAQ에서 자사 결과가 「학생을 처벌하는 데 사용되어서는 안 된다」고 적는다 — these results should not be used to punish students. 그리고: 학습 데이터셋은 대부분 성인 작가가 쓴 영어 산문으로 이루어져 있다고 한다. 바로 이것이 편향을 설명해준다.

여기서 하나의 맥락이 관통한다: 제공업체 스스로가 바로 그 사용법 — 의심만으로 처벌하는 것 — 에 대해 경고한다. 그런데 교사들은 정작 그 용도로 이 도구를 쓴다.

공정하게 말하면 반대 증거도 있고, 이것도 함께 언급해야 한다: Turnitin은 자체 연구(2023년 10월 26일)에서 300단어 이상이면 영어 학습자에게 통계적으로 유의미한 불이익이 없다고 발표했다. 이는 스탠퍼드 연구와 부분적으로만 모순된다 — 긴 텍스트에 한해서다. 짧은 텍스트에서는 Turnitin 스스로도 더 높은 오류율을 인정한다. 그리고 이것은 자기 사안에 대한 증인이다. 짧은 과제, 요약문, 두 문단짜리 답안은 학업의 일상이다 — 바로 그 지점에서 수치가 가장 나쁘다.

작은 퍼센트 수치가 그럼에도 위험한 이유

「1% 미만」은 안심되는 소리로 들린다. 규모를 키워서 계산해보자.

밴더빌트 대학교는 2022년에 약 75,000건의 과제를 제출받았다. 산술적으로 — 실측이 아니라 — Turnitin 자체의 「1% 미만」을 적용하면 약 750건, 사람이 부당하게 표시되는 사례가 나온다. 이런 사례가 실제로 있었는지는 이 계산이 말해주지 않는다. 하지만 밴더빌트는 결론을 내려 2023년 8월 16일 탐지기를 껐다. AI 탐지 소프트웨어가 사용할 만한 효과적인 도구라고 생각하지 않는다는 이유였다.

대규모 운영에서는 낮은 오류율도 작은 숫자가 아니다. 연간 세 자릿수의 의심 사례를 의미한다 — 그 하나하나 뒤에는 아무 잘못도 하지 않은 사람이 있다.

그리고 독일의 법적 상황은?

가장 중요한 것부터 말하자면, 이 내용은 거의 어떤 요약에도 나오지 않는다: 독일에서는 입증 책임이 대학 쪽에 있다. 부정행위는 시험 관리 기관이 입증해야 하며, 부정행위와 그에 따른 제재는 미리 시험 규정에 명시되어 있어야 한다. 탐지기 점수가 이 입증 책임을 뒤바꾸지는 않는다.

가장 최근 판결은 카셀 행정법원(2026년 2월 25일, 사건번호 7 K 2134/24.KS 및 7 K 2515/25.KS)에서 나왔다. 법원은 AI 사용을 이유로 한 제재를 인정했다 — 하지만 그 근거로 명시적으로 탐지기를 사용하지 않았고, 사람이 직접 확인할 수 있는 정황을 근거로 삼았다: 서면 성과와 구두 성과 사이의 눈에 띄는 격차, 지나치게 반복되는 정형 표현. 이 판결들은 아직 확정되지 않았으며(2026년 7월 24일 기준), 상급심이 이를 확정할지는 미지수다.

Digitale Lehre Hub Niedersachsen의 실무 지침서(Baresel, Horn & Schorer, 2025년 2월 24일 기준)는 대학에 AI 탐지기 사용을 권하지 않는다. 그 근거는: 개인정보에 해당하는 시험 데이터(GDPR 제6조), 순수 자동화 결정의 금지(GDPR 제22조), EU AI법상 고위험 AI로 분류될 가능성. 인용된 뮌헨 행정법원의 가처분 절차에서 탐지기 결과는 매번 하나의 정황으로만 취급되었을 뿐, 결코 증거로 인정되지 않았다.

일부 독일 대학은 여기서 가장 분명한 결론을 끌어내, 아예 의도적으로 AI 탐지기를 도입하지 않는다 — 개인 의견이 아니라 공식 방침으로서.

탐지기가 당신을 부당하게 표시했을 때 할 수 있는 일

여기 적힌 내용은 저널리즘적 정리이지, 당신의 구체적인 사건에 대한 법률 자문이 아니다 — 그건 사건 기록을 아는 사람이 해야 할 일이다. 하지만 입증된 사실과 인용된 지침서가 가리키는 방향은 짚어볼 수 있다:

점수만으로는 증거가 되지 않는다. 그것은 확률을 말해줄 뿐, 검증 가능한 출처를 말해주지 않는다. 근거를 물어라: 어떤 도구인지, 어떤 버전인지, 어떤 수치인지, 무엇을 기준으로 측정했는지? 이런 정보 없이 「높은 AI 수치」는 입증이 아니라 주장일 뿐이다.

작성 과정을 보여줘라. 이것이야말로 탐지기가 결코 제공할 수 없는 가장 강력한 반증이다: 문서의 버전 기록(Google Docs, Word, 어떤 클라우드든 저장해준다), 중간 작업본, 메모, 조사에 열어둔 탭, 출처. 진짜 글쓰기 과정은 흔적을 남긴다. 확률은 그렇지 않다.

자신에게 해당한다면 편향을 지적하라. 독일어 — 또는 영어 — 가 모국어가 아니라면, 스탠퍼드 연구가 당신의 근거가 된다: 원어민은 거의 오류 없이 통과시키는 바로 그 도구들이 비원어민은 대거 표시한다. 이건 당신에게 불리한 의심의 근거가 아니라, 이미 알려져 있고 측정된 도구 자체의 설계 결함이다.

입증 책임이 어디에 있는지 알아두어라. 독일에서는 대학이 부정행위를 입증해야 하며, 당신이 결백을 입증할 필요는 없다. 실제로 문제가 커진다면 이는 당신 대학의 법률 상담 창구, 전문 변호사, 또는 개인정보보호 담당관의 손에 맡길 일이다.

정직한 반론

이 글이 편한 일방적 주장이 되지 않도록: 탐지기에 유리한 두 가지 사실이 있다 — 그리고 둘 다 함께 말해야 한다.

첫째, 사람은 AI 텍스트를 훨씬 더 못 알아본다. 학술적 글쓰기에 관한 한 연구(Cheng et al., 2025)는 사람 평가자들이 19% — 무작위 수준 — 에 그쳤다는 것을 발견했다. 탐지기는 이들을 확실히 앞섰다. 다만 같은 연구는 동시에 순수하게 사람이 쓴 텍스트에서 72.2%의 오탐률을 측정하기도 했다. 「사람보다 탐지를 잘한다」와 「증거로는 쓸 수 없다」는 서로 모순되지 않는다.

둘째: 출처 단계에서의 탐지는 실제로 작동한다. Google DeepMind는 Nature(2024년 10월 23일)에서 텍스트 워터마크 기술(SynthID-Text)을 공개했는데, 이는 텍스트 품질을 눈에 띄게 떨어뜨리지 않으면서도 AI 출력을 신뢰성 있게 표시한다 — 약 2천만 건의 Gemini 응답으로 테스트되었다. 이 차이는 결정적이다: 신호가 생성 단계에서 심어지는 것이지, 사후에 추측하는 게 아니다. 바로 그래서 규제 당국도 여기에 걸고 있다: 2026년 8월 2일부터 EU AI법 제50조(EU 집행위원회 FAQ 기준)는 생성형 AI 제공업체가 자사 출력을 기계가 읽을 수 있는 방식으로 표시하도록 요구한다 — 기존 시스템에 대한 유예 기간은 2026년 12월 2일까지다. (이는 1차 자료에 따른 법적 상황이며 법률 자문이 아니다. 읽는 시점의 최신 상태를 직접 확인하라.)

그러니 앞으로 나아가는 길은 출처에서의 표시이지, 결과물을 놓고 추측하는 것이 아니다. 정치가 이 길을 선택했다는 사실 자체가 조용한 인정이다: 사후적인 탐지기는 문제를 해결하지 못한다는 것.

기억해야 할 한 문장

AI 탐지기는 대화의 실마리이지, 법원 판결이 아니다. 질문 하나를 촉발할 수는 있다 — 「이 글이 어떻게 나왔는지 말해줘」. 하지만 결코 최종 발언권을 가져서는 안 된다. 그게 친절한 태도라서가 아니라, 기술적으로 그 이상을 할 수 없기 때문이다: 매끄러움을 측정하고, 확률을 말하고, 출처는 옆에 놓지 못한다. 이것을 근거로 성적을 매기거나 비난을 가하는 사람은 추측을 증거와 혼동하고 있는 것이다.

그리고 1787년의 헌법은 증거가 아니었다.

출처

모두 2026년 7월 24일에 확인함. 수치는 각각 명시된 측정일 기준이며, 탐지기 수치와 법적 상태는 그 이후 변경되었을 수 있다.

여기서 뭔가 오래되었거나 틀린 것 같다면: 메시지를 보내주세요.