AI 감별 기술은 어떻게 작동하나?

 

AI가 쓴 글의 특징은 무엇인가?

 

2부에  이어서 「 AI 감별 기술은 어떻게 작동하나? 」로 이어가 보겠습니다. 

 

3. AI 감별 기술은 어떻게 작동하나?

– 기계의 언어를 구별하는 인간의 눈

 

우리가 마주한 질문은 단순하다.

"이 글은 사람이 썼을까, 아니면 기계가 쓴 것일까?"

 

그러나 이 단순한 질문을 명확히 답하기 위한 여정은 결코 단순하지 않다.

글을 구별한다는 것은, 단어의 배열을 넘어, 그 문장 뒤에 흐르는 의도와 감정, 논리의 궤적을 해독해야 하는 일이기 때문이다.

 

그럼에도 불구하고, 인간은 포기하지 않았다.

우리는 이제 기계가 만든 언어의 흔적을 찾아내기 위해, 또 다른 기계, 곧 AI 감별기를 만들었다.

 

감별의 시작: 무엇을 기준으로 판단할 것인가?

AI 감별기는 인간처럼 ‘느낌’으로 판단하지 않는다.
그들은 오직 통계, 수학, 알고리즘을 통해 패턴, 확률, 일관성을 분석함으로써, 글의 정체를 가늠한다.

 

이 장에서는 대표적인 감별 기술과 그 작동 원리를 다음과 같이 살펴볼 것이다.

1. 퍼플렉서티(Perplexity) 기반 판별
2. 버스트니스(Burstiness) 기반 문장 구조 분석
3. AI 학습 모델 역추적 방식
4. 데이터셋 기반 비교 감지
5. 딥러닝 기반 판별기
6. AI 자체가 감별하는 구조 (메타-AI 판별)

 

📊 퍼플렉서티(Perplexity): ‘너무 예측 가능한 글’

AI 감별기의 대표적 원리는 퍼플렉서티 분석이다. 

퍼플렉서티란, 다음 단어가 얼마나 예측 가능한지를 수치화한 개념이다.
수치가 낮을수록 다음 단어가 쉽게 예측된다는 뜻이고, 높을수록 문장이 더 예측 불가능하고 다양하다는 의미다.

🧪 예시:

문장	퍼플렉서티 수치	해석
"The sun rises in the..."	낮음 (3~5)	예측 가능
"The cat danced through trembling metaphors..."	높음 (50+)	창의적 표현

 

→ AI는 낮은 퍼플렉서티를 자주 생성한다.

이유가 무엇일까요?  AI가 학습한 데이터에서 가장 확률 높은 단어를 고르기 때문.

반면 인간은 감정, 유머, 즉흥성으로 예상 밖의 단어를 쓸 수 있다.

따라서 AI 감별기는 퍼플렉서티 수치를 통해 문장의 예측 가능성을 평가하고, AI가 쓴 흔적을 포착하려 한다.

 

📏 버스트니스(Burstiness): 문장의 리듬을 읽는다

AI는 문장을 일정한 길이와 구조로 쓰는 경향이 있다.
반면 인간은 짧게, 길게, 반복 없이 쓰는 리듬을 갖는다. 버스트니스란, 글 속 문장 길이와 구조의 다양성 지표를 말한다.

 

예를 들어 보면

AI 글: "This is important. You should try it. It is useful." 
→ 문장 길이 일정, 구조 반복

 

인간 글 : "이건 정말 중요하다. 왜냐하면 나도 해봤기 때문이다. 다만, 처음엔 의심이 많았지만…"
→ 길이와 구조 다양

감별기는 이 다양성의 유무를 분석하여, 인간이 쓴 듯한 유기적 흐름이 있는지를 파악한다.

 

🧬 AI 학습 모델 역추적 방식

이 방식은 AI가 글을 생성할 때 사용하는 모델의 특징을 되짚어 그 글이 어떤 모델에서 나왔는지를 추정한다.

대표적인 모델 기반 판별기는 다음과 같은 기법을 사용한다:

• GPT 계열 모델의 출력 특성 분석
  → 특정 구문 구조, 연결 표현, 대명사 사용 등을 감지
• 훈련 시 사용된 토큰 길이 예측
  → AI는 일정한 길이 단위로 말한다. 그 단위가 일정하면 AI일 가능성이 높음
• 논리 구조의 반복성 추적
  → 예: "Firstly... Secondly... In conclusion..." 등의 구조

이런 구조는 AI가 ‘좋은 글쓰기’를 학습한 결과지만, 너무 전형적일 경우 오히려 AI임을 드러낸다.

🧪 데이터셋 기반 비교 감지

감별기 중 일부는 방대한 인간 글 데이터셋과 AI 글 데이터셋을 비교해, 새로운 글이 어느 쪽과 더 유사한지를 판별한다.

이 방식은 일종의 유사도 비교(Similarity Detection)로, 글의 스타일, 문체, 단어 분포 등을 다차원 분석하여 분류한다.

 

장점

• 비교적 빠르게 결과를 산출함
• 다양한 글의 패턴을 비교 가능

단점

• 새로운 스타일이나 창의적 AI 글은 감별이 어려움
• 인간이 AI 스타일로 쓴 경우 오판 가능성 있음

 

🤖 딥러닝 기반 AI 판별기

최근에는 AI가 쓴 글을 감별하기 위해, 또 다른 딥러닝 모델을 훈련시키는 방식이 주목받고 있다.

 

대표적인 예시

 

GPTZero
→ 글의 퍼플렉서티와 버스트니스 두 지표를 동시에 평가
→ 감정 표현, 접속사, 비유 사용 등을 종합 분석

 

OpenAI AI Text Classifier
→ 자체 평가 모델로 ‘likely AI’, ‘possibly AI’, ‘unclear’, ‘unlikely AI’, ‘very unlikely AI’로 판별
→ 단, 정확도는 제한적 (공식 발표에 따르면 최대 26% 정확도 수준)

이러한 감별기는 시간이 지날수록 정밀도가 향상되지만,

AI 기술이 발전하는 속도 또한 매우 빨라 ‘쫓고 쫓기는 게임’이 계속됨을 의미한다.

 

🧠 6. 메타-AI: AI가 AI를 판별하는 시대

가장 흥미로운 기술 중 하나는 AI가 AI를 감별하도록 훈련된 ‘메타-AI 시스템’이다.

 

이 시스템은 두 가지 유형으로 나뉜다.

1. 디텍션 전용 AI 모델
   • 특정 텍스트가 AI로부터 생성되었는지를 감지하는 데 최적화됨
   • 인간 학습자처럼 수많은 예시를 보고 스스로 판별 기준을 정립
2. 생성형 AI에 판별 기능 내장
   • 예: ChatGPT에게 “너 이 글 썼니?”라고 묻는 경우
   • 현재는 자기 생성 여부 인식이 불가능하지만, 향후 발전 방향 중 하나

이러한 기술은 AI 감별의 윤리성과 투명성 확보에도 기여할 수 있다.
즉, AI가 스스로 자신이 썼음을 명시하거나, 생성된 텍스트에 ‘워터마크’를 삽입하는 방식이 미래 대안으로 논의되고 있다.

 

🚨 AI 감별의 함정과 현실

AI 감별 기술은 놀라운 발전을 이루었지만, 아직도 완벽한 감별은 불가능하다.

그 이유는 다음과 같다.

1. AI도 계속 발전 중 – 인간을 모방하는 능력이 나날이 정교해지고 있음
2. 인간도 일관적이지 않다 – 감정 기복, 문체 변화, 모순 등
3. 감별기의 오류 가능성 – 오탐(False Positive)과 미탐(False Negative)이 존재
4. 법적/윤리적 기준의 부재 – AI가 쓴 글을 판별한다고 해서 그것이 곧 ‘불법’이라는 뜻은 아님

 

🌱 맺음말: 감별은 끝이 아니라 시작이다

우리가 AI 글을 감별하려는 이유는 단순히 ‘누가 썼는지’를 알고 싶어서가 아니다.
그 글이 우리에게 어떤 영향을 주는지, 그 글의 진정성을 어떻게 판단할지를 고민하기 때문이다.

 

감별은 끝이 아니라 인간과 기계의 언어가 함께 살아갈 미래를 준비하는 첫걸음이다.
그리고 그 걸음을 내딛는 자는 기술이 아니라, 언제나 사람이어야 한다.

 

다음은 4부, 「숫자 패턴 반복? 밈과 루머의 실체」를 이어서 작성할 예정입니다. 다음글을 기대해주세요..