AI 판별 점수를 과신하지 않고 읽는 법

판별 점수는 특정인이 AI를 사용했을 확률이 아닙니다. 이는 그 글이 기계가 생성한 글의 통계적 패턴, 즉 고른 단어 선택, 낮은 문장 길이 편차, 예측 가능한 전환 표현과 얼마나 비슷한지를 나타내는 유사도 지표일 뿐입니다. 80퍼센트라는 점수는 글이 그 패턴과 비슷해 보인다는 뜻이지, 생성되었을 확률이 80퍼센트라는 뜻이 아닙니다. 이 숫자를 유사도 지표가 아니라 판결로 읽는 것이 가장 흔한 실수입니다.

판별 도구가 주목하는 패턴은 꼼꼼한 편집을 거친 글에서 나타나는 패턴과 같습니다. 문법 검사기와 스타일 가이드를 거치고 여러 차례 수정된 글은 정확히 기계적이라고 표시되는 그 규칙성 쪽으로 수렴합니다. 그래서 잘 다듬은 기업 문서, 기술 문서, 많이 손본 학생 과제가 한밤중에 사람이 직접 타이핑한 거친 초고보다 오히려 더 높은 점수를 받는 경우가 많습니다.

외국어로 글을 쓰는 사람은 더 좁은 어휘, 더 단순한 문장 구조, 더 관습적인 표현을 쓰는 경향이 있습니다. 그런 표현이 가장 자신 있는 구문이기 때문입니다. 판별 도구는 이런 절제된 표현을 기계적인 규칙성으로 읽어냅니다. 그 결과는 체계적인 편향입니다. 같은 내용의 에세이라도 작성자가 영어를 모국어로 배웠는지 여부에 따라 점수가 달라집니다. 점수를 증거로 취급하는 절차는 무엇이든 정확히 이 지점에서 불공정한 결과를 만들어냅니다.

판별은 통계적 신호에 의존하는데, 짧은 글에는 그 신호가 충분히 담겨 있지 않습니다. 한 단락만 놓고 보면 우연히 어떤 문장이 포함되었는지에 따라 결과가 크게 흔들릴 수 있습니다. NotGPT를 포함한 도구들이 상당한 분량의 입력을 받는 것은 바로 이 때문입니다. 결과가 중요한 판단으로 이어진다면 발췌본이 아니라 문서 전체를 검사해야 하며, 수백 단어 미만에서 나온 결과는 어디까지나 참고용으로만 받아들여야 합니다.

높은 점수는 그 자체로 결론이 아니라 더 자세히 들여다볼 이유일 뿐입니다. 이어서 확인할 만한 증거로는 초고 작성 이력, 작성자가 자신의 논지를 직접 설명할 수 있는지, 이전 작업물과의 일관성 등이 있습니다. 교육이나 편집 현장에서 생산적인 대응은 추궁이 아니라 대화입니다. 판별 도구는 어디에 주의를 기울일지 걸러주는 필터로 쓸 때 가장 유용하며, 결과를 결정짓는 심판으로 써서는 안 됩니다.

정당하게 쓸 수 있는 또 다른 방법은 자가 점검입니다. AI의 도움을 받아 초고를 쓰고 그 결과가 자신의 글처럼 읽히기를 바란다면, 점수는 아직도 생성된 글처럼 읽히는지를 알려줍니다. 이를 다시 쓰는 작업과 결합하면 회피 수단이 아니라 수정 순환이 됩니다. 목표는 자신의 논리와 목소리가 담긴 글이며, 바로 그것이 점수를 떨어뜨리는 요인이기도 합니다. 이때 프라이버시도 중요한데, 아직 공개하지 않은 글이라면 제출한 내용을 보관하지 않는 도구를 쓰는 편이 낫습니다.