1. 실제로 무슨 일이 있었나?
David Rügamer, Alex X. Lu, Seth Lazar가 의장을 맡은 NeurIPS 2026 포지션 페이퍼 트랙은 모든 제출물이 "실질적으로 인간에 의해 작성"되어야 한다고 요구했습니다. 카피에디팅 같은 사소한 작업에만 생성형 AI를 허용했죠.
이를 강제하기 위해 의장들은 Pangram(버전 3.3.2)과 파트너십을 맺고 969편을 모두 돌렸습니다. Pangram의 기본 윈도우 설정(약 250~350단어) 하에서는 무려 42.7%의 논문이 90~100% AI 생성 구간에 속했고, 28.2%(273편)는 100% 점수를 받았습니다. 스타크래프트 프로게이머의 APM도 100%를 찍기 힘든데 말입니다.
이후 의장들은 약 100단어의 더 좁은 "중간(medium)" 윈도우로 다시 검사를 진행하여, 90~100% 플래그 비율을 12.7%로 낮췄습니다. 그 결과를 바탕으로 세 그룹으로 분류했습니다:
| 결과 | 논문 수 | 비율 |
|---|---|---|
| 데스크 리젝 (항소 불가) | 178 | 18.4% |
| 조건부 (6/15까지 증빙 요구) | 123 | 12.7% |
| 통과 | 668 | 68.9% |
178편의 데스크 리젝은 단일 기준이 아니었습니다:
79편: 점수 0.8 초과 + 단독 저자
22편: 점수 0.5 초과 + 저자가 명시적으로 AI 사용을 부인함
마지막 22편을 주목하십시오. 저자가 AI를 전혀 쓰지 않았다고 했지만, 탐지기가 50%가 넘는다고 판단하자, 의장들은 이를 "탐지기 오류"가 아니라 "거짓말"로 간주해 리젝했습니다. 눈치(Nunchi)라도 있었으면 적당히 썼다고 체크했을 텐데 말이죠.
2. 의장들의 논문도 24~69%가 나왔다
ACM FAccT 2022(ChatGPT 이전) 논문을 통제군으로 삼아 0%의 오탐지를 기록했다고 의장들은 주장했습니다. 하지만 커뮤니티는 트랙 의장들의 최근 논문들을 Pangram에 돌렸고, 결과는 24%에서 69%였습니다. 만약 그들이 이 트랙에 제출자였다면, 최소한 조건부 통보를 받거나 데스크 리젝을 당했을 것입니다.
3. 가장 뼈아픈 비원어민(ESL) 편향 문제
2023년 스탠포드 연구에 따르면, 비원어민이 작성한 인간의 TOEFL 에세이 중 61.22%가 AI 생성으로 오분류되었습니다. 비원어민 특유의 정형화된 문장 구조가 LLM의 출력 패턴과 통계적으로 구별되지 않기 때문입니다. NeurIPS는 인구통계학적 보정 데이터를 전혀 공개하지 않았습니다.
4. 제출자들에게 남겨진 조언
블랙리스트(Blacklist)는 없습니다. 부정행위 기록도 남지 않으니 안심하고 다른 학회(ICLR 등)에 제출하십시오. 다만 다음에는 모든 버전을 깃(Git) 커밋처럼 꼼꼼히 저장하고, Grammarly 같은 도구를 썼더라도 AI 사용을 솔직하게 체크하십시오.