1. 722편이 올라왔고 719편이 남았다
10월 6일 OpenAI는 372개의 수학 문제에 관한 작업을 보고하는 원고 722편을 공개했다. 10월 7일에는 그중 3편을 철회했다. OpenAI의 수정 기록에 따르면 부호 오류 하나로 한 구성과 그에 의존한 원고 2편이 무효가 됐다. 같은 감사 과정에서 다른 원고 14편이 수정됐고, 추가로 13편의 참고문헌 버전이 갱신됐다.[1] Retraction Watch도 철회와 OpenAI의 설명을 독립적으로 보도했다.[2]
현재 저장소에는 같은 372개 문제군에 걸쳐 722편이 아닌 719편의 원고가 올라와 있다. 또한 주요 결과 300개, 약 42퍼센트가 형식화됐다고 밝히며, 형식화되지 않은 일부 결과에는 문제가 있을 수 있다고 경고한다.[3] 이것이 OpenAI의 현재 수치다. 나머지 419편이 틀렸다는 증거가 아니며, 최초 722편 중 3편의 철회도 측정된 “실패율”이 아니다.
2. 하나의 부호 오류가 세 편의 철회가 됐다
세 철회는 서로 무관한 오타가 아니었다. OpenAI에 따르면 부호 오류 하나가 안정화-트레이스 상쇄 논증과 두 의존 원고가 사용한 구성을 무너뜨렸다. 규모가 바꾸는 지점이 바로 이것이다. 연구소 밖에서 첫 논문을 읽기도 전에 한 노드의 오류가 결과군 전체로 퍼질 수 있다.
같은 10월 7일 감사에서는 증명 수리, 진술 수정, 가정이나 의존 관계 명확화, 오래된 인용 1건 때문에 다른 원고 14편이 수정됐다. 추가로 13편은 수정된 동반 논문을 가리키도록 갱신됐다. 수정은 정상적인 학술 과정이다. 이례적인 것은 검토해야 할 범위가 한꺼번에 도착했다는 점이다.
3. 형식화는 독립적인 이해와 같지 않다
현재 저장소는 원고 719편에 대해 형식화된 주요 결과 300개, 약 42퍼센트를 보고하며, 형식화되지 않은 일부 결과에는 문제가 있을 수 있다고 명시한다.[3] 형식 산출물은 중요한 증거다. 명시된 정리가 특정 형식 환경 안에서 도출되는지 컴퓨터가 확인할 수 있게 한다. 하지만 그것만으로 신규성, 귀속, 설명의 질, 또는 독자가 글에서 받아들이는 모든 주장을 형식 명제가 포착하는지는 확립되지 않는다.
따라서 Advisory Group on Mathematics and Artificial Intelligence는 형식화 상태를 모델, 프롬프트, 추론 요약, 시간, 계산량 추정, 문제 선택 과정, 비교 가능한 실패 시도와 함께 명확히 밝히라고 권고한다.[4] 이는 장식용 공개가 아니다. 실제로 무엇을 확인했는지 검토자가 판단하는 데 필요한 정보다.
4. 쟁점은 누가 검토 비용을 부담하느냐다
공개 9일 전 AGMAI는 600건이 넘는 응답을 바탕으로 권고안을 발표했다. 핵심 원칙은 분명했다. 연구소가 즉각적인 인간의 이해 없이 상당한 수학 결과를 공개한다면, 상당한 재정 지원을 포함해 이후의 이해가 이루어지도록 책임져야 한다.[4]
Association for Human Mathematics는 더 나아갔다. Terence Tao가 재게시한 10월 7일 성명에서 700개가 넘는 파일의 동시 공개를 학문이 아닌 힘의 과시라고 표현하고, 수학자들에게 OpenAI와의 협업을 중단하라고 촉구했다.[5] 이는 한 단체의 입장이지 모든 수학자의 투표 결과가 아니다. 성명은 모든 증명이 틀렸다고 주장하지도 않았다. 문제 제기는 절차, 규모, 그리고 평가 작업을 누구에게 넘겼는지에 관한 것이었다.
비용은 추상적이지 않다. Fields Medalist Hugo Duminil-Copin은 Le Monde에 공개된 문제 중 16개가 자신의 연구와 관련되고, 이제 관련 문서 3,500쪽 이상을 살펴봐야 한다고 말했다. 또한 독점 모델이 열린 문화에서 수집한 문제를 앞질러 풀 수 있다면 연구자들이 미해결 아이디어를 공유하기를 꺼리게 될 것이라고 우려했다.[6]
5. 가장 강한 반론: 이것이 공개성의 모습이다
저장소는 공개돼 있다. 이전 버전을 보존하고, 철회를 기록하고, 수정 사항을 공개하며, 많은 결과에 기계 검증 가능한 산출물을 포함한다. OpenAI는 부호 오류를 조용히 삭제하지 않았다. 의존 관계의 실패를 문서화하고 철회된 원고도 접근 가능하게 유지했다. 이는 검증할 수 없는 발표보다 실질적으로 낫다.
AGMAI도 공개를 첫 단계라고 불렀지만, 자신의 조언이 OpenAI의 절차를 승인하는 것은 아니며 공개는 인간 이해의 완료가 아니라 시작이라고 강조했다.[7] 10월 15일 OpenAI는 구체적인 대응을 더했다. 수학자들이 AI 생성 결과를 검토하고 이해하고 발전시키는 새로운 Simons Foundation 이니셔티브에 500만 달러를 기부하고, 지원받는 연구자에게 모델과 계산 자원 접근을 제공하기로 했다.[8]
그것으로 충분한지는 정당한 논쟁거리다. 하지만 사실관계는 달라진다. 이야기는 단순히 “OpenAI가 논문 722편을 쏟아놓고 떠났다”가 아니다. 더 날카로운 질문은 한 회사가 문제를 선택하고 물량을 만들고 공동체의 검증 의제를 정하게 한 뒤, 사후 지원금으로 이를 보상할 수 있느냐다.
6. 모든 AI 생성 결과에는 상태 증명이 필요하다
PDF로 가득 찬 폴더만으로는 부족하다. 이 규모의 공개라면 각 원고에 검토자가 아니면 직접 복원해야 할 질문에 답하는 기계 판독 가능 상태 기록이 있어야 한다.
형식화 상태와 정확한 범위
독립적인 인간 검토: 없음 / 일부 / 완료
원고의 상류·하류 의존 관계
모델, 프롬프트, 추론 요약, 시간, 계산량
비교 가능한 문제의 시도와 실패
이전 버전을 영구 보존한 수정 기록
이것이 정리의 중요성을 결정하지는 않는다. 하지만 검증 상태를 읽을 수 있게 하고, 컴퓨터가 확인한 주장과 인간이 이해한 주장을 분리하며, 수정 사항이 의존 논문으로 전파돼야 할 시점을 드러낼 수 있다.
7. StrictCite가 다루는 범위와 한계
커밋 1581d4c에서 저장소의 공개 BibTeX 파일 521개를 감사했다. 분석 항목은 13,802개였고 그중 9,824개에 DOI 필드가 있었다. 자동 정규화 후 파일 간 DOI 충돌 15건이 남았지만 수동 검토로 모두 설명할 수 있었다. 가장 오류처럼 보였던 사례는 실제로 이전 arXiv 버전에 대한 정확한 인용이었다.[9]
이 결과가 모든 참고문헌을 보증하지 않으며 증명에 대해서는 아무것도 말하지 않는다. 검증에 근거가 필요한 이유와 의심되는 오류가 수동 검토를 통과해야 하는 이유를 보여준다. StrictCite는 식별자, 제목, 저자, 연도, 버전이 출처와 일치하는지라는 서지적 기반을 확인한다. Lean과 수학적 동료 평가는 다른 층위를 다룬다. 어느 쪽도 다른 쪽인 척해서는 안 된다.
자신의 참고문헌에서 단순한 통과/실패 표시가 아니라 근거를 확인하려면 strictcite.com을 이용할 수 있다. 무료 요금제에는 카드가 필요하지 않다.