충분히 점검되지 않은 투고물을 반복해서 접하면 심사자는 다음 논문도 더 의심스럽게 볼 수 있습니다. 그 결과 모호한 설명이나 고칠 수 있는 인용 오류가 저자가 자신의 연구를 확인하지 않았다는 증거로 받아들여질 수도 있습니다. 우려되는 것은 성실한 저자도 일반적인 실수를 했을 때 의심부터 받게 될 수 있다는 점입니다.
여기서 ‘AI 슬롭’은 저자의 충분한 점검 없이 제출된 부실한 AI 생성물을 뜻합니다. 연구의 질이 낮다는 사실만으로 AI 사용 여부를 판단할 수는 없습니다. 이 글에서 검토하는 가설은 이런 자료를 확인하는 부담 때문에 심사자가 다른 투고물에 쓸 시간과 인내심이 줄어들 수 있다는 것입니다.
이 글에서 살펴본 공개 경험담만으로 AI 투고물이 특정 논문의 낮은 점수를 유발했는지, 타당한 연구가 거절될 가능성을 높였는지 판단할 수는 없습니다. 이 글은 경험담과 공식 지침이 뒷받침하는 내용을 살펴본 뒤, 저자가 사실관계 오류의 정정 내용을 검토하기 쉽게 제시하는 방법을 정리합니다.
1. 일부 심사자가 인내심이 줄었다고 말하는 이유
ICLR 프로그램 위원장들이 설명한 2027년 투고 정책[1]은 빠르게 성장하는 분야에서 전문가의 검토 역량이 부족하다는 점을 짚습니다. 저자 스스로도 주장을 검증할 수 없는 투고물의 문제도 제기합니다. 동시에 이러한 부담을 관리하기 위한 제한이 정당하게 연구하는 일부 연구자에게도 비용을 지운다는 사실을 인정합니다.
확인이 필요한 연구의 구체적인 사례도 있습니다. Nihar Shah가 정리한 임시 문구와 미완성 내용의 사례 모음[2]에는 잠정적인 결과나 TBD, 즉 추후 확정할 항목이 담긴 ICLR 투고물 링크가 있습니다. 그는 이런 관찰만으로 AI 사용 여부, 실험의 실제 수행 여부, 고의적인 허위 제시 여부를 판단할 수 없다고 명시합니다. 이 사례들은 근거를 직접 확인해야 할 이유이지, 조작된 논문의 수를 집계한 결과가 아닙니다.
심사자들도 그 수고를 직접 이야기합니다. 10월의 한 토론[3]에는 누락된 베이스라인과 근거가 부족한 결과에 대한 불만이 나오는 한편, 좋은 논문을 받았다는 경험담도 있습니다. 다른 글[4]에서는 한 심사자가 네 시간을 들여 심사한 뒤에야 해당 논문이 데스크 리젝되었다는 사실을 알았다고 말합니다. 그 논문이 거절된 이유는 확인되지 않았습니다.
그만한 시간을 쓰는 심사자가 저자들이 투고 전에 연구를 확인했는지 궁금해하는 것은 당연합니다. 우려되는 것은 그렇게 생긴 정당한 경계심이 다음 논문을 평가할 때 어떤 영향을 줄 수 있느냐는 점입니다.
2. 의심이 평가에 영향을 주기 시작할 때
이 우려를 보여주는 대화가 있습니다. 한 ICLR 토론[5]에서 자신의 심사 경험을 이야기하는 댓글 작성자는 AI가 썼다고 의심되는 글에 거부감이 든다고 말합니다.
“연구 결과가 타당하더라도, 글 때문에 거부감이 든다.”
이에 대한 답글[6]은 결과가 타당하다면 그에 맞게 평가받아야 한다고 주장합니다. 같은 대화의 또 다른 참여자는 중요한 구분을 합니다. 실제로 이해하기 어려운 글이라면, 어떤 방식으로 작성했든 수정이 필요하다는 것입니다.
이 대화만으로 논문을 누가 작성했는지, 연구 결과가 옳은지 알 수는 없습니다. 다만 연구 자체는 타당할 수도 있는 상황에서, AI 사용에 대한 의심이 평가에 영향을 주어야 하는지를 두고 의견이 갈린다는 점은 드러납니다.
한 가지 가설은 부실한 투고물을 반복해서 접할수록 이런 의심을 내려놓기 어려워질 수 있다는 것입니다. 심사자가 모호한 설명을 더 알아보는 데 시간을 덜 쓰거나, 일반적인 인용 실수를 저자가 연구를 애초에 이해하지 못했다는 증거로 해석할 수도 있습니다. 이는 검토해 볼 만한 심사 행태의 변화이지, 이 댓글들만으로 측정된 결과는 아닙니다.
고의가 없는 실수도 심각할 수 있습니다. 아무도 AI를 쓰지 않았더라도 충분한 근거가 없는 결과는 여전히 문제입니다. 중요한 것은 그 구체적인 오류가 주장을 훼손하는지, 바로잡을 수 있는지, 그리고 그 수정이 제대로 검토되는지입니다.
3. 피로가 항상 더 낮은 점수로 이어지는 것은 아니다
NeurIPS 2025 심사 과정을 돌아본 글[7]에서 프로그램 위원장들은 심사에 쓸 수 있는 시간과 역량이 유한하다고 설명합니다. 또 일부 심사자가 길어지는 저자와의 논의를 끝내기 위해 공개 점수는 높이면서, 비공개 논의에서는 여전히 비판적이었던 사례를 보고합니다. 위원장들은 이를 피로의 징후로 해석합니다.
이는 다른 학회의 다른 심사 주기에서 주최 측이 관찰한 내용입니다. AI 투고물의 영향을 입증한 것은 아닙니다. 지나치게 엄격한 평가에 대한 우려와는 반대 방향의 현상이기도 합니다.
살펴봐야 할 위험은 업무 부담과 불신 때문에 근거, 논의, 최종 권고 사이의 연결이 약해질 수 있느냐는 점입니다. 그 영향이 언제나 채택이나 거절 중 한쪽에 유리하게 작용한다고 가정해서는 안 됩니다.
4. 저자들이 겪었다고 말하는 일들
한 저자는 4/2/2/2를 받았으며 심사평 하나가 다른 논문을 설명하고 있다고 말합니다.[8] 원래 심사평이 첨부되어 있지 않아, 여기서 그 주장을 확인할 수는 없습니다. 같은 사람이 다른 토론에서도 이 경험을 반복해 이야기하지만, 여전히 한 사람의 보고입니다.
다른 저자는 심사자가 자기 연구의 이전 버전과 비교하라고 요청했다고 말합니다.[9] 저자는 논문 제목과 방법의 이름을 바꾸었으며, 이것이 혼동의 이유일 수도 있습니다. 그 글만으로 실제 심사평이나 이전 연구의 출판 상태를 확인할 수는 없습니다. 그래도 과학적인 비교를 진행하기 전에 먼저 무엇을 명확히 해야 하는지 보여주는 사례입니다.
3/1/3을 받았다고 말하는 저자[10]는 또 다른 상황을 설명합니다. 가장 낮은 점수를 준 심사자는 신규성을 문제 삼고, 나머지 우려는 비교적 해결하기 쉬워 보인다는 것입니다. 신규성에 대한 이견에는 연구의 기여에 관한 설명이 필요합니다. 반드시 사실관계의 오류인 것은 아니며, 점수가 다르다는 것만으로 어느 평가가 옳은지 알 수 없습니다.
좋은 경험도 있습니다. 3/3/2를 받은 한 저자는 심사자에게 감사를 전합니다.[11] 피드백이 구체적이어서 새로운 연구 방향을 열어 주었다는 것입니다. 논문을 제대로 읽고 저자가 무엇이 중요한지 이해하도록 돕는 비판은 유용한 기준이 됩니다.
이 글에서 선정한 공개 경험담들은 설문조사 결과가 아닙니다. 부실 심사가 얼마나 흔한지, AI 투고물이 그런 심사를 유발했는지 입증하지는 못합니다.
5. 신중한 평가는 어떤 모습이어야 할까
심사평에 사실관계 오류가 있었다면 심사자는 정정 내용을 인정하고, 그것이 자신의 권고에 영향을 주는지 설명해야 합니다. 다른 문제만으로도 거절이 정당할 수는 있습니다. 저자는 어떤 우려가 남아 있는지, 자신의 답변이 어떻게 검토되었는지 이해할 수 있어야 합니다.
ICLR 심사자 안내[12]는 심사자에게 권고에 영향을 미치는 쟁점에 집중하고, 논의에 참여하며, 무엇이 최종 판단을 바꾸었거나 바꾸지 않았는지 설명하도록 요청합니다. 추가 실험 요청의 범위도 제한적이어야 합니다. 분야 책임자(AC) 안내[13]는 AC에게 심사자가 저자 답변에 응답하도록 독려하고, 논의가 충분한 관심을 받지 못할 때 개입하며, 저자의 합리적인 문의에 신속하게 답하도록 요청합니다.
도움이 되는 답변은 우려가 해소되었음을 확인하거나, 왜 여전히 남아 있는지 설명하거나, 별개의 문제를 짚어 줄 수 있습니다. 판단의 이유가 근거와 연결되어 있으면 거절 결정도 더 이해하기 쉬워집니다.
점수만으로는 이런 설명을 대신할 수 없습니다. 평균이나 백분위는 심사자가 수정을 검토했는지 보여주지 않으며, 백분위가 채택 확률을 뜻하는 것도 아닙니다. 심사평을 AI가 썼는지 추측한다고 과학적인 이견이 해결되는 것도 아닙니다. ICLR의 심사자 AI 정책[14]은 심사평을 생성하거나 편집하는 데 LLM을 사용한 심사자에게 사용 사실을 공개하고, 본인이 직접 작성한 원래 평가와 모델과의 상호작용 내용을 제출하도록 요구합니다. 원래 평가와 상호작용 내용은 최초 심사평이 공개될 때 저자에게 보이지 않습니다.
6. 논쟁 중인 쟁점을 확인하기 쉽게 만들기
저자 답변(리버틀)을 준비할 때는 각 쟁점에 어떤 종류의 답변이 필요한지에 따라 내용을 정리하세요.
심사평의 사실관계가 틀렸다면, 제출본의 해당 부분을 가리키세요. 정확히 어떤 진술이 문제인지, 그와 다른 내용을 보여주는 근거가 어디에 있는지, 무엇을 재검토해 달라는 것인지 제시하세요. 결과가 원래부터 있었다고 보여주는 것과 심사 후에 새로 추가하는 것은 서로 다릅니다.
자신의 설명 때문에 혼동이 생겼다면, 그 점을 인정하세요. 무엇이 불분명했는지, 어떻게 고쳤는지, 그 명확화가 주장에 영향을 주는지 설명하세요. 고의가 없는 실수였다고 말하는 것만으로 그 영향이 설명되지는 않습니다.
심사자가 실제로 부족한 근거를 짚었다면, 그 부족한 부분에 답하세요. 뒷받침할 수 있는 분석을 제시하고, 필요한 경우 주장의 범위를 좁히거나 한계를 설명하세요. 심사 과정에 대한 불만이 누락된 근거를 대신할 수는 없습니다.
문제가 신규성이라면, 무엇과 비교하는지 확인하세요. 심사자가 어떤 이전 연구의 어느 버전을 뜻하는지 확인한 뒤, 주장·가정·결과에서 정확히 무엇이 다른지 설명하세요. 제목을 바꾼 것만으로 새로운 기여가 성립하지는 않습니다.
아래는 설명을 위해 만든 예시이며, 실제 심사평이나 저자 답변에서 발췌한 내용이 아닙니다.
심사자가 놓친 결과: “심사평에서는 구성 요소 X를 제외한 어블레이션 실험을 요청하셨습니다. 제출본의 표 3에 해당 실험 결과가 있습니다. 수정본에서는 4절에서 이 표를 가리키는 설명을 더 명확히 했습니다. 이것으로 우려가 해소되는지, 아니면 다른 어블레이션 실험이 필요한지 알려주시면 감사하겠습니다.”
논문의 누락 사항: “이 결과를 재현하는 데 필요한 전처리 세부 사항을 누락했습니다. 이를 3절에 추가하고 어떤 실험에 적용되는지 설명했습니다.”
신규성 비교: “인용하신 원고는 이 연구의 이전 버전입니다. 수정본에서는 Y를 추가했으며, 기존 결과는 X입니다. 우려하시는 부분이 연구의 기여 자체인지, 아니면 두 버전의 관계인지 명확히 알려주시면 감사하겠습니다.”
이런 표현은 실제로 자신의 논문에 들어맞을 때만 사용하세요. 다른 독자도 직접 확인할 수 있는 형태로 이견을 정리하는 것이 목적입니다.
7. 오류를 짚었는데 답변이 없다면
AC에게 구체적인 도움을 요청하세요. 논쟁 중인 진술, 근거의 위치, 이미 게시한 답변을 함께 제시하세요. 해결되지 않은 쟁점이 평가에 왜 중요한지도 설명하세요.
다음과 같이 메시지를 작성할 수 있습니다.
“심사자 2는 X라고 서술했습니다. 저희 답변에서는 이 진술과 관련된 제출본 3절과 표 2를 가리켰습니다. 해당 우려가 여전히 권고의 근거로 남아 있는지 확인할 수 있도록 도와주실 수 있을까요? 제시한 근거에 대한 심사자의 의견을 듣고 싶습니다.”
이 요청은 AC가 검토할 수 있는 구체적인 쟁점을 제시합니다. 추가 심사나 점수 변경, 채택을 보장하는 것은 아닙니다.
논문 개선에 도움이 되는 피드백을 반영하고, 무엇을 바꾸었는지 설명하세요. 좋은 점수를 받았더라도 실질적인 문제 제기에 답할 필요가 없어지는 것은 아닙니다.
8. 답변하면서 추가하는 참고문헌도 확인하기
급하게 답변하다 보면 새로운 혼동이 생길 수 있습니다. 요청받은 인용을 추가하기 전에 원문을 열어 정확히 어떤 연구의 어느 버전인지 확인하고, 자신의 주장과 관련된 부분을 읽으세요. 실제로 존재하는 DOI가 다른 논문의 제목과 잘못 연결되어 있을 수도 있습니다. 서지 정보가 정확하다고 해서 그 논문이 자신의 문장을 뒷받침하는 것은 아닙니다.
기존의 리버틀 참고문헌 점검 가이드는 이 과정을 설명합니다. StrictCite는 서지 정보를 학술 기록과 비교할 수 있습니다. 하지만 출처가 무엇을 입증하는지 판단하려면 여전히 직접 읽어야 합니다. 이 도구는 심사가 공정한지 판단하거나 학회의 결정을 예측할 수 없습니다.
각 점검 결과에 제시된 근거를 직접 확인하세요.