1. ICLR 2027은 지금 어디에 있나
초록 마감은 9월 18일, 본 논문 마감은 9월 25일이었다. 그 이후에 대해 가이드라인은 명확하다. “제출물은 제출 마감까지 OpenReview에서 수정할 수 있으며, 이후에는 리뷰가 공개될 때까지 수정할 수 없다.” FAQ는 “제출 마감 이후에는 아무리 사소한 것이라도 논문을 수정할 수 없다”고 덧붙인다[1].
리뷰는 11월 5일에 공개적으로 게시된다. 11월 5일부터 18일까지 저자는 논문을 수정할 수 있다. 수정하면 “새 변경 사항을 원래 제출본과 비교하기 위해 pdfdiff가 적용”되고, “영역 의장과 리뷰어는 원래 논문과 크게 다른 변경을 무시할 권리를 가진다.” 결정은 12월 16일에 나오며, 그 후 채택·거절·철회된 모든 제출물의 익명이 해제되고 리뷰가 공개된다[1]. 마감 이후 철회한 논문은 OpenReview의 공개 “withdrawn papers” 섹션에 남으며 “즉시 익명이 해제된다”[1].
실제로는 이렇다. 9월 25일에 올린 PDF가 검사받는 PDF다. 지금은 바꿀 수 없다. 그 안에 무엇이 있는지 확인할 수는 있다.
2. 포맷 규정, ICLR의 표현 그대로
각 행은 같은 행에 링크된 출처를 인용한다. [1]은 저자 가이드라인, [2]는 공식 LaTeX 템플릿(.tex 안내문과 .sty 파일), [3]은 저자용 AI 정책이다.
| 규정 | ICLR의 표현 | 출처 |
|---|---|---|
| 페이지 제한, 제출본 | “제출 시점에 본문은 9페이지 이하여야 한다.” “이 제한은 엄격히 적용된다. 본문이 페이지 제한을 넘는 논문은 데스크 리젝트된다.” (단, 4절 참조.) | [1] |
| 페이지 제한, 수정본과 최종본 | “토론/반박 단계와 최종본에서는 페이지 제한이 10페이지로 늘어난다.” | [1] |
| 참고문헌 | “참고문헌 목록은 페이지 제한에 포함되지 않으며, 참고문헌에는 페이지를 무제한으로 추가할 수 있다.” | [1] |
| 부록 | “(참고문헌 뒤에) 부록을 원하는 만큼 쓸 수 있지만, 리뷰어는 부록을 읽을 의무가 없다.” | [1] |
| 템플릿 | “저자는 ICLR LaTeX 스타일 파일을 사용해야 한다 … 이전 버전이 아닌 현재 파일을 사용하는지 확인하라. 스타일 파일을 수정하면 거절 사유가 될 수 있다.” | [2] |
| 본문 영역과 여백 | “본문은 가로 5.5인치(33파이카), 세로 9인치(54파이카)의 사각형 안에 있어야 한다. 왼쪽 여백은 1.5인치(9파이카)다.” “모든 페이지는 페이지 상단에서 1인치(6파이카) 아래에서 시작해야 한다.” 스타일 파일은 용지를 8.5 × 11인치(US Letter)로 설정한다. | [2] |
| 글꼴 | “10포인트 글자에 11포인트 행간을 사용하라. 전체적으로 Times New Roman이 권장 서체다.” 제목: “17포인트, 스몰캡, 왼쪽 정렬.” 1단계 제목: “스몰캡, 왼쪽 정렬, 12포인트.” | [2] |
| 초록 | “왼쪽과 오른쪽 여백 모두 1/2인치(3파이카) 들여쓴다 … 초록은 한 문단으로 제한된다.” | [2] |
| 익명성 | “본문이나 보충 자료에서 저자의 신원이 드러난 논문은 데스크 리젝트된다.” 자신의 arXiv 논문은 “3인칭으로 인용해야 한다.” | [1] |
| 심사 모드 머리글 | 심사 모드에서 스타일 파일은 “Anonymous authors / Paper under double-blind review”와 머리글 “Under review as a conference paper at ICLR 2027”을 출력한다. \iclrfinalcopy 스위치를 켜면 이름이 출력된다. 템플릿 자체의 주석: “최종본에서는 주석을 해제하되, 제출본에서는 절대 해제하지 말 것.” | [2] |
| 코드와 데모 링크 | “완전히 익명”이어야 한다. “또한 호스팅 웹사이트가 방문자를 추적하지 않는지 확인하라.” | [1] |
| AI 사용 진술 | 필수. “논문 안의 필수 섹션(이 섹션은 페이지 제한에 포함되지 않는다).” 템플릿은 “이 진술은 1페이지를 넘지 않아야 한다”고 덧붙인다. | [3] [2] |
| 윤리 진술 | 권장. “본문 끝, 참고문헌 앞”에 둔다. “페이지 제한에 포함되지 않지만 1페이지를 넘지 않아야 한다.” | [1] |
| 재현성 진술 | 권장. “한 문단 길이”이며 “페이지 제한에 포함되지 않는다.” | [1] |
| 감사의 글 | “감사의 글은 페이지 제한에 포함되는가? 아니다.” | [1] |
| 다른 ICLR 2027 제출물 인용 | “OpenReview는 저자를 나열하지 않고 제목, 연도, URL만 담은 BibTeX 항목을 제공한다.” | [1] |
3. PDF 밖에 있는 데스크 리젝트 사유
명시된 데스크 리젝트 사유 중 여러 개는 논문 자체와 관계가 없다. 아래는 모두 저자 가이드라인에서 인용했다[1].
- 저자: “초록 제출 마감 이후에는 저자를 추가하거나 삭제할 수 없다.”
- OpenReview 프로필: 모든 저자는 본 논문 마감 전에 프로필이 있어야 하며, “프로필의 잘못된 정보는 데스크 리젝트 사유가 된다.”
- 상호 리뷰: “저자 중 아무도 리뷰어로 등록하지 않으면 해당 논문은 데스크 리젝트된다.” 세 편 이상에 이름을 올린 저자는 최소 여섯 편을 리뷰해야 하며, “반박 단계까지 완전하고 질 높은 리뷰를 내지 못한 저자는 제출 논문이 데스크 리젝트될 수 있다.”
- 쿼터: 저자당 20편 이하, 그리고 자격 있는 상호 리뷰어가 없는 논문은 저자당 최대 한 편. 쿼터를 넘으면 “모든 저자가 쿼터 이하가 될 때까지 초과 제출물을 무작위로 데스크 리젝트한다.”
- 초록: “자리 표시용 초록이나 중복 초록은 삭제된다.”
- 제재: “이 목록에 있는 기관과 관련된 것으로 밝혀진 제출물은 데스크 리젝트된다.”
4. 가이드라인이 스스로 모순되거나 침묵하는 두 지점
제출본의 페이지 제한. 가이드라인의 포맷 섹션은 “제출 시점에 본문은 9페이지 이하여야 한다”고 말한다. 템플릿도 같다. “초기 제출본 본문은 엄격하게 최대 9페이지”[1][2]. 그런데 같은 가이드라인 페이지 아래쪽 최종본 섹션은 “페이지 제한은 제출본과 동일하다(10페이지)”고 말한다. 반박 수정본이 몇 페이지까지 가능하냐는 FAQ 답변도 “페이지 제한은 제출본과 동일하다(10페이지)”이다[1]. 제출본이 9페이지이면서 동시에 10페이지일 수는 없다. 뒤의 두 문장은 예전 연도에서 넘어와 갱신되지 않은 문구처럼 보인다. 이를 확인할 수는 없으므로, 페이지가 두 가지를 모두 말한다는 사실만 기록한다. “데스크 리젝트”라는 말이 바로 옆에 적혀 있는 것은 9페이지 규정이고, 템플릿이 반복하는 것도 9페이지다. 9페이지를 기준으로 계획하라.
참고문헌을 다시 검사할 것인지. 10월 4일, ICLR 2027 저자 가이드라인, 저자용 AI 정책, 논문 모집 공고의 전문을 검색했다. 어느 것에도 “hallucinated”라는 단어는 없고, 자동 참고문헌 검사를 설명하는 곳도 없다[1][3]. 가장 가까운 규정은 AI 정책에 있다. “LLM이 만든 상당한 허위, 표절, 또는 왜곡은 논문 저자 측의 윤리 강령 위반으로 간주되며, 논문의 데스크 리젝트로 이어질 수 있다.” 같은 정책은 “참고문헌 서식 정리”를 공개가 필수가 아니라 권장되는 AI 사용 목록에 넣고 있다[3]. 즉 2027 규정은 지난 주기의 참고문헌 검사가 다시 실행될지 말하지 않는다. 다만 조작된 참고문헌은 저자 책임이라고 말한다.
5. 지난 주기 ICLR이 참고문헌에 대해 한 일
ICLR 2026 프로그램 의장들은 3월 31일 회고에서 절차를 설명했다. 그들의 시스템은 “제출물에서 참고문헌을 자동으로 추출해 여러 표준 서지 데이터베이스와 표준 웹 검색으로 확인했다.” 영역 의장들이 표시된 참고문헌을 1차로 사람이 검토했고, 이어 프로그램 의장들이 표시된 참고문헌을 모두 직접 확인했다. “표시된 참고문헌이 있는 논문은 모두 최소 세 사람이 검토했다.” 그리고 “환각 참고문헌이 확인된 논문은 모두 데스크 리젝트되었고, 잘못 표시된 논문을 위한 이의 제기 경로가 함께 마련되었다”[4].
그들은 시스템의 약점도 공개했다. 시스템은 “상당한 오탐률을 보였다(예를 들어, 제출 저자가 영어로 번역한 비영어 제목의 논문을 참조하면 이를 표시했다).” 그리고 이 절차는 “올해 ICLR의 데스크 리젝트 비율이 과거보다 상대적으로 높은 이유를 부분적으로 설명한다”[4].
여기서는 무엇을 “환각”으로 보느냐가 중요하다. 우리가 아는 가장 큰 독립 감사는 ICLR, ICML, NeurIPS, USENIX Security를 다루며, 이를 “존재하지 않는 저작과 상당한 저자 목록 불일치”로 좁게 정의하고 일반적인 서지 차이는 제외한다[9]. 다음 절을 읽을 때 이 정의를 기억해 두자.
6. ICLR 자체 템플릿 속의 참고문헌
공식 ICLR 2027 스타일 파일 패키지에는 세 항목짜리 샘플 참고문헌 iclr2027_conference.bib이 들어 있다. 템플릿의 예시 본문이 세 항목을 모두 인용하므로, 템플릿을 배포된 그대로 컴파일하면 세 항목 모두 참고문헌 섹션에 출력된다[2]. 아래는 배포된 그대로의 세 번째 항목이다.
Deep Learning의 저자는 Ian Goodfellow, Yoshua Bengio, Aaron Courville 세 명이다. 저자들이 직접 권장하는 BibTeX 항목은 이 세 명을 나열하며 volume 필드가 없다[7]. 템플릿은 Bengio를 네 번째 저자로 한 번 더 적고 “volume 1”을 추가한다.
얼마나 오래 있었나. ICLR은 템플릿을 공개 GitHub 저장소에 보관한다. 중복 저자는 ICLR 2019 템플릿을 준비하던 2018년 7월 2일에 추가되었다[5]. 우리는 그 저장소에 있는 모든 연도의 샘플 참고문헌을 확인했다. 2019, 2020, 2021, 2022, 2023, 2024, 2025, 2026, 2027. 아홉 개 모두 해당 줄이 동일하다[6]. 그 뒤로 템플릿은 새 학회 연도 여덟 번에 걸쳐 갱신되었지만, 이 항목은 고쳐지지 않았다.
출판된 논문에까지 들어간다. ICLR 스타일로 출력하면 이 항목은 “Ian Goodfellow, Yoshua Bengio, Aaron Courville, and Yoshua Bengio. Deep learning, volume 1. MIT Press, 2016.”이 된다. 정확히 이 참고문헌이 ICLR 2023에 출판된 논문의 참고문헌 목록에 있다[8]. 그 저자들이 이 항목을 템플릿에서 가져왔는지 다른 곳에서 가져왔는지는 알 수 없으며, 그들이 책임질 오류도 아니다. 하나의 예일 뿐이다. 이 항목을 실은 논문이 몇 편인지는 세어 보지 않았다.
우리 검사기의 결과. 10월 4일, 템플릿의 세 항목짜리 참고문헌을 StrictCite 엔진으로 검사했다. 한 항목은 깨끗하게 검증되었다. 두 항목이 표시되었고, 그중 하나는 사소하다.
| 템플릿 항목 | 기록이 말하는 것 | 우리 엔진 |
|---|---|---|
| Hinton, Osindero & Teh (2006), A Fast Learning Algorithm for Deep Belief Nets | 제목, 저자, 연도, 학술지, 권, 페이지가 모두 Crossref와 일치한다[11]. | 검증됨 |
| Bengio & LeCun (2007), Scaling Learning Algorithms Towards AI | Crossref의 제목은 “Scaling Learning Algorithms toward AI”다[10]. 한 글자 차이다. 우리는 이것을 오류라고 부르지 않겠다. | 표시됨, 사소함 |
| Goodfellow et al. (2016), Deep learning | 저자는 네 명이 아니라 세 명이다[7]. 우리 엔진은 목록을 OpenAlex와 비교해 다르다고 보고했다. | 표시됨, 실제 오류 |
이것이 무엇이고, 무엇이 아닌가. 환각이 아니다. 책은 존재하고, 적힌 저자는 모두 실제 저자이며, 감사의 정의에 따르면 이름이 반복된 것은 아마 “상당한” 불일치가 아닐 것이다[9]. ICLR 자체 검사기가 이를 어떻게 처리했을지는 모르며, 이 때문에 누군가 데스크 리젝트될 것이라고 말하는 것도 아니다. 이것이 보여주는 것은 더 좁다. 기록과 일치하지 않는 저자 목록이, ICLR이 모든 저자에게 출발점으로 쓰라고 하는 바로 그 파일에, 아홉 번의 학회 주기 동안 고쳐지지 않은 채 있었다. 지난 주기 ICLR은 조작된 참고문헌이 확인된 논문을 최소 세 사람의 검토를 거쳐 모두 데스크 리젝트했다[4]. 그런 ICLR이 모든 저자에게 건네는 템플릿은, 이런 오류가 얼마나 쉽게 눈에 띄지 않는지, 그리고 누군가 알아챘으리라 믿기보다 참고문헌을 기계적으로 검사할 가치가 왜 있는지를 보여준다.
7. 11월 5일 전에 아직 할 수 있는 일
제출한 참고문헌을 지금 검사하라. 11월 5일까지 PDF는 바꿀 수 없다[1]. 그 안에 잘못된 것이 있다면, 리뷰어나 프로그램 의장이 알려주기 전에 아는 편이 낫다. 실제 조작이라면 무엇을 상대하는지 알게 된다. ICLR이 설명한 종류의 오탐이라면 증거를 준비해 둘 수 있다. ICLR 2026에는 잘못 표시된 논문을 위한 이의 제기 경로가 있었다[4]. 2027 가이드라인은 이를 설명하지 않는다.
검사기가 어떤 항목을 표시할지 알아 두라. 예측 가능한 것이 두 종류 있다. 다른 ICLR 2027 제출물을 인용할 때는 OpenReview의 BibTeX를 쓰는데, 이는 설계상 저자를 나열하지 않는다[1]. 그리고 영어로 번역한 비영어 제목은 ICLR 스스로 든 오탐 사례였다[4]. 번역된 제목으로 논문을 인용한다면 원래 제목도 항목에 함께 남겨 두라.
LLM이 참고문헌을 손댔다면 공개하라. “참고문헌 서식 정리”는 ICLR이 공개를 권장하는 사용 목록에 있다[3]. AI 사용 진술은 어차피 필수이니 거기에 적으면 된다.
수정할 때는 규정 안에 머물라. 수정본 제한은 10페이지이고, pdfdiff가 무엇이 바뀌었는지 리뷰어에게 그대로 보여준다[1]. 2027 파일을 쓰고, 스타일 파일은 건드리지 말고, \iclrfinalcopy를 켜지 마라. 켜면 이름이 출력되고, 신원이 드러나는 것은 데스크 리젝트 사유다[1][2]. 템플릿에서 논문을 시작했다면 샘플 항목이 아직 .bib에 남아 있고 인용되고 있는지 확인하라.
8. StrictCite가 하는 일
StrictCite는 참고문헌을 검사하며, 이 글의 다른 항목은 검사하지 않는다. 페이지 수를 세거나 여백을 재거나 이름을 찾지 않는다. 그런 것은 2절의 표를 보고 5분이면 직접 확인할 수 있다. 손으로 쉽게 확인할 수 없는 것은 쉰 개, 예순 개의 참고문헌이 하나하나 당신이 적은 저자, 제목, 연도를 가진 실제 기록으로 연결되는지다. StrictCite는 이를 Crossref, OpenAlex, DBLP 등 레지스트리를 상대로 확인한다. 무료 요금제는 24시간 이동 창 기준으로 하루 30개 참고문헌을 다룬다[12]. 참고문헌 60개짜리 목록이면 이틀이 걸린다. 리뷰는 11월 5일에 공개된다. 참고문헌은 strictcite.com에서 무료로 확인할 수 있다.