1. Что произошло на самом деле
Организаторы трека требовали, чтобы все работы были «в основном написаны человеком». Они использовали детектор Pangram версии 3.3.2. При стандартных настройках окон детектор пометил 42,7% всех заявок как сгенерированные на 90-100%. Осознав абсурдность ситуации, организаторы уменьшили окно анализа, снизив процент до 12,7%. Результаты:
| Исход | Статьи | % |
|---|---|---|
| Отклонены (без апелляции) | 178 | 18.4% |
| Условно (нужны доказательства) | 123 | 12.7% |
| Одобрены | 668 | 68.9% |
22 статьи были отклонены просто потому, что их оценка превысила 0,5, а авторы заявили об отсутствии ИИ. Машина сказала, что вы лжете, и спорить бесполезно.
2. Статьи самих организаторов набрали 24-69%
Сообщество проверило последние статьи самих председателей трека. Детектор выдал им вероятности ИИ от 24% до 69%. Если бы они подавали свои статьи в этот трек, им бы пришлось доказывать свою невиновность.
3. Проблема предвзятости к не-носителям языка (ESL)
В исследовании Стэнфорда 2023 года 61,22% эссе TOEFL, написанных реальными иностранцами, были ошибочно признаны сгенерированными ИИ. Формальный и структурированный английский язык не-носителей статистически похож на вывод LLM.
4. Если вас отклонили
Черного списка нет. Это не признание в академическом мошенничестве. Вы можете спокойно подавать работу на ICLR (дедлайн 25 сентября) или ICML. Сохраняйте черновики и ставьте галочку об использовании ИИ, даже если просто проверяли грамматику. Без бумажки ты букашка, а с бумажкой — человек (особенно если бумажка — это история коммитов в Git).