1. Опубликовано 722. Осталось 719.
6 октября OpenAI опубликовала 722 рукописи с результатами работы над 372 математическими задачами. 7 октября компания отозвала три из них. Согласно истории изменений OpenAI, ошибка в знаке сделала недействительными одну конструкцию и две зависевшие от неё рукописи. Та же проверка привела к исправлениям ещё в 14 рукописях и обновлению версий ссылок ещё в 13.[1] Retraction Watch независимо сообщил об отзыве работ и объяснении OpenAI.[2]
Теперь в репозитории указано 719, а не 722 рукописи в тех же 372 семействах задач. Там также сказано, что формализованы 300 основных результатов — около 42 процентов, — и содержится предупреждение о возможных проблемах в некоторых неформализованных результатах.[3] Это текущие цифры OpenAI. Они не доказывают, что остальные 419 рукописей ошибочны, а три отзыва из первоначальных 722 не являются измеренной «долей ошибок».
2. Одна ошибка в знаке привела к трём отзывам
Это были не три несвязанные опечатки. По словам OpenAI, одна ошибка в знаке разрушила аргумент о сокращении стабилизационного следа и конструкцию, использованную в двух зависимых рукописях. Именно это меняет масштаб: ошибка в одном узле может пройти через целое семейство результатов ещё до того, как кто-либо за пределами лаборатории прочтёт первую работу.
Та же проверка 7 октября изменила ещё 14 рукописей: были исправлены доказательства и формулировки, уточнены гипотезы и зависимости, удалена одна устаревшая ссылка. Ещё 13 рукописей обновили, чтобы они ссылались на исправленные сопутствующие работы. Исправления нормальны для науки. Необычно то, что весь объём для проверки появился одновременно.
3. Формализация не равна независимому пониманию
В текущем репозитории указаны 300 формализованных основных результатов при 719 рукописях, около 42 процентов, и прямо сказано, что некоторые неформализованные результаты могут содержать проблемы.[3] Формальные артефакты являются серьёзным свидетельством: они позволяют компьютеру проверить, что сформулированная теорема следует в заданной формальной среде. Но сами по себе они не устанавливают новизну, авторство, качество изложения или то, охватывает ли формальная формулировка каждое утверждение, которое читатель извлекает из текста.
Поэтому Advisory Group on Mathematics and Artificial Intelligence рекомендует ясно указывать статус формализации вместе с моделью, промптами, кратким изложением рассуждений, временем, оценкой вычислительных затрат, процедурой выбора задач и сопоставимыми неудачными попытками.[4] Это не декоративные раскрытия. Именно эти сведения нужны рецензенту, чтобы понять, что действительно было проверено.
4. Спор о том, кто несёт расходы на проверку
За девять дней до публикации AGMAI выпустила рекомендации, основанные более чем на 600 ответах. Центральное правило было прямым: если лаборатория публикует значительный объём математических результатов без немедленного человеческого понимания, она обязана обеспечить последующее понимание, в том числе посредством существенной финансовой поддержки.[4]
Association for Human Mathematics пошла дальше. В заявлении от 7 октября, которое перепубликовал Теренс Тао, она назвала одновременный выпуск более 700 файлов демонстрацией силы, а не научной работы, и призвала математиков прекратить сотрудничество с OpenAI.[5] Это позиция одной организации, а не голосование всех математиков. В заявлении также не утверждалось, что каждое доказательство ложно. Претензия касалась процесса, масштаба и того, на кого переложили работу по оценке.
Эти расходы не абстрактны. Лауреат Филдсовской премии Уго Дюминиль-Копен рассказал Le Monde, что 16 опубликованных вопросов затрагивают его собственную работу и теперь необходимо изучить более 3 500 относящихся к ней страниц. Он также опасается, что исследователи станут менее охотно обсуждать открытые идеи, если закрытая модель сможет обгонять их на вопросах, собранных из этой открытой культуры.[6]
5. Сильнейший контраргумент: так выглядит открытость
Репозиторий открыт. В нём сохраняются прежние версии, фиксируются отзывы, публикуются исправления и доступны машиночитаемые артефакты для многих результатов. OpenAI не стала тихо удалять ошибку в знаке. Компания задокументировала сбой зависимости и оставила отозванные рукописи доступными. Это существенно лучше непроверяемого объявления.
Сама AGMAI назвала публикацию первым шагом, одновременно подчеркнув, что её советы не означают одобрения процесса OpenAI, а открытый выпуск начинает, но не завершает человеческое понимание.[7] 15 октября OpenAI дала конкретный ответ: 5 миллионов долларов новой инициативе Simons Foundation, чтобы математики могли проверять, понимать и развивать результаты ИИ, а также доступ к моделям и вычислительным ресурсам для поддержанных исследователей.[8]
Достаточно ли этого — предмет законного спора. Но это меняет факты. История не сводится к фразе «OpenAI выгрузила 722 работы и ушла». Более точный вопрос: может ли финансирование после публикации компенсировать то, что одна компания выбирает вопросы, создаёт объём и задаёт сообществу повестку проверки.
6. Каждому результату ИИ нужен статусный протокол
Папки с PDF недостаточно. При публикации такого масштаба каждая рукопись должна иметь машиночитаемую запись статуса, отвечающую на вопросы, которые иначе рецензенту пришлось бы восстанавливать самостоятельно:
статус формализации и точный охват
независимая человеческая проверка: нет / частичная / полная
входящие и исходящие зависимости рукописи
модель, промпт, краткое рассуждение, время и вычисления
сопоставимые предпринятые и неудачные попытки
история изменений с постоянным доступом к прежним версиям
Это не решит, важна ли теорема. Но сделает статус проверки понятным, отделит проверенное компьютером утверждение от понятого человеком и покажет, когда исправление должно распространиться на зависимые работы.
7. Где применим StrictCite — и где его граница
Мы проверили 521 общедоступный файл BibTeX репозитория на коммите 1581d4c: 13 802 разобранные записи, включая 9 824 с полем DOI. После автоматической нормализации осталось 15 межфайловых конфликтов DOI; ручная проверка объяснила все 15. Самая убедительная предполагаемая ошибка оказалась корректной ссылкой на прежнюю версию arXiv.[9]
Этот результат не оправдывает каждую ссылку и ничего не говорит о доказательствах. Он показывает, почему проверке нужны подтверждения и почему предполагаемая ошибка должна выдержать ручную оценку. StrictCite проверяет библиографическое основание — совпадают ли идентификаторы, названия, авторы, годы и версии с источниками. Lean и математическое рецензирование работают на другом уровне. Ни один инструмент не должен выдавать себя за другой.
Чтобы увидеть подтверждения для собственной библиографии, а не только отметку «пройдено/не пройдено»: strictcite.com. Для бесплатного тарифа карта не требуется.