# Wes Roth: «Первая научная статья от ИИ успешно прошла рецензирование» Источник: https://www.youtube.com/watch?v=RP098Dfjw8A Канал: Wes Roth Опубликовано: 19.03.2025 --- В мире искусственного интеллекта произошло событие, которое многие эксперты называют исторической вехой: система «AI Scientist», разработанная компанией Sakana.AI, впервые создала научную работу, которая успешно прошла процесс слепого рецензирования (peer-review). Это достижение ставит перед академическим сообществом и индустрией фундаментальные вопросы о будущем научных открытий и возможности «интеллектуального взрыва». ## 🤖 Рождение полностью автономного ученого [[JUMP:0:00]] Проект «AI Scientist», впервые представленный компанией Sakana.AI в августе 2024 года, задумывался как система для полностью автоматизированного научного поиска [0:00]. В отличие от простых языковых моделей, эта система представляет собой сложную программную «обвязку» (scaffolding) вокруг больших языковых моделей (LLM), снабженную набором инструментов для самостоятельного проведения исследований [0:12]. Суть эксперимента заключалась в проверке гипотезы: способен ли ИИ не просто помогать человеку, а самостоятельно вносить вклад в науку, выполняя весь цикл работ от идеи до публикации [0:36]. Итогом стала научная статья, авторами которой в метаданных значились «анонимы», поданная на воркшоп престижной конференции по машинному обучению ICLR [2:42]. По мнению автора видео Уэса Рота, успех этого эксперимента подтверждает близость точки «интеллектуального взрыва». Этот термин, часто упоминаемый бывшим исследователем безопасности OpenAI Леопольдом Ашенбреннером, описывает момент, когда ИИ станет лучше людей в самом процессе исследования ИИ [1:27]. В свою очередь, это может вызвать резкий скачок прогресса во всех областях науки [1:40]. ## 📝 Эксперимент с рецензированием: «двойное слепое» испытание [[JUMP:3:07]] Для проверки качества работы «ИИ-ученого» был выбран воркшоп конференции ICLR. Организаторы добавили специальное условие: рецензенты (люди) были предупреждены, что среди присланных работ может быть небольшое количество текстов, полностью сгенерированных ИИ [3:20]. Процесс был организован максимально объективно: * Рецензенты не знали, кто автор работы — человек или машина (double-blind study) [3:34]. * Поскольку вероятность получить ИИ-статью была низкой, рецензенты подходили к проверке с теми же стандартами, что и к человеческим работам [3:47]. * ИИ-система не просто написала текст, а самостоятельно прошла все этапы: выдвинула гипотезу, написала и отладила код, провела эксперименты, визуализировала данные в графиках и оформила финальную рукопись [7:40]. Из трех поданных системой Sakana.AI работ одна успешно преодолела порог прохождения, получив средний балл 6.33 из 10 [8:21]. Этот результат оказался выше среднего балла многих работ, принятых на воркшоп и написанных людьми [8:34]. Один рецензент поставил оценку «7» (хорошая работа без претензий), двое других — «6» (на грани принятия) [8:47]. ## 😅 Курьез с Юргеном Шмидхубером: ирония алгоритмической памяти [[JUMP:4:26]] Несмотря на общий успех, в работе ИИ была обнаружена ошибка, которую Уэс Рот назвал ироничной. В тексте описывалась архитектура нейросети LSTM (Long Short-Term Memory). Система приписала авторство этой технологии Иану Гудфеллоу и соавторам, сославшись на статью 2016 года [5:56]. Однако в сообществе специалистов по ИИ существует известный деятель — Юрген Шмидхубер, который в течение десятилетий борется за признание своего приоритета во многих открытиях [4:39]. Рецензенты-люди внесли правку, указав, что кредит за LSTM должен принадлежать Хохрейтеру и Шмидхуберу за работу 1997 года [6:22]. Уэс Рот отмечает комичность ситуации: * Шмидхубер известен тем, что публично критикует коллег (включая «крестного отца ИИ» Джеффри Хинтона) за присвоение его заслуг [5:06]. * В сообществе сложился мем «Шмидхубер изобрел всё», который поддерживал даже Илон Маск [5:30]. * То, что первая автономная научная работа ИИ «забыла» упомянуть именно Шмидхубера, выглядит как странная историческая ирония [6:36]. ## ⚖️ Этические дилеммы и «ИИ-предвзятость» [[JUMP:10:45]] После того как работа прошла рецензирование, компания Sakana.AI добровольно отозвала статьи, чтобы не вносить путаницу в научный процесс, так как это был лишь эксперимент [9:01]. Это решение подчеркивает необходимость выработки новых норм декларирования участия ИИ в науке [10:32]. Уэс Рот выделяет несколько позиций в дискуссии об ИИ-контенте: 1. **Скептики:** По мнению ряда комментаторов, любой контент, созданный ИИ, изначально «бессмысленен», так как в нем нет человеческого опыта и глубоких сигналов [11:10]. 2. **Техно-реалисты:** Рот замечает, что если человек называет текст хорошим, пока не знает, что его написал GPT-4, а после признания меняет мнение на «это плохо», то проблема может заключаться в предвзятости, а не в качестве материала [12:42]. 3. **Футуристы:** Сторонники прогресса считают, что науку следует судить по ее объективным достоинствам, а не по происхождению, чтобы избежать дискриминации потенциально полезных открытий [13:21]. Автор видео задается вопросом: этично ли будет в будущем отклонять работы ИИ-ученых, если количество ошибок в них будет таким же (или меньшим), как в работах людей [17:33]? ## 🛠️ Механика «AI Scientist 1.0»: как это работает [[JUMP:15:09]] Технология Sakana.AI, ставшая open-source проектом, работает по итеративному циклу: * **Генерация идей:** ИИ проводит «проверку на новизну», чтобы не дублировать существующие исследования. По мнению Рота, большие языковые модели феноменально хороши в брейншторминге и семантическом поиске [15:22]. * **Оценка:** Система ранжирует идеи. Рот отмечает, что ИИ может плохо оценивать идеи по шкале 1–10, но отлично справляется, если дать ему дробный список критериев (чек-лист) [16:02]. * **Исполнение:** ИИ пишет шаблоны кода, выполняет их, собирает численные данные и строит графики [16:28]. * **Саморецензирование:** Система также включает «автоматизированного рецензента», который оценивает статьи с точностью, близкой к человеческой, помогая выбрать лучшие варианты для реальной подачи [16:42]. По словам Уэса Рота, Sakana.AI ставит своей целью демократизацию ИИ в Японии и во всем мире, делая подобные инструменты доступными для всех [18:53].