В мире искусственного интеллекта произошло событие, которое многие эксперты называют исторической вехой: система «AI Scientist», разработанная компанией Sakana.AI, впервые создала научную работу, которая успешно прошла процесс слепого рецензирования (peer-review). Это достижение ставит перед академическим сообществом и индустрией фундаментальные вопросы о будущем научных открытий и возможности «интеллектуального взрыва».
🤖 Рождение полностью автономного ученого 0:00
Проект «AI Scientist», впервые представленный компанией Sakana.AI в августе 2024 года, задумывался как система для полностью автоматизированного научного поиска . В отличие от простых языковых моделей, эта система представляет собой сложную программную «обвязку» (scaffolding) вокруг больших языковых моделей (LLM), снабженную набором инструментов для самостоятельного проведения исследований .
Суть эксперимента заключалась в проверке гипотезы: способен ли ИИ не просто помогать человеку, а самостоятельно вносить вклад в науку, выполняя весь цикл работ от идеи до публикации . Итогом стала научная статья, авторами которой в метаданных значились «анонимы», поданная на воркшоп престижной конференции по машинному обучению ICLR .
По мнению автора видео Уэса Рота, успех этого эксперимента подтверждает близость точки «интеллектуального взрыва». Этот термин, часто упоминаемый бывшим исследователем безопасности OpenAI Леопольдом Ашенбреннером, описывает момент, когда ИИ станет лучше людей в самом процессе исследования ИИ . В свою очередь, это может вызвать резкий скачок прогресса во всех областях науки .
📝 Эксперимент с рецензированием: «двойное слепое» испытание 3:07
Для проверки качества работы «ИИ-ученого» был выбран воркшоп конференции ICLR. Организаторы добавили специальное условие: рецензенты (люди) были предупреждены, что среди присланных работ может быть небольшое количество текстов, полностью сгенерированных ИИ .
Процесс был организован максимально объективно:
- Рецензенты не знали, кто автор работы — человек или машина (double-blind study) .
- Поскольку вероятность получить ИИ-статью была низкой, рецензенты подходили к проверке с теми же стандартами, что и к человеческим работам .
- ИИ-система не просто написала текст, а самостоятельно прошла все этапы: выдвинула гипотезу, написала и отладила код, провела эксперименты, визуализировала данные в графиках и оформила финальную рукопись .
Из трех поданных системой Sakana.AI работ одна успешно преодолела порог прохождения, получив средний балл 6.33 из 10 . Этот результат оказался выше среднего балла многих работ, принятых на воркшоп и написанных людьми . Один рецензент поставил оценку «7» (хорошая работа без претензий), двое других — «6» (на грани принятия) .
😅 Курьез с Юргеном Шмидхубером: ирония алгоритмической памяти 4:26
Несмотря на общий успех, в работе ИИ была обнаружена ошибка, которую Уэс Рот назвал ироничной. В тексте описывалась архитектура нейросети LSTM (Long Short-Term Memory). Система приписала авторство этой технологии Иану Гудфеллоу и соавторам, сославшись на статью 2016 года .
Однако в сообществе специалистов по ИИ существует известный деятель — Юрген Шмидхубер, который в течение десятилетий борется за признание своего приоритета во многих открытиях . Рецензенты-люди внесли правку, указав, что кредит за LSTM должен принадлежать Хохрейтеру и Шмидхуберу за работу 1997 года .
Уэс Рот отмечает комичность ситуации:
- Шмидхубер известен тем, что публично критикует коллег (включая «крестного отца ИИ» Джеффри Хинтона) за присвоение его заслуг .
- В сообществе сложился мем «Шмидхубер изобрел всё», который поддерживал даже Илон Маск .
- То, что первая автономная научная работа ИИ «забыла» упомянуть именно Шмидхубера, выглядит как странная историческая ирония .
⚖️ Этические дилеммы и «ИИ-предвзятость» 10:45
После того как работа прошла рецензирование, компания Sakana.AI добровольно отозвала статьи, чтобы не вносить путаницу в научный процесс, так как это был лишь эксперимент . Это решение подчеркивает необходимость выработки новых норм декларирования участия ИИ в науке .
Уэс Рот выделяет несколько позиций в дискуссии об ИИ-контенте:
- Скептики: По мнению ряда комментаторов, любой контент, созданный ИИ, изначально «бессмысленен», так как в нем нет человеческого опыта и глубоких сигналов .
- Техно-реалисты: Рот замечает, что если человек называет текст хорошим, пока не знает, что его написал GPT-4, а после признания меняет мнение на «это плохо», то проблема может заключаться в предвзятости, а не в качестве материала .
- Футуристы: Сторонники прогресса считают, что науку следует судить по ее объективным достоинствам, а не по происхождению, чтобы избежать дискриминации потенциально полезных открытий .
Автор видео задается вопросом: этично ли будет в будущем отклонять работы ИИ-ученых, если количество ошибок в них будет таким же (или меньшим), как в работах людей ?
🛠️ Механика «AI Scientist 1.0»: как это работает 15:09
Технология Sakana.AI, ставшая open-source проектом, работает по итеративному циклу:
- Генерация идей: ИИ проводит «проверку на новизну», чтобы не дублировать существующие исследования. По мнению Рота, большие языковые модели феноменально хороши в брейншторминге и семантическом поиске .
- Оценка: Система ранжирует идеи. Рот отмечает, что ИИ может плохо оценивать идеи по шкале 1–10, но отлично справляется, если дать ему дробный список критериев (чек-лист) .
- Исполнение: ИИ пишет шаблоны кода, выполняет их, собирает численные данные и строит графики .
- Саморецензирование: Система также включает «автоматизированного рецензента», который оценивает статьи с точностью, близкой к человеческой, помогая выбрать лучшие варианты для реальной подачи .
По словам Уэса Рота, Sakana.AI ставит своей целью демократизацию ИИ в Японии и во всем мире, делая подобные инструменты доступными для всех .
