В мире искусственного интеллекта обсуждают новую научную работу из Китая, авторы которой заявляют о наступлении «момента AlphaGo» в области проектирования нейросетей. Технологический блогер и аналитик Уэс Рот анализирует систему ASI-ARCH — полностью автономный фреймворк, способный самостоятельно проводить научные исследования и улучшать собственную архитектуру, потенциально устраняя человека как «узкое место» на пути к технологическому прогрессу.
🤖 Момент AlphaGo для самосовершенствующегося ИИ 0:00
Новое исследование китайских ученых выдвигает смелое утверждение: главным препятствием в развитии ИИ являются люди, которые замедляют процесс разработки . В статье под названием «AlphaGo Moment for model architecture discovery» (Момент AlphaGo для обнаружения архитектуры моделей) описывается система ASI-ARCH. По мнению авторов, если их результаты удастся повторить, это станет фундаментальным сдвигом в индустрии .
Уэс Рот отмечает, что всё больше этапов разработки ИИ передается самим машинам:
- Google DeepMind с помощью AlphaGo и других систем улучшает аппаратное обеспечение и процессы обучения .
- Sakana AI представила систему Darwin, которая совершенствует способности ИИ к написанию кода .
- ASI-ARCH делает следующий шаг — ИИ пытается улучшить собственную архитектуру и способы самопостроения с нуля .
Суть «момента AlphaGo» здесь заключается в том, что ИИ может обучать себя лучше, чем это делают инженеры-люди . Использование синтетических данных и стратегий самообучения часто дает более впечатляющие результаты, чем ручные инновации разработчиков .
🔬 Система ASI-ARCH: от оптимизации к инновациям 1:32
Авторы исследования называют ASI-ARCH первой демонстрацией искусственного супер-интеллекта для ИИ-исследований . Это полностью автономная система, которая, по утверждению разработчиков, разрушает фундаментальное ограничение, позволяя ИИ проводить собственные архитектурные инновации.
Основные достижения системы, озвученные в видео:
- Проведено почти 2000 автономных экспериментов .
- Обнаружено 106 инновационных архитектур линейного внимания (linear attention), соответствующих уровню State-of-the-Art (SOTA) .
- ИИ сгенерировал 1773 идеи по улучшению нейронных связей, сам написал код для экспериментов и протестировал их .
По словам Уэса Рота, наиболее важным выводом работы является установление «эмпирического закона масштабирования (scaling law) для самих научных открытий» . Если раньше масштабирование касалось только вычислительных мощностей (больше чипов — умнее модель), то теперь утверждается, что научный прогресс становится функцией от количества часов работы GPU .
Рот проводит аналогию: любые человеческие технологии — от эффективности лекарств до дальности пробега электромобилей — обычно требуют десятилетий кропотливой работы инженеров. Если концепция ASI-ARCH верна, то технологический прогресс превращается в прямую зависимость от того, сколько чипов NVIDIA вы задействуете в процессе автоматизированного поиска открытий .
🛠 Архитектура системы: четыре модуля познания 5:19
Уэс Рот подробно разбирает структуру ASI-ARCH, состоящую из четырех ключевых блоков, которые замыкают цикл научного процесса :
- База знаний (Cognition Base): ИИ изучает существующие данные, архивы статей (arXiv), проекты на Hugging Face и отчеты о прошлых экспериментах . Специальный экстрактор на базе LLM вычленяет ключевые детали для следующего шага.
- Исследователь (Researcher): На основе знаний выдвигает гипотезу и создает код для эксперимента, проверяя его на новизну и валидность .
- Инженер и Судья: Система исполняет код в реальной среде обучения. Одновременно с этим «ИИ-судья» оценивает код по критериям эффективности, новизны и сложности . В итоге формируется «балл приспособленности» (fitness score) .
- Аналитик: Создает резюме эксперимента (что сработало, а что нет) и передает эти выводы обратно «Исследователю» для новой итерации .
Этот цикл позволяет ИИ учиться не только на чужих статьях, но и на собственном опыте, создавая рекурсивный процесс самосовершенствования .
📈 Принцип Парето в цифровой лаборатории 8:34
В ходе экспериментов исследователи обнаружили, что в мире ИИ-дизайна также действует принцип Парето (правило 80/20): 80% значимых результатов обеспечиваются лишь 20% подходов .
Статистика открытий ASI-ARCH показала следующее:
- Из 1667 предложенных архитектур большинство оказались неудачными .
- Системы шлюзования (gating systems), температурный контроль и сверточные архитектуры оказались наиболее эффективными компонентами .
- Всего 4 подхода обеспечили 44% всех прорывных результатов SOTA-уровня .
Интересен анализ источников инноваций в системе . Из всех удачных архитектур:
- 48,6% были получены путем анализа существующих научных статей (Cognition) .
- 44,8% стали результатом собственного опыта системы, накопленного в ходе итераций (Experience) .
- Только 6% были признаны абсолютно оригинальными идеями, не имеющими корней в предыдущих данных .
По мнению Рота, тот факт, что почти 45% успехов достигнуты благодаря «личному опыту» машины, доказывает работоспособность петли самообучения .
📅 Прогнозы и критика: «Рыбный запах» в данных 14:28
Обсуждение ASI-ARCH ложится в канву прогнозов Леопольда Ашенбреннера, автора эссе «Situational Awareness». Ашенбреннер полагает, что к 2027–2028 годам наступит переломный момент, когда ИИ в совокупности станет лучше людей в проведении ИИ-исследований . Автоматизация этого процесса — «самая большая доминошка», которая приведет к интеллектуальному взрыву, так как ИИ будет экспоненциально ускорять собственное развитие .
Однако научное сообщество отнеслось к китайскому препринту с осторожностью. Лукас Байер, исследователь из Meta (ранее работавший в OpenAI и Google Brain), выразил открытый скептицизм .
- Байер иронично заметил: «Если что-то пахнет рыбой, скорее всего, это рыба. Я не люблю рыбу» .
- Его критика сосредоточена на фрагменте статьи, где указано, что архитектуры, чьи показатели потерь (loss) были на 10% хуже базового уровня, отбрасывались как «неформальная утечка данных» .
По мнению критиков, это может быть манипуляцией: если данные не вписываются в красивую гипотезу о «масштабировании открытий», их просто удаляют из выборки . Байер также предположил, что авторы могут просто «коллекционировать цитируемости», публикуя громкие, но сомнительные результаты на волне хайпа вокруг AGI .
Тем не менее, Уэс Рот подчеркивает, что исследование является открытым, и другие лаборатории вскоре смогут подтвердить или опровергнуть эти результаты . Несмотря на скептицизм в отношении конкретно этой работы, ведущий заявляет, что не стал бы делать ставку против самой идеи рекурсивного самосовершенствования ИИ в ближайшем будущем .
