# Кевин Эллис и Зенна Таварес о будущем AI: почему имитации недостаточно для создания мировых моделей Источник: https://www.youtube.com/watch?v=oYTm0p3DCzg Канал: Machine Learning Street Talk Опубликовано: 08.04.2025 --- В новом эпизоде подкаста Machine Learning Street Talk специалисты по синтезу программ Кевин Эллис и Зенна Таварес обсуждают фундаментальные ограничения современных нейросетей и объясняют, почему будущее искусственного интеллекта лежит в плоскости программного синтеза и построения «моделей мира». Основная идея дискуссии заключается в переходе от масштабного обучения на основе имитации (imitation learning) к системам, способным формировать гипотезы и строить абстракции из ограниченного набора данных, подобно тому, как это делает человек. ## 🧠 Проклятие композициональности и «бытовая наука» [[JUMP:0:00]] Одной из центральных тем обсуждения стало понятие композициональности — способности строить сложные структуры из простых «атомарных» блоков знаний [0:00]. По мнению Кевина Эллиса, это «обоюдоострый меч». С одной стороны, композициональность позволяет экстраполировать знания на новые ситуации, находящиеся далеко за пределами обучающей выборки [7:30]. С другой стороны, она ведет к тому, что психолог Элизабет Спелке называет «проклятием композиционального разума» [8:24]. Суть этого проклятия заключается в следующем: * **Комбинаторный взрыв:** количество способов, которыми можно комбинировать базовые элементы, растет экспоненциально [9:00]. * **Отсутствие ориентиров:** в бесконечном пространстве возможных идей системе трудно понять, какие из них имеют смысл в текущей ситуации [9:08]. * **Перегрузка возможностями:** интеллект становится одновременно невероятно мощным и полностью подавленным обилием вариантов [9:22]. Зенна Таварес дополняет это концепцией «бытовой науки» (everyday science). Он утверждает, что принципы, по которым ребенок или взрослый разбирается с устройством новой микроволновки или кондиционера в отеле, идентичны принципам «настоящей» большой науки [1:13:49]. Это процесс формирования гипотез, их проверки через взаимодействие с миром и коррекции убеждений на основе полученных данных [3:22]. ## 💻 Индукция против Трансдукции: эксперименты с ARC [[JUMP:12:57]] Собеседники подробно разобрали свою недавнюю работу, посвященную тесту ARC (Abstraction and Reasoning Corpus) Франсуа Шолле. В этом исследовании они сравнили два принципиально разных подхода к решению задач на логическое обобщение [13:10]: 1. **Индуктивный подход:** система генерирует явный программный код (на Python), который описывает правило трансформации. Этот метод позволяет проверить правильность гипотезы на обучающих примерах перед применением к тестовым [19:19]. 2. **Трансдуктивный подход:** нейросеть (в данном случае Llama 3 8B) напрямую выдает ответ в виде сетки пикселей, без промежуточного кода. Этот метод опирается на «интуицию» весов модели [14:03]. Кевин Эллис отмечает любопытный факт из когнитивной психологии: в некоторых задачах, если попросить человека «думать усерднее» и вербализировать решение, результаты становятся хуже [16:22]. Аналогичный эффект наблюдается и у ИИ: * Для задач со сложными статистическими ассоциациями «интуитивная» трансдукция работает лучше [16:48]. * Для задач, требующих точного соблюдения правил (например, симметрии или счета), индуктивный синтез программ оказывается вне конкуренции [105:45]. Итоговое решение исследователей представляло собой ансамбль: сначала система пытается найти программное решение (индукция), и только если оно не проходит проверку, «откатывается» к интуитивному ответу нейросети (трансдукция) [17:38]. ## 🌙 Фаза сна и бодрствования: алгоритм DreamCoder [[JUMP:30:43]] Кевин Эллис рассказал о философии своего известного алгоритма DreamCoder, который использует метафору «сна» и «бодрствования» для обучения систем программного синтеза [30:56]: * **Фаза сна (Sleep):** Модель генерирует синтетические данные, запуская случайные программы из своей текущей библиотеки. Она «мечтает» о возможных решениях и учится на них, тренируя нейронную сеть-помощник (recognizer) быстро находить нужную программу по входным данным [31:51]. * **Фаза бодрствования (Wake):** Система сталкивается с реальными задачами. Она использует накопленные «интуиции» для поиска решений. Если задача решена, программа добавляется в библиотеку знаний [32:18]. * **Сжатие и рефакторинг:** DreamCoder постоянно пересматривает свою библиотеку, выделяя общие фрагменты кода в новые высокоуровневые абстракции (функции), тем самым совершенствуя свой собственный язык программирования (DSL) [34:28]. Зенна Таварес подчеркивает, что современные большие языковые модели позволяют реализовать этот процесс более гибко. Вместо жестко заданных библиотек можно использовать нейросетевые веса для хранения «мягких» абстракций, которые затем материализуются в код через контекстное обучение (in-context learning) [35:15]. ## 🛠 Почему Python лучше лямбда-исчисления? [[JUMP:25:23]] В ходе дискуссии был поднят вопрос о выборе языка для представления знаний. Ранее в академических работах по программному синтезу доминировало лямбда-исчисление. Однако Кевин Эллис утверждает, что Python оказался гораздо эффективнее [25:36]. Основные аргументы в пользу Python: * **Прагматичность:** современный дизайн языков программирования прошел длительную эволюцию, в ходе которой закрепились структуры, удобные для описания реального мира [26:17]. * **Обобщающая способность:** высокоуровневые конструкции Python (циклы, словари, функции) работают как мощные регуляризаторы, не позволяя модели «переобучаться» на случайных деталях входных данных [21:13]. * **Экосистема:** наличие библиотек и стандартных подходов делает Python идеальным «интерфейсом» между нейросетью и исполняемой средой [25:49]. Зенна Таварес видит будущее в создании «полиструктурных» систем, где сосуществуют несколько моделей реальности на разных уровнях абстракции: от низкоуровневой физики до высокоуровневых логических правил [46:16]. ## 🚀 Проект MARA и будущее «бытовой науки» [[JUMP:1:11:41]] В финале встречи гости анонсировали запуск проекта **MARA** (Modeling, Abstraction, Reasoning, Agency) на базе некоммерческой организации BASIS [1:12:10]. Это трехлетняя исследовательская программа, целью которой является создание агентов, способных активно изучать мир. Ключевые принципы MARA: 1. **Активное обучение:** агент не просто пассивно получает данные, а «тыкает» в объекты и нажимает на кнопки, чтобы понять реакцию среды [1:14:48]. 2. **Поиск абстракций «на лету»:** система должна сама решать, какие детали мира игнорировать (например, цвет волос в модели распространения вируса), а какие считать критически важными [46:30]. 3. **Выход за пределы ARC:** создание новых бенчмарков, которые требуют не просто статического решения задачи по картинке, а полноценного взаимодействия с интерактивной средой [1:12:39]. Кевин Эллис резюмирует, что этот путь сложен с вычислительной точки зрения, но он необходим для создания ИИ, который сможет ориентироваться в незнакомых ситуациях — будь то робот, впервые видящий новую модель посудомоечной машины, или цифровая система навигации по незнакомому веб-интерфейсу [1:15:40].