Новый взгляд на ARC: как декомпиляция знаний ускоряет обучение ИИ 0:00
Традиционные подходы к измерению интеллекта ИИ часто путают навыки с эффективностью обучения. В недавнем выпуске Machine Learning Street Talk исследователь Алессандро Померини (Alessandro Pomerini) из Института Санта-Фе представил новый метод, который может кардинально изменить подход к задаче ARC (Abstraction and Reasoning Corpus) Франсуа Шолле. В центре дискуссии — идея о том, что истинный интеллект заключается не в объёме накопленных знаний, а в способности эффективно использовать имеющиеся данные для приобретения новых навыков.
Различие между мастерством и интеллектом 6:33
Померини, опираясь на взгляды Шолле, подчеркивает фундаментальный разрыв между «выдачей результата» (skill) и «процессом обучения» (intelligence).
- Иллюстрация на примере игр: Автор вспоминает систему OpenAI Five, которая победила чемпионов мира в Dota 2. Несмотря на впечатляющий результат, Померини считает её неэффективной, так как система обучалась на данных, эквивалентных «45 000 годам игры».
- Ограниченность «замороженных» навыков: Как только в игру вносятся изменения (например, добавляется новый герой), такие системы часто пасуют, в отличие от человека, способного к быстрой адаптации.
По мнению Померини, интеллект — это коэффициент того, насколько эффективно система преобразует исходные данные (опыт или априорные знания) в прикладные навыки.
ARC и «core knowledge» 10:42
Benchmark ARC был создан Шолле как противовес бенчмаркам, измеряющим просто performance. Задача состоит из 1000 заданий, где для каждого дано лишь 2–3 примера трансформации пиксельных сеток.
- Цель: ИИ должен понять лежащее в основе правило и применить его к тестовой сетке.
- Базовые знания: Шолле предполагает, что человеку достаточно «врожденных» знаний (core knowledge), таких как понимание того, что мир состоит из объектов, базовой топологии и геометрии, чтобы решать эти задачи.
- Роль индукции: В отличие от дедукции, где мы строго выводим решение, ARC требует индукции (гипотез). Померини отмечает, что, согласно философии Карла Поппера, научные теории не «выводятся» из наблюдений, а «тестируются» ими.
DreamCoder и «декомпиляция» знаний 19:20
Померини работает с алгоритмом DreamCoder (разработанным Кевином Эллисом и группой Джоша Тененбаума в MIT), который является системой индуктивного синтеза программ.
- Механизм поиска: DreamCoder ищет решения в виде программ, состоящих из элементарных операций. Поскольку поиск растет экспоненциально, алгоритм учится упрощать его через два этапа:
- Chunking (снижение глубины): Выделение часто используемых комбинаций функций («чанков») и добавление их в библиотеку.
- Нейронный поиск (снижение ширины): Использование нейросети для предсказания вероятностей того, какие программы лучше всего подходят для конкретной задачи.
Инновация Померини: Он предложил метод декомпиляции знаний, при котором выбор компонентов для «чанкинга» основан не просто на частоте использования, а на вероятностной модели полезности, извлеченной из весов нейронной сети. Это позволяет системе быстрее находить решения, обучаясь на «фэнтезийных» примерах, созданных самой моделью.
Будущее и вызовы 47:53
Хотя многие участники соревнования ARC сегодня используют большие языковые модели (LLM), Померини считает, что это противоречит духу оригинального бенчмарка. Его личный подход, который он планирует реализовать, отходит от прямого поиска в пространстве программ в пользу иной комбинаторной структуры.
Главный риск метода — «плато», когда имеющиеся примитивы в библиотеке не позволяют найти решение, выходящее за рамки заданного пространства программ. Тем не менее, Померини настроен оптимистично и надеется подготовить решение к ноябрьскому дедлайну.
