# Алессандро Померини о декомпиляции знаний и будущем ИИ

Источник: https://www.youtube.com/watch?v=3ZTNps2PraM
Канал: Machine Learning Street Talk
Опубликовано: 19.10.2024

---

## Новый взгляд на ARC: как декомпиляция знаний ускоряет обучение ИИ
[[JUMP:0:00]]

Традиционные подходы к измерению интеллекта ИИ часто путают навыки с эффективностью обучения. В недавнем выпуске Machine Learning Street Talk исследователь Алессандро Померини (Alessandro Pomerini) из Института Санта-Фе представил новый метод, который может кардинально изменить подход к задаче ARC (Abstraction and Reasoning Corpus) Франсуа Шолле. В центре дискуссии — идея о том, что истинный интеллект заключается не в объёме накопленных знаний, а в способности эффективно использовать имеющиеся данные для приобретения новых навыков.

### Различие между мастерством и интеллектом
[[JUMP:6:33]]

Померини, опираясь на взгляды Шолле, подчеркивает фундаментальный разрыв между «выдачей результата» (skill) и «процессом обучения» (intelligence).

*   **Иллюстрация на примере игр:** Автор вспоминает систему OpenAI Five, которая победила чемпионов мира в Dota 2. Несмотря на впечатляющий результат, Померини считает её неэффективной, так как система обучалась на данных, эквивалентных «45 000 годам игры».
*   **Ограниченность «замороженных» навыков:** Как только в игру вносятся изменения (например, добавляется новый герой), такие системы часто пасуют, в отличие от человека, способного к быстрой адаптации.

По мнению Померини, интеллект — это коэффициент того, насколько эффективно система преобразует исходные данные (опыт или априорные знания) в прикладные навыки.

### ARC и «core knowledge»
[[JUMP:10:42]]

Benchmark ARC был создан Шолле как противовес бенчмаркам, измеряющим просто performance. Задача состоит из 1000 заданий, где для каждого дано лишь 2–3 примера трансформации пиксельных сеток.

*   **Цель:** ИИ должен понять лежащее в основе правило и применить его к тестовой сетке.
*   **Базовые знания:** Шолле предполагает, что человеку достаточно «врожденных» знаний (core knowledge), таких как понимание того, что мир состоит из объектов, базовой топологии и геометрии, чтобы решать эти задачи.
*   **Роль индукции:** В отличие от дедукции, где мы строго выводим решение, ARC требует индукции (гипотез). Померини отмечает, что, согласно философии Карла Поппера, научные теории не «выводятся» из наблюдений, а «тестируются» ими.

### DreamCoder и «декомпиляция» знаний
[[JUMP:19:20]]

Померини работает с алгоритмом DreamCoder (разработанным Кевином Эллисом и группой Джоша Тененбаума в MIT), который является системой индуктивного синтеза программ.

*   **Механизм поиска:** DreamCoder ищет решения в виде программ, состоящих из элементарных операций. Поскольку поиск растет экспоненциально, алгоритм учится упрощать его через два этапа:
    1.  **Chunking (снижение глубины):** Выделение часто используемых комбинаций функций («чанков») и добавление их в библиотеку.
    2.  **Нейронный поиск (снижение ширины):** Использование нейросети для предсказания вероятностей того, какие программы лучше всего подходят для конкретной задачи.

**Инновация Померини:** Он предложил метод декомпиляции знаний, при котором выбор компонентов для «чанкинга» основан не просто на частоте использования, а на вероятностной модели полезности, извлеченной из весов нейронной сети. Это позволяет системе быстрее находить решения, обучаясь на «фэнтезийных» примерах, созданных самой моделью.

### Будущее и вызовы
[[JUMP:47:53]]

Хотя многие участники соревнования ARC сегодня используют большие языковые модели (LLM), Померини считает, что это противоречит духу оригинального бенчмарка. Его личный подход, который он планирует реализовать, отходит от прямого поиска в пространстве программ в пользу иной комбинаторной структуры.

Главный риск метода — «плато», когда имеющиеся примитивы в библиотеке не позволяют найти решение, выходящее за рамки заданного пространства программ. Тем не менее, Померини настроен оптимистично и надеется подготовить решение к ноябрьскому дедлайну.