Абстракция вместо масштабирования: почему LLM всё еще далеки от AGI 0:00
Несмотря на бум вокруг больших языковых моделей (LLM) и их способность демонстрировать выдающиеся результаты на стандартизированных тестах, современный искусственный интеллект все еще не достиг уровня настоящего общего интеллекта (AGI). По мнению Франсуа Шолле, ведущего исследователя в области ИИ, главная проблема заключается в том, что индустрия ошибочно делает ставку на масштабирование вычислений и объема данных, упуская из виду фундаментальный механизм познания — способность к абстракции и генерации новых программ «на лету».
📉 Парадокс «умных» моделей 1:33
Период начала 2023 года запомнился как пик хайпа вокруг AGI. ChatGPT и GPT-4 преподносились как системы, способные заменить врачей, юристов и программистов. Однако, если отбросить маркетинговую риторику, текущие модели демонстрируют лишь ограниченную функциональность.
Основные ограничения LLM, которые остаются неизменными с момента появления трансформеров пять лет назад:
- Поверхностный поиск паттернов: Модели не «понимают» суть вопроса, а предсказывают вероятное продолжение текста, основываясь на статистике.
- Чувствительность к формулировкам: Простая замена имен переменных или чисел в задаче может привести к полной потере работоспособности.
- Отсутствие композиционности: Модели плохо справляются с задачами, требующими пошагового логического вывода, вместо этого полагаясь на «линеаризованное сопоставление подграфов».
- Проблема «игры в крота»: Разработчики исправляют конкретные ошибки моделей с помощью RLHF (обучения с подкреплением на основе отзывов людей), но это лишь точечные заплатки, которые не решают проблему нехватки понимания.
По словам Шолле, сегодня над аннотированием данных для обучения LLM работают от 10 000 до 30 000 человек, что делает прогресс крайне зависимым от ручного труда и «хрупким».
🧠 Интеллект — это не набор навыков 12:04
Ключевой тезис Шолле: навык — это не интеллект. В отличие от «минскианского» подхода, где ИИ — это система для выполнения набора ценных экономических задач, Шолле предлагает смотреть на интеллект как на процесс.
- Интеллект как механизм: Это способность решать задачи, к которым агент не был подготовлен заранее.
- Навык как результат: Это кристаллизованная программа поведения, полученная в процессе обучения.
Автор проводит аналогию: дорожная сеть (множество готовых путей) не равна дорожно-строительной компании (механизму, который создает пути на лету). Современные LLM — это «дорожная сеть», работающая в строго ограниченном пространстве familiar (знакомых) задач.
🧩 Тест на интеллект нового поколения: ARC-AGI 19:59
Для измерения реальной способности к обобщению Шолле разработал датасет ARC-AGI (Abstraction and Reasoning Corpus for Artificial General Intelligence). В отличие от стандартных экзаменов, ARC невозможно «зазубрить», так как каждая задача в нем уникальна.
- Принципы ARC: Опора на «ядерные знания» (объектность, геометрия, топология, счет), отсутствие необходимости в накопленных знаниях (например, языке).
- Текущие показатели: Лучшие современные LLM решают лишь 21% задач ARC-AGI, тогда как люди справляются более чем на 90%.
- Конкурс ARC Prize: Вместе с Майком Кэнупом Шолле объявил конкурс с призовым фондом более $1 млн, чтобы стимулировать поиск принципиально новых архитектур.
🏗️ Путь к AGI: синтез интуиции и рассуждения 31:12
Шолле выделяет два типа абстракции:
- Value-centric (тип 1): Интуиция, основанная на сравнении расстояний в непрерывном пространстве. Трансформеры в этом превосходны.
- Program-centric (тип 2): Логический вывод, основанный на дискретном манипулировании программами. Это слабое место текущих LLM.
Для создания AGI необходимо объединить эти подходы. Deep Learning (интуиция) может выступать как «навигатор», который помогает эффективно искать решения в пространстве дискретных программ, преодолевая проблему комбинаторного взрыва.
В заключение Шолле отмечает: попытки просто увеличивать масштаб текущих моделей — это тупиковый путь. Прорыв, скорее всего, придет от «аутсайдеров», которые предложат архитектурные идеи, выходящие за рамки чистого аппроксимирующего криволинейного обучения.
