# Миф об универсальном интеллекте: почему глубокое обучение зашло в тупик

Источник: https://www.youtube.com/watch?v=mEVnu-KZjq4
Канал: Machine Learning Street Talk
Опубликовано: 19.06.2020

---

Глубокое обучение — это лишь изощренная интерполяция данных, которая никогда не приведет нас к истинному интеллекту, пока мы продолжаем путать статистические «короткие пути» с реальным пониманием. Настоящая эффективность заключается не в бесконечном масштабировании параметров, а в способности системы превращать минимальный опыт в обобщаемые программы, имитируя человеческую гибкость мышления.

## 🧠 Что такое интеллект и почему глубокое обучение его имитирует
[[JUMP:00:03]]

### Новая формула ума: интеллект как эффективность обучения
[[JUMP:00:03]]
Как измерить то, что не имеет строгого и единого математического описания? В самом начале масштабного обсуждения фундаментальной работы «On the Measure of Intelligence» исследователи неизбежно сталкиваются с главным вызовом современной науки об ИИ. Известный исследователь ИИ и инженер Google Франсуа Шолле (Francois Chollet) предлагает изящный выход из этого тупика. Он определяет интеллект как эффективность, с которой система трансформирует получаемый опыт в обобщаемые программы. По сути, речь идет о способности алгоритма взять узкую выборку демонстрационных примеров и на её основе развить навык обработки колоссального, ранее не виданного пласта информации.

Традиционная инженерия долгое время оценивала интеллектуальные системы по уровню их конечных навыков (skills). Однако Франсуа Шолле (Francois Chollet) проводит жесткую границу между накопленным опытом, базовыми навыками и подлинным разумом. В его представлении истинный интеллект начинает работу именно там, где прошлый опыт и заложенные разработчиками базы данных оказываются абсолютно бессильны перед лицом новой проблемы. Интеллект — это мера того, насколько успешно вы преодолеваете разрыв между тем, к чему вас подготовила среда, и тем, с чем вы столкнулись впервые. Если система демонстрирует высокую точность решения сложнейших задач, но делает это исключительно благодаря колоссальным объемам предварительно размеченных данных, она показывает лишь хорошую память, а не живой интеллект.

### Ловушка геометрии: почему глубокое обучение не умеет рассуждать
[[JUMP:01:48]]
В современном академическом сообществе Франсуа Шолле (Francois Chollet) выступает в роли одного из самых авторитетных критиков методологии глубокого обучения (deep learning). Его базовое возражение заключается в том, что популярные нейросетевые алгоритмы, несмотря на внешний лоск, занимаются банальной интерполяцией данных в непрерывных геометрических пространствах. Они обучаются плавному геометрическому морфингу, отображая пространство входов X на пространство выходов Y. Однако эта математическая магия безупречно работает только при одном критическом условии — наличии сверхплотной выборки примеров (dense sampling).

Стоит тестовой задаче хотя бы немного выйти за рамки исходного распределения, и хваленая нейросеть ломается, поскольку способность к экстремальному обобщению (extreme generalization) в ее архитектуре отсутствует изначально. Ведущие подкаста Machine Learning Street Talk соглашаются с Шолле в том, что ИИ-сообщество сегодня совершает опасную ошибку, путая масштаб вычислений с реальной способностью рассуждать. Индустрия швыряет в топку обучения терабайты текстов и мегаватты энергии. Модели получаются потрясающими, но они не мыслят — они лишь искусно имитируют процесс человеческого рассуждения. Тим Скарф даже использует яркую, хотя и утрированную метафору, характеризуя современные нейросети как «прославленные хэш-таблицы». Они не способны воспроизвести логику работы полноценных компьютерных программ, поскольку реальные логические трансформации слишком дискретны для непрерывной геометрии.

### Проблема «коротких путей» и поверхностная статистика
[[JUMP:02:15]]
Главная причина, почему современные нейросети кажутся обывателям разумными, кроется в феномене «коротких путей» (shortcuts). Вместо того чтобы в процессе обучения вычленить абстрактные, фундаментальные правила и законы задачи, высокопараметрические модели находят поверхностные статистические лазейки в тренировочном наборе данных. В непрерывном математическом пространстве существует бесчисленное множество подобных корреляций, и градиентный спуск всегда выбирает самый простой путь наименьшего сопротивления.

Чтобы проиллюстрировать эту непреодолимую пропасть между глубоким обучением и классическим программированием, Франсуа Шолле (Francois Chollet) приводит лаконичный пример с обычным алгоритмом сортировки чисел. Человеку достаточно написать буквально несколько строк кода, чтобы создать логический инструмент, который будет аналитически и абсолютно безошибочно работать для любой мыслимой последовательности цифр любой длины. В то же время, чтобы добиться аналогичной надежности от нейросети, инженерам пришлось бы скормить ей плотную выборку из абсолютно всех возможных перестановок чисел во Вселенной. Нейросеть слепо запоминает поверхностные паттерны, тогда как настоящий интеллект создаёт абстрактные правила.

Ранее в разговоре ведущие вскользь упоминали тест ARK Challenge, призванный наглядно продемонстрировать неспособность глубоких сетей к обобщению на микровыборках, а также вскользь коснулись концепции системного и разработчик-ориентированного обобщения.

### Генеральный фактор и потребность в «тесте на IQ» для машин
[[JUMP:04:08]]
Чтобы вывести индустрию ИИ из тупика бесконечного масштабирования, Франсуа Шолле (Francois Chollet) указывает на острую необходимость внедрения амбизиозных новых бенчмарков. Подавляющее большинство современных тестов измеряет прикладные навыки (skill), которые разработчики могут тривиально «купить» за счет наращивания датасетов и вычислительной мощности. Новые метрики должны быть сфокусированы строго на силе обобщения (generalization strength). Исследователь предлагает революционную идею — создать аналог классического человеческого теста на IQ, применимый к машинам. Это так называемый тест на «коэффициент обобщения» (GQ, generalization quotient), который позволит объективно сопоставить адаптивный потенциал алгоритмов и человека.

В рамках этой логики Коннор Шортен вспоминает приведенную в работе Шолле метафору физической культуры. Возьмите марафонца, тяжелоатлета и профессионального баскетболиста: они обладают совершенно полярными прикладными навыками. Однако на вершине этой иерархии качеств всегда находится скрытый латентный фактор — например, общая емкость легких, метаболическая эффективность или выносливость сердца. С человеческим разумом происходит то же самое. Янник Килчер подчеркивает, что при глубоком статистическом анализе результатов когнитивных тестов у людей всегда выявляется один общий доминирующий фактор — так называемый G-фактор (генеральный фактор интеллекта). Тот факт, что человеческий ум устроен именно так, а не иначе, оправдывает создание комплексных синтетических метрик.

Ранее в дискуссии авторы в одно предложение упомянули феномен катастрофического забывания (catastrophic forgetting), который наглядно мешает узкоспециализированным моделям сохранять генеральные когнитивные функции при обучении конкретным задачам, а также затронули концепцию метаобучения (meta-learning).

### Человекоцентричный ИИ и отказ от универсального интеллекта
[[JUMP:07:17]]
Важнейшим философским столпом концепции Франсуа Шолле (Francois Chollet) выступает его категорическое несогласие с позицией Шейна Легга и Маркуса Хаттера, которые в 2007 году математически формализовали определение «универсального интеллекта». Шолле открыто заявляет, что не разделяет их математический идеализм. Он убежден, что концепция абсолютно универсального разума оторвана от реальности, ведь любой реальный интеллект всегда относителен и строго ограничен рамками и законами той среды, в которой он функционирует. Взамен Шолле предлагает жесткий антропоцентричный (человекоцентричный) взгляд на проблему создания сильного ИИ.

Искусственный общий интеллект, который пытается построить человечество, обязан решать задачи, имеющие ценность именно для человеческого вида. Более того, Шолле настаивает, что полноценный ИИ должен изначально опираться на эксплицитно заданные априорные знания (knowledge priors). В алгоритмы необходимо принудительно закладывать то «ядро базовых знаний» (core knowledge), которым эволюция на протяжении миллионов лет снабжала человека. Сюда относятся интуитивное понимание пространства, физики объектов, причинно-следственных связей и логики целенаправленного поведения. Тестировать ИИ на абстрактных математических задачах, чуждых нашей реальности, бессмысленно. Человеческий разум — это единственный реально существующий пример работающего интеллекта, и оценивать искусственные системы мы имеем право исключительно по нашей, человеческой шкале.

## 🧠 Новые горизонты измерения интеллекта: ARC и эффективность обучения

[[JUMP:25:58]]

В центре дискуссии о природе интеллекта Франсуа Шолле (Francois Chollet) ставит вопрос об **информационной эффективности обучения**. Традиционные подходы к созданию ИИ часто выглядят расточительными: система пытается «грубой силой» перебрать все возможные варианты развития событий, чтобы выработать стратегию. Шолле утверждает, что истинный интеллект заключается не в объёме вычислений, а в способности извлекать навыки из ограниченного опыта.

Для проверки этой гипотезы предлагается бенчмарк **ARC Challenge** (Abstraction and Reasoning Corpus). В отличие от классических тестов, он оценивает способность системы к быстрому обобщению на основе минимального количества примеров. Важно, что задачи в ARC не требуют процедурной генерации: системе необходимо «на лету» понять скрытую логику, используя встроенные когнитивные «приоры» (врожденные склонности), аналогичные человеческим. Шолле настаивает: для создания действительно разумного агента разработчики должны явно программировать в модель фундаментальные представления о мире, такие как концепция объектов и их взаимодействия, вместо того чтобы полагаться исключительно на обучение на огромных массивах данных.

### Проблема «забывания» и вызов многозадачности

[[JUMP:46:33]]

Одним из главных препятствий на пути к общему интеллекту является феномен **catastrophic forgetting** (катастрофическое забывание). Современные нейронные сети, обучаясь новым сложным навыкам, часто безвозвратно теряют информацию, полученную ранее. Для достижения уровня интеллекта, способного решать широкий спектр задач, система должна обладать механизмом сохранения «объектного постоянства» и накопленных стратегий в процессе постоянного обучения.

Работа над этой проблемой тесно связана с развитием многозадачности. Шолле и его коллеги обсуждают концепцию метаобучения, где ключевым фактором является не сам факт выполнения задачи, а стратегия, с помощью которой агент эту задачу осваивает. Если система жестко запрограммирована под конкретный домен, она не является по-настоящему разумной, даже если демонстрирует высокие показатели в привычной среде.

### Пределы обобщения: от узких задач к универсальности

[[JUMP:31:27]]

Разговор затрагивает различие между «узким» (local) и «широким» (broad) обобщением. В рамках предложенного Шолле формализма выделяют два типа обобщения:

*   **System-centric (системно-ориентированное):** способность обобщать на данные, похожие на те, что были в обучающей выборке, опираясь на архитектурные приоритеты.
*   **Developer-aware (разработчик-ориентированное):** способность справляться с ситуациями, новыми как для системы, так и для её создателя.

Хотя прогресс в генеративных моделях позволяет расширять границы известного — например, путем аугментации данных для улучшения классификаторов в медицине — это всё ещё остается в рамках узкого обобщения. Настоящий вызов, по мнению Франсуа Шолле, заключается в том, чтобы агент мог быстро адаптироваться к совершенно незнакомым условиям, имея в распоряжении лишь малую долю данных, которые сейчас требуются для обучения нейросетей.

Ранее в разговоре они касались темы ограничения глубокого обучения в контексте поиска «коротких путей» и нехватки реального обобщения, однако теперь внимание сфокусировано на поиске баланса между врожденными приоритетами и эффективным накоплением опыта в меняющейся среде.

## 🧠 Теоретические подходы к измерению интеллекта

[[JUMP:50:22]]

В дискуссии о природе универсального интеллекта часто противопоставляются два фундаментальных подхода: математически строгие метрики, основанные на теории информации, и прагматичные ML-ориентированные фреймворки. 

### Универсальный интеллект Лега и Хаттера
[[JUMP:50:22]]

Определение интеллекта, предложенное Легом и Хаттером, базируется на суммировании успехов агента во всех возможных средах, где каждый результат взвешивается в зависимости от Колмогоровской сложности среды. Идея заключается в использовании «бритвы Оккама»: система получает больший бонус за решение простых задач, так как они считаются более фундаментальными.

Однако этот подход вызывает методологические споры. Критики указывают на парадокс: если мера учитывает сложность самой среды, а не сложность агента, способного её решить, это не дает прямого представления об «интеллектуальности» системы. Возникает вопрос: должна ли система стремиться к решению всех сред равномерно, или же она должна быть оптимизирована под конкретный спектр задач, с которыми сталкивается в реальности? Ранее в беседе участники касались проблемы «коротких путей» (shortcuts) в нейросетях и ограничений текущих бенчмарков, которые могут искажать наше понимание реальной способности к обобщению.

### Системное vs. разработчик-ориентированное обобщение
[[JUMP:54:33]]

Франсуа Шолле (Francois Chollet) предлагает иную парадигму, глубоко укорененную в реалиях машинного обучения. Его подход акцентирует внимание на том, что интеллект — это не абстрактный показатель успеха, а способность к обобщению при переходе от обучающей выборки к тестовой.

Ключевое различие здесь заключается в «осведомленности разработчика» (developer awareness). Шолле утверждает:

*   Если решение задачи «зашито» программистом через априорные знания или огромный массив данных, это не свидетельствует об интеллекте самой системы.
*   Интеллект системы пропорционален её способности решать задачи *несмотря* на ограничения, а не благодаря тому, что человек уже предоставил готовые паттерны.

Таким образом, генерализационная сложность задачи становится мерой интеллекта. Если у системы есть «оптимальное решение» для обучающей выборки, насколько эффективно она может экстраполировать эти знания на всё множество тестовых ситуаций? Высокий коэффициент преобразования информации указывает на более высокий интеллект, позволяющий системе находить закономерности, которые короче и информативнее, чем простое заучивание данных.

### Проблема симбиоза и пределы psychometrics
[[JUMP:1:05:49]]

В контексте эволюции человеческого интеллекта встает вопрос: стали ли мы «умнее» за последние сто лет? С точки зрения психометрики — значимого прогресса нет. Однако аргумент против этого тезиса состоит в том, что современное человечество обладает качественно иными инструментами для внешней памяти и коммуникации (интернет, институты), что позволяет нам решать задачи быстрее.

Возникает концепция «симбиотического интеллекта»: возможно, оценивать отдельную модель (как, например, AlphaGo) как «неинтеллектуальную» на основе узких тестов — это ошибка. Если рассматривать систему «человек + машина» как единый организм, то этот симбиоз демонстрирует способность к обобщению на порядки выше, чем любая человеческая деятельность в прошлом. Тем не менее, попытки formalize такой «органический» интеллект через стандартные тесты часто приводят к дискуссиям, в которых сложно отделить чистую логику от скорости восприятия или влияния предварительных настроек.

## 🧩 Проблема априорных знаний: что скрывается за «врожденным» интеллектом
[[JUMP:1:15:28]]

### Иллюзия исчерпывающего списка: скрытые человеческие priors
[[JUMP:1:15:28]]
Обсуждая тестирование систем ИИ, собеседники неизбежно упираются в фундаментальный барьер — проблему априорных знаний (*priors*), то есть базовых, «врожденных» представлений об окружающем мире, которые человек использует неосознанно. **Франсуа Шолле (Francois Chollet)** в своих работах пытается составить исчерпывающий перечень таких концептов (геометрия, топология, непрерывность). Однако на практике вычленить их все оказывается невероятно сложно. Например, когда человек смотрит на абстрактную сетку, он мгновенно распознает симметрию благодаря визуальному восприятию цветов. Для алгоритма же эта сетка выглядит как двумерный массив чисел (например, в NumPy), где каждый цвет заменен цифрой. Если бы человеку показали такую числовую матрицу, распознать в ней симметрию было бы «чертовски трудно». Способность абстрактно воспринимать цвета и паттерны — это скрытый человеческий *prior*, который Шолле даже не внес в свой официальный список. Подобный феномен давно известен в обучении с подкреплением: человек, играя в компьютерную игру, изначально понимает, зачем нужны лестницы и как по ним передвигаться, тогда как RL-агент лишен этих базовых знаний.

Ранее в разговоре собеседники уже касались проблемы «коротких путей» (shortcuts) в моделях машинного обучения, и здесь этот риск возникает снова: если предоставить нейросети тысячи примеров, она может просто зазубрить конкретные типы симметрий на огромной выборке вместо освоения самого концепта. В качестве альтернативы пространственным тестам упоминаются строковые аналогии Дугласа Хофштадтера вроде «AAA относится к BBB так же, как CCC к...» (где ответом будет DDD). Франсуа Шолле, вероятно, возразил бы, что такие задачи требуют специфических знаний о мире, например, знания алфавита. Тем не менее, подобные текстовые паттерны выражают ту же логику, но избавляют от необходимости кодировать сложные пространственные априорные знания вроде концепта «зеленая линия, тянущаяся к красному объекту». Пытаясь вручную создавать задачи, авторы тестов неизбежно закладывают в них огромное количество негласных допущений, которые кажутся людям настолько очевидными, что они их просто не замечают.

### Возврат к Минскому: DSL и ловушка формализации правил
[[JUMP:1:22:51]]
Сам Франсуа Шолле предлагает решать проблему адаптации через синтез программ. В своей работе он описывает двухэтапный алгоритм: сначала построить предметно-ориентированный язык (*Domain-Specific Language*, DSL), способный описать все возможные задачи, а затем искать в рамках этого языка конкретную программу, генерирующую нужное решение на основе примеров. Собеседники критикуют этот подход, иронизируя, что первый шаг в инструкции Шолле — «постройте адекватный DSL» — фактически эквивалентен задаче «создайте сильный ИИ (AGI)». Если у вас уже есть язык программирования, способный идеально и достаточно узко описывать подобные абстрактные переходы, то сама проблема ИИ в этой области уже решена.

Этот подход заставляет вспомнить классическое определение искусственного интеллекта, сформулированное Марвином Минским еще в 1968 году: «наука о создании машин, способных выполнять задачи, которые потребовали бы интеллекта, если бы их выполнял человек». Собеседники сходятся во мнении, что это определение тавтологично и размыто, поскольку содержит определяемое понятие внутри себя. Более того, идея Шолле о создании DSL и жестких правил во многом возвращает индустрию к парадигме Минского образца 1960-х годов, утверждавшей, что проблема интеллекта будет решена, как только мы сможем закодировать все человеческие навыки в формальные правила, а знания — в явные базы данных. Попытка описать все типы симметрий и непрерывностей в рамках одного теста выглядит как шаг назад, к экспертным системам, против которых сам Шолле активно выступал в начале беседы.

### Взлом через контекстное обучение: GPT-подход против синтеза программ
[[JUMP:1:25:49]]
В противовес абстрактному программному синтезу один из участников дискуссии предлагает прагматичное инженерное решение, вдохновленное возможностями больших языковых моделей, таких как GPT-3. Способность нейросетей к обучению в контексте (*in-context learning*), когда модель по нескольким примерам понимает задачу перевода или трансформации текста, очень похожа на то, что требуется от ИИ при решении абстрактных задач. Хотя модель никогда специально не обучалась конкретной задаче, она способна экстраполировать решение, поскольку видела миллионы похожих вариаций во время предварительного обучения.

Предлагаемый альтернативный метод заключается в «брутфорсе» (грубом переборе) мультимодальных выводов через создание гигантского тренировочного датасета. Вместо написания DSL предлагается деконструировать мышление Шолле и написать порядка 100 кастомных функций, отражающих базовые человеческие *priors*. Случайно комбинируя и наслаивая эти функции друг на друга, можно сгенерировать миллионы синтетических примеров. 

* Функция генерации симметрии принимает объект и выдает его отраженную версию;
* Функция продления линий пытается достроить вектор до ближайшего препятствия;
* Функции аугментации данных осуществляют случайную замену цветов и координат.

Обучение условной GPT-3 на таком массиве данных позволит ей за счет статистического вывода «на лету» решать новые композиционные задачи (роль метаобучения подробно рассматривается в главе 6). Оппонент, однако, замечает, что изображения обладают слишком высокой размерностью по сравнению с одномерными текстовыми токенами, что сильно усложняет подобный брутфорс. Тем не менее, если такой подход сработает, сразу же включится так называемый «эффект ИИ» (*AI effect*): скептики заявят, что это не настоящий интеллект, ведь разработчики просто вручную закодировали те самые 100 базовых функций.

### Математический тупик программного синтеза и скрытые допущения
[[JUMP:1:32:00]]
Эксперименты показывают, что любой разуUniversal-человек способен без каких-либо инструкций успешно решать подобные абстрактные задачи, оперируя врожденными концептами. Тот факт, что машины спотыкаются там, где люди щелкают задачи как орехи, указывает на две возможности: либо мы еще не сумели инкапсулировать метаобучение и базовые знания, либо в самих тестах скрыто гораздо больше негласных предположений, чем декларируется. Главный методологический тупик заключается в следующем: если вы можете эксплицитно и с достаточной детализацией перечислить все априорные знания для их формализации в коде, вы уже решили проблему ИИ для данной узкой среды.

Когда Шолле рассуждает о поиске кода (генерации Python-функции, переводящей одну сетку в другую) с помощью эволюционного поиска, он сталкивается с фундаментальной математической проблемой. Существует бесконечное множество программ, которые будут идеально соответствовать ограниченному набору примеров. Даже среди самых простых алгоритмов найдется множество ложных корреляций. Шолле пытается ограничить это пространство поиска, выбирая только те решения, которые интуитивно понятны человеку. Но эта человеческая интуиция сама по себе неопределенна. 

Попытка сузить задачу — например, создать усеченный тест всего с двумя жестко заданными *priors* (вроде непрерывных прямых линий) — превращает ИИ в обычную экспертную систему. Как только правила генерации среды полностью описаны математически, задача перестает требовать интеллекта, ведь оптимальный алгоритм можно написать вручную. В итоге авторы приходят к выводу, что любая попытка создать фиксированный предметно-ориентированный язык для априорных знаний обречена из-за сотен скрытых допущений о человеческом опыте, которые создатели тестов закладывают в них абсолютно неосознанно.

## 🤖 Симбиоз человека и машины: интеллект как продукт сотрудничества
[[JUMP:1:40:17]]

Одной из самых жарких дискуссий в современном ИИ остается вопрос: являются ли нейросети чем-то большим, чем просто колоссальными «хеш-таблицами»? Франсуа Шолле (Francois Chollet) и его собеседники в этом фрагменте интервью приходят к выводу, что истинная сила технологий сегодня кроется не в автономном «творчестве» моделей, а в их способности стать универсальным рычагом для человеческого разума.

### От «хеш-таблиц» к универсальным инструментам: почему ИИ не умеет мечтать
[[JUMP:1:40:30]]

Разговор начинается с провокационного тезиса: глубокое обучение — это лишь форма локально-чувствительного хеширования (LSH). Исследования показывают, что нейросети блестяще интерполируют данные внутри знакомого пространства, но пасуют перед элементарной экстраполяцией. Если обучить модель на скалярной функции в диапазоне от -5 до 5, она окажется беспомощной за этими пределами. 

Это ограничение сравнимо с человеческим восприятием: мы не можем представить новый цвет, находящийся за пределами «выпуклой оболочки» (convex hull) видимого спектра. Мы комбинируем то, что знаем. Однако разница в том, что человек способен находить абстрактные правила, тогда как нейросеть зачастую просто «сгущает» данные в многомерном пространстве.



Интересно, что именно эта ограниченность порождает уникальный формат работы. Глубокое обучение стало «вездесущим набором инструментов», который можно применить где угодно. Раньше для создания системы управления швейцарскими железными дорогами требовался эксперт, досконально знающий расписание и логику движения поездов. Сегодня же разработчик может построить работающую систему, почти ничего не понимая в поездах, — достаточно иметь правильный массив данных и вычислительную мощность. 

* **Медицина:** Лучшие диагностические системы строят люди, не имеющие медицинского образования; они лишь обучают модель на данных, размеченных врачами.
* **Игры:** Алгоритмы для шахмат или го знают только правила, но не «понимают» сути стратегии так, как человек.

Здесь возникает первая форма симбиоза: ИИ берет на себя роль «чернорабочего» по поиску закономерностей в данных, позволяя человеку выступать в роли архитектора смыслов, даже не обладая узкой доменной экспертизой.

### Антропоцентризм как неизбежность: почему ИИ нужен человеческий «якорь»
[[JUMP:1:52:45]]

В обсуждении затрагивается важный философский аспект: должен ли ИИ быть похожим на нас? Франсуа Шолле в своей работе настаивает на антропоцентричном подходе. Хотя некоторые критики (например, пользователи Reddit под никами *sure-of-zora* или *zombie_cop*) считают это «кратчайшим путем», ограничивающим потенциал машин, участники дискуссии подчеркивают: интеллект всегда привязан к среде.

Крысы — гении навигации в своей экологической нише, но они бесполезны в задачах человеческого типа. Если мы хотим построить сильный ИИ (AGI), нам неизбежно придется заложить в него человеческие априорные знания (priors). В формуле Шолле измерение интеллекта — это сумма априорных знаний и опыта. При этом не имеет значения, получены ли эти знания в ходе эволюции (nature) или в первые 18 месяцев жизни ребенка (nurture) — для теста ARC это константа, которую система должна иметь «на борту».

Ранее в разговоре уже упоминалось, что без этих базовых установок (понятия объекта, пространства, причинности) обучение становится информационно неэффективным. Симбиоз проявляется здесь в том, что мы не просто строим «мыслящий ящик», а переносим структуру нашего разума в программный код, создавая цифровое расширение человеческой когнитивной системы.

### Команда важнее кода: рыночная стоимость обобщения
[[JUMP:2:02:46]]

Финальный аккорд главы касается прагматичного вопроса: что больше ценится рынком — узкий навык (skill) или способность к обобщению (generalization)? Скептики утверждают, что рынок платит за конкретные решения, а не за «абстрактный интеллект». Однако Янник и его коллеги находят блестящее контрдоказательство в примере с AlphaGo.

> «Спросите себя: сколько стоит исходный код AlphaGo? А теперь спросите: сколько стоит команда, которая его создала?»

Это ключевой аргумент в пользу того, что связка «человек + ИИ» демонстрирует уровень интеллекта, недоступный ни одной из сторон в отдельности. Программа AlphaZero сама по себе — это застывший навык, мертвый код. Но группа инженеров, способная направить общие принципы машинного обучения на решение любой новой задачи (от логистики до биологии), представляет собой высшую форму адаптивного интеллекта. 

Процесс разработки здесь выглядит как рекурсия: люди используют свою интуицию и способность к мета-обучению (которого, как отмечалось, пока не хватает современным моделям), чтобы наделять машины логической мощью. В этом тандеме ИИ берет на себя «логическую прямолинейность», а человек — гибкость и целеполагание.

## 🧠 Метаобучение и поиск индуктивных смещений: по ту сторону чистого масштабирования
[[JUMP:2:05:36]]

### Архитектуры с внутренним моделированием: уроки MuZero и планирования в латентном пространстве
[[JUMP:2:06:15]]
Обсуждение современных архитектур искусственного интеллекта неизбежно упирается в то, как именно системы формируют представление о мире для эффективного решения новых задач. Подходы вроде MuZero наглядно иллюстрируют движение в сторону метаобучения через построение внутренних моделей среды. В отличие от классического AlphaZero, которому требовался внешний симулятор с жестко заданными правилами игры (например, шахматными ходами) для запуска поиска по дереву Монте-Карло, MuZero делает шаг вперед. Он оперирует в сжатом латентном пространстве, самостоятельно выстраивая скрытые переходы между состояниями без прямого доступа к правилам.

Такой подход критически важен для метаобучения, цель которого — выработать устойчивые индуктивные смещения (inductive biases) для быстрой адаптации к меняющимся условиям. Ведущие подкаста подчеркивают, что структура MuZero выступает важнейшим строительным блоком в современном ИИ-инструментарии. Однако текущие реализации все еще ограничены: в то время как алгоритм исследует среду во многом за счет случайного поиска, управляемого константой эксплорации, человек действует принципиально иначе. Мы целенаправленно формируем гипотезы о неизвестных пространствах и планируем действия. Это планирование ментально схоже с навигацией по геометрическому ландшафту. Ранее в разговоре собеседники уже затрагивали определение интеллекта Шолле как эффективности обучения, и именно здесь становится ясно, почему случайный поиск в латентном пространстве не обеспечивает подлинной гибкости ИИ при столкновении с нестандартными вызовами, такими как бенчмарк ARC.

### Две философии обобщения: масштабирование против индуктивных смещений
[[JUMP:2:11:09]]
Современная индустрия искусственного интеллекта разделена между двумя ключевыми философиями достижения гибкого обобщения:

* **Экстенсивный путь:** масштабное увеличение параметров моделей вроде GPT-3 на этапе предобучения с последующим трансфером знаний на конкретные задачи.
* **Интенсивный путь:** разработка более совершенных индуктивных смещений через графовые нейросети, поиск в пространстве программ (program synthesis) и глубокое метаобучение.

Франсуа Шолле (Francois Chollet) и участники дискуссии признают, что индустрии гораздо проще наращивать вычислительные мощности и масштабировать текстовые трансформеры, чем изобретать новые математические абстракции. Однако этот путь имеет жесткие ограничения, когда речь заходит о задачах с экстремально малым объемом данных. Ярким историческим примером иллюзорного обобщения без фундаментальных индуктивных смещений является система IBM Watson. Проданная за огромные деньги благодаря триумфу в Jeopardy, система позиционировалась как универсальный бизнес-инструмент, способный магически утроить доходы компании после поглощения корпоративных документов. На практике оказалось, что Watson совершенно не умеет обобщать опыт и фактически бесполезен вне узкой ниши.

Это доказывает, что локальное обобщение — например, способность обработать неидеально сформулированный поисковый запрос на естественном языке — обладает колоссальной коммерческой ценностью, но фундаментально не приближает нас к метаобучению. Метаобучение требует от системы способности выводить общие правила генерации данных из единичных примеров. Вопросы о том, какие именно priors необходимо закладывать в архитектуру, уже поднимались в четвертой главе, и здесь Франсуа Шолле вновь указывает на фундаментальную развилку: мы должны либо заложить в архитектуру более сильные априорные знания о структуре мира, либо предоставить модели несоизмеримо больше практического опыта.

### Синтез программ и клеточные автоматы как алгоритмическое метаобучение
[[JUMP:2:13:14]]
Когда масштабные нейросетевые модели пасуют перед нехваткой данных, на сцена выходят методы алгоритмического поиска и синтеза программ. Сложная и чрезвычайно плотная статья Франсуа Шолле, деконструкция которой победила даже известного блогера Янника Килчера (Yannick Kilcher), заставив его разбить разбор на три части, вызвала всплеск нестандартных подходов на соревновании ARC. Хотя крупные исследовательские лаборатории во многом проигнорировали этот бенчмарк, независимые разработчики нащупали уникальные решения на стыке метаобучения и символьных вычислений.

Вектор технологического прорыва сместился в сторону следующих подходов:

* **Клеточные автоматы (cellular automata):** построение систем, где правила рассуждений кодируются через локальные переходы состояний.
* **Предметно-ориентированные языки (DSL):** создание компактных алгоритмических описаний для кодирования абстрактных правил.
* **Генетические алгоритмы и деревья решений:** эволюционный поиск оптимальных программных структур без традиционного градиентного спуска.

Лидера соревнований под ником IceCuber, закрепившегося на первой строчке с результатом 0.79, построил свое решение вокруг клеточных автоматов, обновив свой открытый код рекордные 428 раз. Превращение клеточных автоматов в полноценный язык рассуждения (language of reasoning) демонстрирует жизнеспособность идеи метаобучения на практике: вместо подгонки миллионов весов классической CNN, система ищет компактные программы, описывающие трансформацию объектов.

Это подводит черту под спором о природе интеллекта. Некоторые участники дискуссии скептически называют попытки Шолле формализовать интеллект исключительно академическим упражнением, утверждая, что даже в случае полного прохождения ARC это никого не убедит в создании подлинного разума. Они указывают, что феноменальный успех AlphaGo — это не изолированный триумф алгоритма, а проявление симбиоза выдающейся команды инженеров DeepMind и вычислительных мощностей, о чем подробно говорилось в пятой главе. Тем не менее, именно математический аппарат Шолле задает правильный вектор для метаобучения как генератора индуктивных смещений. Попытки использовать генеративные модели для эмуляции сред или споры о том, является ли GPT-3 просто продвинутой хэш-таблицей, меркнут перед главной задачей: научить ИИ не просто интерполировать накопленный опыт, а мгновенно синтезировать новые микро-правила для незнакомых контекстов. Эти идеи, вместе с подробным анализом потенциала больших языковых моделей и концепцией расширенного разума, станут ключевыми в финальной седьмой главе.

## 🚀 Будущее взаимодействия: от инструментов к расширению разума

[[JUMP:2:30:45]]

### Глубокое обучение как совершенный поисковый движок
[[JUMP:2:30:45]]

Франсуа Шолле (Francois Chollet) предлагает переосмыслить практическую пользу нейронных сетей, сместив фокус с попыток наделить их «человекоподобным» интеллектом на их использование в качестве мощнейших инструментов познания. Современные архитектуры глубокого обучения (deep learning), обладая колоссальными вычислительными мощностями — например, кластерами из сотен тысяч GPU, — могут выступать в роли совершенных баз знаний и аналитических ассистентов.

Шолле приводит конкретный сценарий: исследователь может спросить у такой системы, проводил ли кто-то ранее эксперименты по аугментации данных в обучении дискриминатора или занимался поиском оптимальных архитектур для слоев нормализации. В этой парадигме ИИ не пытается подменить собой ученого, но драматически ускоряет итерационный цикл научной работы. Ранее в разговоре уже затрагивались вопросы ограничений глубокого обучения и проблемы «коротких путей» при обучении, однако здесь акцент делается именно на утилитарной ценности: способность ИИ мгновенно обрабатывать накопленный массив данных превращает его в незаменимый инструмент для интеллектуального поиска.

### Ускорение циклов и расширение когнитивных возможностей
[[JUMP:2:31:24]]

Ключевая проблема современной исследовательской деятельности заключается в избыточности и крайне длительных циклах итераций. Ученым приходится тратить непропорционально много времени на поиск информации и рутинную верификацию гипотез. Франсуа Шолле (Francois Chollet) подчеркивает, что с внедрением ИИ-инструментов, способных к глубокой интеграции с научным процессом, скорость (velocity) работы исследовательских коллективов возрастет многократно.

Это подводит нас к концепции расширенного человеческого разума:

*   **Снятие ограничений:** Автоматизация поиска и синтеза информации убирает «узкие места» в текущих методологиях.
*   **Итерационная эффективность:** Вместо того чтобы полагаться на случайные открытия, человечество сможет методично прорабатывать огромные пространства параметров.
*   **Синтез знаний:** ИИ выступает как катализатор, который «катапультирует» исследователей в будущее, позволяя быстрее достигать пределов текущих возможностей.

Возникает философский вопрос: достигнем ли мы некоей «скорости убегания» (escape velocity) в развитии технологий или просто упремся в потолок наших фундаментальных открытий? Шолле предпочитает не спекулировать на тему создания «суперинтеллекта», фокусируясь на том, что в рамках его собственного жизненного цикла мы можем ожидать значительного ускорения темпов познания. Это делает процесс не только продуктивным, но и по-настоящему захватывающим.

### Понимание ограничений как залог прогресса
[[JUMP:2:32:43]]

Важной частью критического подхода Франсуа Шолле (Francois Chollet) является признание того, что, несмотря на всю мощь инструментов deep learning, их часто неправильно интерпретируют. В своей фундаментальной работе «Deep Learning with Python» он посвятил целую главу ограничениям этого подхода, демонстрируя, что успех модели не всегда эквивалентен пониманию.

Главная ценность позиции Шолле сегодня заключается в трезвом взгляде на технологии:

1.  **Отсутствие «магии»:** Глубокое обучение не обладает разумом в человеческом понимании, но это лучший инструмент для управления сложностью данных.
2.  **Эффективность продаж vs. реальность:** Многие проблемы возникают из-за того, что возможности нейросетей переоцениваются в маркетинговых целях, тогда как их истинная роль — быть эффективным инструментом в руках человека.

Таким образом, подлинный прогресс заключается не в попытке создать «цифровой мозг», а в развитии симбиоза, где человек задает вектор, а ИИ максимально эффективно расширяет его когнитивные и итерационные возможности.