Интеллект — это не способность модели «вызубрить» интернет, а эффективность, с которой она превращает минимум данных в новые навыки для адаптации к неизвестному. Пока индустрия гонится за гигантскими датасетами, Франсуа Шолле утверждает: истинный AGI появится не через накопление знаний, а через умение машин мыслить абстракциями, подобно человеческому ребенку.
🧠 Природа интеллекта: от паттернов к пониманию 0:00
Интеллект в своем истинном проявлении — это не показатель того, насколько много навыков или знаний накопила система, а способность эффективно адаптироваться к принципиально новым ситуациям. По мнению Франсуа Шолле (François Chollet), исследователя ИИ и создателя Keras, если система сталкивается с задачей, для которой у нее нет заранее заготовленного ответа или тренировочных данных, именно здесь проверяется ее настоящий интеллект. Способность справляться с новизной — это фундаментальное требование, которое невозможно «взломать» с помощью простой памяти.
Критика догмы «Scale is All You Need» 2:27
Сегодняшняя индустрия ИИ одержима идеей о том, что масштабирование больших языковых моделей (LLM) — это прямой путь к созданию сильного интеллекта. Однако Франсуа Шолле указывает на фундаментальный изъян: текущие бенчмарки измеряют лишь эффективность запоминания, а не способность к реальному логическому рассуждению.
Масштабирование моделей, основанное на колоссальных вычислительных мощностях, демонстрирует лишь успех в поиске корреляций в данных. Когда мы тестируем такие системы, мы фактически оцениваем «игру в память», где производительность зависит от того, насколько хорошо модель «зазубрила» обучающую выборку. Настоящее рассуждение требует применения абстрактных правил к новым условиям, но современные LLM обходят этот этап, полагаясь на заранее выученные ответы.
LLM как интерполятивные базы данных 5:37
Существует распространенное заблуждение, что языковые модели занимают экстраполяцией — переносом знаний на области, выходящие за рамки их опыта. Шолле же настаивает на том, что LLM работают как сложные аппроксиматоры функций, интерполирующие программы в многомерном пространстве параметров.
- LLM функционируют как векторные функции: на вход подается последовательность, на выходе — предсказание.
- Они не создают новые способы решения задач, а «склеивают» статистические закономерности из своего обучающего пространства.
- Даже если модель кажется «умной», она просто перемещается по многомерному многообразию, перенося стили и форматы, но не осуществляя глубокий перенос смысла.
Для модели программа — это лишь путь от входа к выходу. В отличие от человека, который может понять структуру задачи, модель просто подбирает подходящую кривую в пространстве вероятностей.
Гипотеза «калейдоскопа» и природа абстракций 10:18
Интеллект, согласно гипотезе Шолле, — это процесс извлечения из хаотичного потока опыта базовых «атомов смысла» или абстракций. Представьте это как калейдоскоп: мы берем элементарные части опыта, неоднократно трансформируем их и комбинируем для понимания совершенно новых ситуаций.
Без этой способности к абстрагированию любое «знание» остается мертво. Модель может знать текст Шекспира наизусть, но если она не может выделить абстрактные правила, лежащие в основе языка, она не поймет, что делать, столкнувшись с задачей, которая требует не повторения, а структурного синтеза. Интеллект — это именно механизм постоянного обновления этих внутренних моделей, чтобы использовать их при столкновении с каждым последующим моментом новизны.
Паттерн-матчинг vs. мышление System 2 14:16
Глубокое обучение в его нынешнем виде — это триумф распознавания образов, что близко к интуитивному мышлению (System 1 по Канеману). Проблема в том, что оно фундаментально ограничено, когда речь заходит о реализации логического, пошагового, контролируемого мышления (System 2).
Ранее в разговоре Шолле упоминал конструктивизм в развитии детей, проводя параллель с тем, как люди учатся моделировать мир, в отличие от машин, просто перебирающих корреляции. В то время как современные нейросети показывают отличные результаты в статистическом сопоставлении, они не обладают инструментом для декомпозиции задачи на этапы. Попытки имитировать рассуждение через «поиск в пространстве программ» показывают, что именно неспособность к «медленному», осознанному мышлению остается главным барьером на пути к общему ИИ.
🏗️ Архитектура разума: от сенсомоторики к эффективности обучения
Активное конструирование реальности 28:15
Франсуа Шолле (François Chollet) подчеркивает, что развитие человеческого интеллекта — это не пассивное накопление информации, а активный, иерархический процесс построения внутренней модели мира. С самых ранних лет ребенок выступает как исследователь, который «конструирует» свои мыслительные способности, опираясь на физическое взаимодействие с окружающей средой.
В основе этого процесса лежат сенсомоторные примитивы — базовые кирпичики опыта, которые мы собираем, манипулируя предметами в реальном мире. Этот «внутренний мир» строится иерархически: от простых физических взаимодействий к сложным абстракциям. Франсуа Шолле (François Chollet) отмечает, что такая модель напрямую связана с нашей физической природой; обучение — это процесс обратных связей, где каждый новый навык жестко закрепляется на фундаменте предыдущих, более простых навыков. Именно поэтому развитие детей происходит нелинейно: разные дети проходят через эти этапы с разной скоростью, но общая логика «построения» мышления остается универсальной.
Интеллект как эффективность приобретения навыков 39:16
С точки зрения Франсуа Шолле (François Chollet), популярные методы оценки ИИ часто упускают суть, путая накопленный объем данных с истинным интеллектом. Чтобы измерить интеллект, необходимо контролировать «приоры» — тот начальный опыт и объем данных, которые система уже имела на старте. Если вы даете системе доступ к бесконечным библиотекам данных, способность решать задачи может быть лишь результатом запоминания, а не интеллектуальной адаптации.
Истинный интеллект, как его определяет Франсуа Шолле (François Chollet), — это количественная мера того, насколько эффективно система приобретает новые навыки при ограниченном опыте. Это соотношение между затраченными ресурсами (объемом данных) и качеством освоения новой, ранее не виданной задачи.
- Интеллект — это не «выпуклая оболочка» (convex hull) того, что уже известно.
- Это способность адаптироваться к ситуациям, которые находятся далеко за пределами тренировочных данных.
- Эффективность обучения становится ключевым показателем: чем меньше данных нужно системе для «освоения» новой концепции, тем выше её интеллект.
Размышляя о механизмах разума, исследователь выделяет наличие «движка синтеза» (synthesis engine). Человек рождается с базовой способностью к абстракции, которую он постепенно полирует на протяжении всей жизни. Чем богаче ваша «библиотека абстракций», тем эффективнее вы решаете новые задачи, используя уже имеющиеся макроуровневые архитектуры мышления. В этом контексте интеллектуальный рост с возрастом заключается в накоплении и курировании этих ментальных шаблонов, что позволяет решать проблемы намного быстрее и эффективнее, чем это было возможно в юности, даже если «чистая» способность к обучению (raw learning components) с возрастом может снижаться.
Ранее в разговоре они касались проблем паттерн-матчинга, архитектурных ограничений нейросетей и того, почему их текущие методы работы с данными не являются полноценным интеллектуальным процессом.
🧩 ARC: Новый взгляд на интеллект машин 51:46
Франсуа Шолле (François Chollet) предлагает радикально иной подход к оценке возможностей искусственного интеллекта через свой проект ARC (Abstraction and Reasoning Corpus). В отличие от стандартных бенчмарков, которые часто опираются на колоссальные массивы данных для обучения, ARC — это набор задач, призванных стать «тестом IQ для машин». Суть теста заключается в проверке способности системы к «обучению на лету», когда модель сталкивается с совершенно новыми задачами, обладая минимальным набором примеров.
Принципы построения ARC 53:39
В основе ARC лежат не сложные статистические закономерности, а «атомы знаний», которые, как предполагает Шолле, понятны человеку примерно к четырем годам жизни. Задачи в корпусе спроектированы так, чтобы исключить возможность простого запоминания: от модели требуется синтезировать программу для решения задачи «на лету», используя ограниченное число примеров — типично от пяти.
- Минимализм: Вместо того чтобы «зашивать» в систему сложные алгоритмы, ARC опирается на фундаментальные концепции вроде связи объектов или их перемещения.
- Изоляция от заучивания: Поскольку тестовый набор скрыт, попытки «зубрить» ответы оказываются неэффективными.
- Сложность синтеза: Каждая задача представляет собой уникальный пазл, требующий понимания абстрактных правил, а не просто статистической аппроксимации.
Проблема поиска программ и эвристик 57:35
Обсуждая развитие ARC с момента его появления в 2020 году, Шолле отмечает, что большинство попыток решения этого бенчмарка упираются в проблему «масштабирования грубой силы» (brute force) при поиске программ. Даже при наличии сотен попыток и эвристических методов, пространство возможных решений остается практически бесконечным.
Шолле указывает, что если у вас есть язык программирования (DSL) с набором из 200 примитивов, то при «бесконечных вычислительных мощностях» выбор верного решения становится вопросом интеллектуальной селекции, а не просто перебора. Именно этот разрыв между простым перебором и интеллектуальной адаптивностью к новому является ключевым барьером на пути к настоящему интеллекту.
Интеллект как предиктивная способность 1:11:19
По мнению Шолле, AGI (сильный искусственный интеллект) — это решение, которое должно быть способно строить модели для понимания новых, ранее не встречавшихся ситуаций. Если интеллект — это процесс обработки новизны, то агент должен уметь предсказывать поведение системы, приступая к решению задачи, даже не обладая полным объяснением правил.
Ранее в разговоре участники касались вопроса паттерн-матчинга, и Шолле подчеркивает: текущие подходы часто слишком «перцептуально запутанны». Настоящий интеллект должен демонстрировать способность к обобщению на основе скудных данных, что делает ARC критически важным инструментом для измерения прогресса. В отличие от систем, зависящих от гигантских баз данных, модель, успешно справляющаяся с ARC, доказывает наличие способности к формированию абстрактных концепций «на лету».
⚙️ Механика синтеза программ и проблема комбинаторного взрыва 1:19:09
Франсуа Шолле (François Chollet) подробно анализирует процесс синтеза программ — метода, при котором компьютер пытается автоматически сгенерировать алгоритм для решения задачи. Основная трудность здесь заключается не в написании самого кода, а в выборе правильных функций и их комбинации. При создании таких систем исследователи неизбежно сталкиваются с проблемой «комбинаторного взрыва». Если программа требует последовательного вызова, скажем, 40 различных функций, количество возможных комбинаций становится астрономическим.
Чтобы эффективно искать решение, система должна сужать пространство поиска до нескольких перспективных гипотез. Проблема в том, что текущие методы часто полагаются на чистый паттерн-матчинг, который не является полностью надежным инструментом для построения сложных логических конструкций. По мнению Шолле, процесс синтеза требует более глубокой композиции функций, где система не просто перебирает варианты, а выстраивает иерархию операций, способных трансформировать входные данные в выходные.
💤 «Абстракционный сон» и методы обучения моделей 1:22:35
Обсуждая современные архитектуры для автоматизации поиска программ, Шолле обращается к проекту DreamCoder, разработанному лабораторией Basis. Этот подход примечателен использованием так называемого «абстракционного сна» (abstraction sleep). В ходе этого процесса система, обучавшаяся на задачах глубокого обучения, пытается переосмыслить свои знания во время «сна», извлекая общие примитивы, которые могут помочь в решении новых, ранее не встречавшихся задач.
Этот метод синтеза, по сути, пытается структурировать накопленный опыт, чтобы в будущем не перебирать все возможности с нуля, а опираться на банк уже готовых функциональных блоков. Это кардинально отличается от прямого промптинга LLM, где модель может просто «запоминать» удачные ответы, вместо того чтобы вырабатывать механизм решения. Как отмечает исследователь, без такой структуризации и рекомбинации примитивов система рискует упереться в потолок эффективности. Ранее в разговоре они касались различий между системным мышлением и паттерн-матчингом, и здесь важно понимать, что «абстракционный сон» — это попытка навязать машине более структурированный способ работы с задачами, выходящий за рамки простого запоминания.
🛠 Проблема тонкой настройки и ловушки бенчмарков 1:32:50
Критическим аспектом обсуждения является использование дообучения во время тестирования (test-time fine-tuning). Шолле скептически относится к этому методу как к основному способу решения задач: если вы вынуждены дообучать модель на каждом новом примере, это свидетельствует о крайне неэффективном процессе синтеза. Вместо глубокого понимания принципов работы с примитивами, система фактически пытается «подогнать» параметры под конкретный набор входных данных.
Это ведет к серьезной проблеме, с которой сталкиваются многие участники соревнований по ИИ: чрезмерная подгонка (overfitting) под конкретный тестовый набор. Использование обратной связи от публичных лидербордов часто превращается в попытку «угадать» параметры, которые дадут лучший скор, вместо того чтобы создать по-настоящему генеративное решение. Шолле подчеркивает, что такая стратегия — «надежда как рабочее слово» — не ведет к настоящему интеллекту. Истинная эффективность заключается не в бесконечном переобучении на частных случаях, а в способности модели оперировать богатым банком примитивов и находить сложные рекомбинации для решения задач, которые она видит впервые.
5. Экосистема соревнований, метафора RTS и коллективный разум культуры 1:40:37
Соревновательные стимулы и краудсорсинг решений для ARC 1:44:15
В поисках подходов к автоматическому проектированию систем искусственного интеллекта исследователи все чаще упираются в необходимость создания гибких программных решений. Франсуа Шолле (François Chollet) обращает внимание на то, что современные подходы к прохождению передовых тестов адаптивности включают в себя комбинацию генеративных моделей и дискретного поиска программ (discrete program search). Процесс часто строится вокруг генерации множества программ-кандидатов или субпрограмм, которые затем проверяются через специализированный интерпретатор кода. Чтобы оптимизировать эту работу и двигаться в правильном направлении, инженеры пытаются сократить объем вычислений, подключая к анализу даже модальности компьютерного зрения, что Шолле считает весьма многообещающим направлением.
(Ранее в разговоре собеседники подробно разбирали сам ARC-тест как мерило машинного IQ и рассуждали о проблемах паттерн-матчинга против System 2).
Основной движущей силой инноваций в этой сфере сегодня становятся открытые инженерные хакатоны и платформы. Организаторы намеренно отправляют участникам приватные тестовые задания, которые не публикуются в открытом доступе, чтобы исключить прямую подгонку под ответы и заставить инженеров показать действительно интересные, обобщаемые подходы. На вопрос о том, что именно заставляет людей тратить недели на оптимизацию систем под подобные бенчмарки, Шолле отвечает с предельной прагматичностью: инженеры инвестируют свое время в ARC, потому что они хотят получить денежное вознаграждение. Организаторы подходят к этому вызову со всей серьезностью. Успешная архитектура для решения таких задач не должна просто «выбрасывать» всю комбинаторную сложность на уровень вычислений System 2; вместо этого эффективным решением видится гибридная модульная архитектура, где большая языковая модель работает в связке с узкоспециализированными программными модулями.
Метафора RTS-стратегий: разделение агента и модели мира 1:51:15
При проектировании архитектур ИИ Шолле предлагает проводить жесткую границу между базовым интеллектом, моделью мира и понятием агентности (целеполагания). Для объяснения этой концепции он использует наглядную метафору из мира компьютерных игр, а именно — стратегий в реальном времени (RTS).
(Хотя вопросы агентности, целей и природы сознания как таковые закреплены за финальной частью дискуссии, здесь этот зазор критически важен для понимания архитектуры систем).
В этой метафоре структура распределяется следующим образом:
- Модель мира — это сам движок RTS-игры, который симулирует карту, физику, правила взаимодействия элементов и текущую игровую ситуацию.
- Пространство ситуаций — это поле, в рамках которого разворачивается последовательность действий и просчитываются возможные исходы.
- Агент — это сам игрок, который сидит за монитором, кликает правой кнопкой мыши и отдает приказы юнитам, преобразуя текущее состояние игры ради достижения конкретной цели.
Шолле подчеркивает, что агентность и интенциональность не встроены в модель мира эксплицитно. Невозможно построить эффективный ИИ, если пытаться слить эти сущности воедино. Точно так же в человеческом организме сердце работает как автономный орган со своей локальной задачей, но не оно определяет глобальное целеполагание человека. Разделение планирующего агента и предсказывающей модели мира — это самый простой и прагматичный путь к созданию сильного ИИ.
Культурный апгрейд: экстернализация разума и софтверный синтез 1:55:15
Если посмотреть на развитие интеллекта в долгосрочном эволюционном масштабе, становится очевидно, что человечество совершило качественный скачок благодаря выносу когнических процессов вовне. Франсуа Шолле (François Chollet) называет себя «большим приверженцем» идеи экстернализации разума. Безусловно, внутри своей головы человек активно оперирует ментальными образами для рассуждений, однако ключевая сила нашего вида проявилась тогда, когда мы научились коммуницировать и делиться этими внутренними мирами с другими людьми. Именно этот непрерывный обмен привел к созданию человеческой культуры. Культура, по сути, представляет собой гигантский распределенный банк готовых, многократно используемых абстракций.
(Взаимосвязь языка как операционной системы разума и общая гипотеза калейдоскопа абстракций детально рассматриваются в других главах, но именно здесь Шолле описывает их утилитарный механизм).
Благодаря языковым играм люди получили возможность не изобретать каждое колесо заново в одиночку, а буквально «скачивать» сложнейшие, проверенные поколениями абстракции напрямую в свой мозг. Мы экстернализируем концепты наружу с помощью языка, они варятся в общем культурном поле, а затем новые поколения загружают их обратно в свои биологические нейросети. Это делает каждого отдельного индивида кратно умнее, чем он мог бы стать в изоляции.
В современную эпоху этот процесс эволюционировал в новую форму — синтез знаний в виде программного обеспечения. Программный код и софтверные архитектуры стали высшей формой кристаллизации абстракций, которая физически не способна полностью поместиться в голове одного человека. Проектирование современных ИТ-систем распределено между тысячами разных умов. Ни один отдельный программист не понимает масштабный софт во всей его абсолютной полноте — это глобальный экстернализированный когнитивный процесс. Тем не менее, мы можем использовать эти внешние структуры, чтобы переиспользовать сложнейшие вычисления внутри собственного сознания. По мнению Шолле, именно так сегодня во многом и реализовано коллективное познание, особенно в области исследований глубокого обучения. В конечном счете даже физически воплощенные роботы будут обучаться не с нуля, а на базе этого колоссального массива накопленных культурой абстракций.
🧠 Архитектура интеллекта и границы комбинаторного поиска 2:05:38
Фундаментальный вопрос, который стоит перед современным ИИ, заключается не столько в масштабировании вычислительных мощностей, сколько в преодолении барьеров, связанных с поиском решений в пространстве программ. Франсуа Шолле (François Chollet) подчеркивает, что интеллект неразрывно связан с умением комбинировать имеющиеся у агента навыки и инструменты для достижения новых целей. В отсутствие способности к такой рекомбинации система оказывается в ловушке жестко заданных сценариев, не имея возможности эффективно адаптироваться к новым задачам.
Комбинаторная сложность поиска программ 2:12:23
Главным препятствием на пути к созданию настоящего общего искусственного интеллекта (AGI) является экспоненциальный взрыв комбинаторной сложности. Пространство возможных программ, способных решать сложные задачи, практически бесконечно, и «грубый» перебор (brute-force) здесь не работает.
Шолле проводит аналогию с программированием: простое написание кода на ассемблере требует колоссальных затрат человеческих усилий, тогда как использование высокоуровневых абстракций позволяет человеку справляться с этой сложностью. Интеллект человека, в частности его «Система 1» (интуиция), позволяет нам не перебирать все варианты, а интуитивно отсекать неперспективные ветви поиска, фокусируясь на тех структурах, которые с наибольшей вероятностью приведут к решению. В области ИИ это означает, что модель должна обладать не только способностью «выполнять» код, но и способностью «писать» его, эффективно управляя композицией базовых навыков.
Тест-тайм дообучение и «Внутренний взор» (Mind’s Eye) 2:10:44
Для решения задач в рамках ARC (Abstraction and Reasoning Corpus) Шолле выделяет важность методов тест-тайм дообучения (test-time training). Если традиционные модели лишь интерполируют данные, то прогрессивные системы должны обладать механизмом, который позволяет им «размышлять» над конкретной задачей уже после обучения, используя градиентный спуск или иные формы поиска в пространстве возможных решений.
Этот подход превращает LLM из простых предсказателей следующего токена в инструменты, способные к итеративному уточнению своих гипотез. Можно сказать, что «Внутренний взор» агента — это возможность создавать внутренние модели среды и проверять их через симуляцию, прежде чем совершить действие. Язык в этом процессе играет роль «операционной системы» для разума, позволяя композиционно собирать мысли и отражать их в структурированном виде.
Стоит отметить, что ранее в разговоре затрагивались аспекты определения интеллекта и критика подхода «масштабирования ради масштабирования», однако сейчас акцент смещается на то, как агент использует накопленный опыт для построения новых комбинаций действий. Несмотря на успехи в глубоком обучении, мы все еще далеки от создания систем, которые могли бы автономно формировать столь гибкие и адаптивные модели мира, как это делает человек в раннем возрасте.
🔮 Взгляд за горизонт: агентность, язык и мифы об апокалипсисе 2:32:00
Разоблачение эсхатологических нарративов 2:32:00
Франсуа Шолле (François Chollet) выражает глубокий скептицизм в отношении современной культуры «экзистенциального риска» (X-Risk), пронизывающей дискурс вокруг искусственного интеллекта. По мнению исследователя, многие прогнозы о неминуемом крахе цивилизации или мессианских сценариях развития технологий имеют мало общего с научным анализом технических проблем. Шолле указывает на то, что подобные страхи глубоко укоренены в человеческой психологии и религиозном мышлении.
Сюжеты о «восстании машин» или «технологической сингулярности» во многом являются современным пересказом древних мифов об апокалипсисе. Франсуа Шолле (François Chollet) отмечает, что эти идеи часто привлекательны, так как предлагают понятную структуру добра и зла, а также дают человеку ощущение значимости — будто мы являемся свидетелями или участниками финальной битвы. Однако, когда такие идеи переносятся в область инженерии, они лишь отвлекают от реальных, приземленных проблем безопасности и контроля, существующих в текущих и ближайших реалиях использования ИИ.
Интеллект, агентность и природа целей 2:36:33
Одной из фундаментальных ошибок в понимании ИИ, как утверждает Франсуа Шолле (François Chollet), является наделение алгоритмов агентностью по умолчанию. В своих рассуждениях он проводит четкую границу: интеллект — это лишь инструмент, своего рода «алгоритм поиска», который может решать сложные задачи. Сама по себе система, даже обладающая высоким уровнем «интеллекта» (в контексте способностей, которые ранее обсуждались в дискуссии, когда они касались оценки новизны и адаптации), не обладает внутренними целями.
Шолле подчеркивает:
- Интеллект — это инструмент, а не мотивация.
- Агентность и целеполагание — это внешние компоненты, которые должны быть намеренно «прикручены» к системе.
- Отсутствие у системы встроенных целей означает отсутствие риска «взрывного» неконтролируемого поведения в стиле фантастических романов.
По мнению исследователя, опасность заключается не в том, что ИИ внезапно «захочет» захватить мир, а в том, что люди могут делегировать таким системам критические полномочия, например, доступ к управлению инфраструктурой. Риск здесь носит операционный и организационный характер, а не метафизический.
Язык как каркас для разума 2:40:29
Хотя Франсуа Шолле (François Chollet) в рамках беседы не углубляется в подробный разбор лингвистических моделей (ранее упоминались проблемы интерполятивных баз данных и паттерн-матчинга), он затрагивает роль языка как фундаментального инструмента человеческого сознания. Язык не является самим мышлением, но выступает в роли операционной системы разума.
Он позволяет человеку:
- Индексировать сложные абстрактные концепции, которые трудно удерживать в оперативной памяти «сырого» интеллекта.
- Структурировать мыслительный процесс через внешние символьные системы.
- Осуществлять композицию идей, выходящих за рамки простого распознавания паттернов.
Таким образом, язык — это технология, расширяющая когнитивные возможности, позволяющая нам преодолевать ограничения биологического субстрата и создавать более сложные формы интеллектуальной деятельности. Эти рассуждения подводят итог его позиции: развитие ИИ должно фокусироваться на создании инструментов, полезных для человека, а не на построении фантомных опасений вокруг «цифровых божеств».
