Миф об автономном ИИ: почему глубокое обучение не интеллект

Machine Learning Street Talk 16,8 тыс. 2 ч 33 мин 19 мин 19.06.2020
Главное

Интеллект — это не способность накапливать терабайты данных, а эффективность, с которой вы превращаете минимальный опыт в универсальные программы для решения задач, к которым не было предварительной подготовки. Современное глубокое обучение, вопреки хайпу, является лишь мощным инструментом геометрического интерполирования, а не подлинным разумом. Настоящий путь к сильному ИИ лежит не через создание автономной сущности, а через осознание ограничений нейросетей и их использование как симбиотического расширения человеческого когнитивного потенциала.

🧠 Мера интеллекта: от накопленных навыков к эффективности обобщения 0:03

Современная индустрия искусственного интеллекта находится в плену опасного заблуждения, путая «обученность» конкретным задачам с подлинным интеллектом. Франсуа Шолле (Francois Chollet) предлагает радикально пересмотреть наши метрики успеха. В его понимании интеллект — это не библиотека готовых решений, а «информационный метаболизм», определяющий, насколько эффективно система преобразует накопленный опыт в гибкие, обобщаемые программы .

Основная проблема текущего этапа развития ИИ заключается в фокусе на «результативности» (skill), которую Шолле противопоставляет интеллекту. Если система демонстрирует выдающиеся успехи в шахматах или распознавании лиц после поглощения терабайтов данных, это говорит о её способности к интерполяции, но не о наличии разума. Интеллект — это именно то, что вы используете, когда сталкиваетесь с задачей, к которой вас не подготовили ни врождённые инстинкты, ни прошлый опыт . Разрыв между тем, что система уже знает, и тем, что ей необходимо сделать для решения новой проблемы, и есть истинное поле измерения интеллектуальной силы .

Критика глубокого обучения: геометрия вместо логики 1:48

Франсуа Шолле выступает одним из самых авторитетных критиков современных методов глубокого обучения, утверждая, что они по своей природе ограничены «геометрическим морфингом» . С математической точки зрения, современные нейросети выполняют серию геометрических преобразований, отображая данные из одного многообразия в другое . Этот процесс работает безупречно только при условии «плотной выборки» (dense sampling) обучающих данных .

Ключевые изъяны этого подхода:

Шолле сравнивает нейросети с «прославленными хеш-таблицами» . Например, чтобы научить модель сортировать числа, глубокому обучению может потребоваться плотная выборка почти каждой возможной перестановки, в то время как человек или классический алгоритм используют всего несколько строк кода, работающих аналитически для любой последовательности .

Концепция ARC: IQ-тест для машин 6:37

Чтобы сдвинуть парадигму от измерения навыков к измерению интеллекта, Франсуа Шолле разработал бенчмарк ARC (Abstraction and Reasoning Corpus). Это своего рода IQ-тест для алгоритмов, который принципиально отличается от стандартных соревнований на Kaggle .

В ARC системе предлагается решить абсолютно новые задачи, используя всего два-три примера . Здесь невозможно «купить» успех за счёт бесконечных вычислительных мощностей или огромных датасетов. Задачи в ARC не генерируются процедурно по единому шаблону, что исключает возможность обратной разработки (reverse engineering) алгоритма генерации. Для их решения требуется способность к синтезу программ — созданию специализированного алгоритма «на лету» для конкретной уникальной ситуации . Ранее в разговоре авторы упоминали, что это требует особого подхода к обобщаемости, который выходит за рамки простой статистической подгонки.

Антропоцентричный интеллект против универсального 7:17

Шолле вступает в полемику с классическими определениями «универсального интеллекта», предложенными Шейном Леггом и Маркусом Хаттером. Он считает идею измерения интеллекта «вообще», в отрыве от носителя и среды, бессмысленной . Вместо этого Франсуа настаивает на антропоцентричном взгляде: ИИ должен оцениваться по тем же критериям, что и человеческий когнитивный аппарат .

В ходе дискуссии участники подчеркивают важность «G-фактора» (общего фактора интеллекта). Исследования показывают, что у людей когнитивные способности коррелируют между собой: если человек хорош в логике, он, скорее всего, будет успешен и в вербальных тестах . Шолле проводит аналогию с физической формой :

  1. Спортивный результат (навык) — это победа в марафоне или жим штанги.
  2. Физическая форма (аналог интеллекта) — это латентная переменная, включающая объем легких, силу мышц и выносливость .

Интеллект подобен этой «форме» — это потенциал, позволяющий быстро приобретать навыки в широком спектре задач. По мнению Шолле, ИИ должен строиться на фундаменте, имитирующем человеческие «априорные знания» о мире (понятия об объектах, пространстве, целях), а не пытаться вывести всё из чистого листа . Наша цель — не создание вселенского разума, а систем, способных работать в человеческом масштабе задач и смыслов.

🧠 Энергоэффективность разума, генеративные химеры и загадка человеческих априори 25:18

Информационная эффективность против грубой силы: уроки AlphaGo 25:58

Дискуссия вокруг природы интеллекта неизбежно упирается в вопрос располагаемых ресурсов. Франсуа Шолле (Francois Chollet) активно отстаивает позицию, согласно которой ключевым критерием подлинного интеллекта является именно информационная эффективность при приобретении новых навыков. С этой точки зрения, классический метод грубой силы (brute-force search) — то есть попытка алгоритма перебрать все возможные сценарии будущего ради выстраивания оптимальной стратегии — выглядит крайне расточительно и не имеет глубинного отношения к гибкому разуму.

В качестве примера участники подкаста рассматривают исторический триумф AlphaGo. С одной стороны, канон знаний о го формировался тысячелетиями усилиями миллионов людей, а алгоритм смог открыть принципиально новые стратегии, которые человечество теперь перенимает. С другой стороны, критики отмечают, что даже в AlphaGo чистый перебор дерева решений был слишком дорогим. Системе пришлось использовать жесткие эвристики, что можно назвать быстрой генерализацией человеко-машинной системы к новой задаче. Тем не менее, позиция Франсуа Шолле (Francois Chollet) непреклонна: если система демонстрирует высокие результаты, но для её обучения потребовался колоссальный, несоизмеримый с человеческим опыт, её нельзя назвать интеллектуальной. Истинная широкая обобщаемость проявляется только тогда, когда агент способен решать новые задачи на основе минимального объема практического опыта.

Системная и разработческая обобщаемость: границы манифолда и кофейный тест 31:27

Чтобы внести методологическую ясность, Франсуа Шолле (Francois Chollet) предлагает четко разделять системную (system-centric) и разработческую (developer-aware) обобщаемость. Системная обобщаемость — это способность модели обрабатывать новые данные (например, тестовые изображения в ImageNet), которые, однако, полностью укладываются в рамки допущений и распределений, изначально заложенных создателем. В этом сценарии влияние предустановленных априорных знаний зачастую игнорируется. Напротив, разработческая обобщаемость требует от системы способности справляться с ситуациями, которые абсолютно новы и для самой модели, и для её разработчика.

Разница между узкой и широкой генерализацией наглядно иллюстрируется знаменитым «кофейным тестом» Стива Возняка, где робот должен войти в любую незнакомую кухню и приготовить чашку кофе. В отличие от фиксированной архитектуры классификаторов, агентное обучение с подкреплением теоретически способно на такую адаптацию. Однако здесь возникает концептуальный тупик: если инженеры создадут идеальный симулятор всех возможных кухонь мира и обучат робота на миллиардах симулированных сценариев, Шолле назовет это лишь триумфом инженерии данных, а не интеллектом. Модель просто «вызубрит» многообразие мира, превратив сложнейшую задачу в подобие игры в крестики-нолики, где обобщение больше не требуется.

Сбор урожая «знакомых незнакомцев»: генеративные модели как катализаторы данных 27:05

Одним из прагматичных путей преодоления жестких границ локального обобщения становится использование генеративных моделей для диверсификации обучающих выборок. В дискуссии упоминается подход Durham GAN, позволяющий буквально «собирать урожай» обобщающей способности генеративно-состязательных сетей для аугментации данных и последующего усиления классификаторов. На примере медицинской диагностики (классификации меланомы) видно, как семантические маски позволяют варьировать освещение, положение новообразования и цвет кожи на снимках.

Это переводит инженеров в плоскость управления факторами неопределенности. Генеративные модели помогают расширить область «знакомых незнакомцев» (known unknowns) — параметров, о существовании которых мы знаем, но чьи конкретные комбинации не представлены в выборке. Собеседники развивают эту мысль еще дальше: создание генеративной модели данных неизбежно привносит структурные априори за счет самой архитектуры генератора. Это позволяет совершить шаг в зону «незнакомых незнакомцев» (unknown unknowns), когда сеть генерирует синтетические паттерны, которые человек никогда бы не догадался спроектировать. В таких проектах, как Generative Teaching Networks (GTN) или «синтетическая чашка Петри», оптимизация генератора приводит к созданию шума, неотличимого для человека от хаоса, но позволяющего классификатору мгновенно обучаться базовым концептам.

Врождённые априори: фундамент мышления или недостижимый Грааль ИИ? 43:10

Центральным элементом архитектуры сильного ИИ Франсуа Шолле (Francois Chollet) считает фундаментальные априорные знания (priors), которые человечество получает не из личного опыта, а в процессе биологической эволюции. Ранее в разговоре они кратко касались концепции теста ARC как попытки измерить скорость усвоения нового опыта, но для этого ИИ необходим стартовый капитал в виде «базовых знаний» (core knowledge). Шолле выделяет несколько типов таких априори:

Особый акцент в подкасте делается на «принципе объектности» — врожденном допущении, что физический мир состоит из локальных, дискретных объектов, имеющих четкие границы и взаимодействующих посредством прямого контакта. Шолле настаивает, что разработчики должны эксплицитно кодировать эти принципы в ИИ, а не пытаться выучить их с нуля.

Однако этот призыв сталкивается с жесткой критикой участников беседы. Попытка вручную, программно описать все эволюционные априори человека выглядит задачей, по сложности эквивалентной созданию самого AGI. Человеческий разум обладает встроенной «бритвой Оккама», заставляющей отдавать предпочтение простым закономерностям (например, интуитивно выбирая формулу $2n - 1$ для ряда чисел 1, 3, 5, 7). Но как формализовать и перенести эту интуицию в код без катастрофического забывания — огромный открытый вопрос. Этот спор плавно подводит нас к математическим попыткам измерить универсальный интеллект, предложенным Шейном Леггом и Маркусом Хаттером через колмогоровскую сложность сред, о чем детально пойдет речь в следующей главе.

🧩 Критика подходов к измерению интеллекта 50:22

В ходе дискуссии вокруг определения интеллекта значительное внимание уделяется критике подхода Легга-Хаттера. Этот метод предлагает оценивать интеллект агента через успех в широком спектре сред, где вознаграждение обратно пропорционально сложности среды, определяемой по Колмогорову. Франсуа Шолле (Francois Chollet) и собеседники указывают на фундаментальные недостатки такой концепции.

Основная претензия заключается в избыточной абстрактности: акцент делается исключительно на сложности самой среды, а не на сложности агента, который её решает. Это приводит к парадоксальным ситуациям, когда система получает более высокий балл за решение простых задач, что не соответствует интуитивному пониманию интеллектуальности. Кроме того, этот подход предполагает наличие функции, вычисляющей кратчайшую программу для описания среды, что делает практическую реализацию такой метрики крайне затруднительной.

Также обсуждалась идея о том, что такая формализация может неявно предполагать определённое распределение сред, однако она упускает из виду критически важный фактор: релевантность этих сред для человека. Даже если среда характеризуется высокой или низкой сложностью, она может не нести никакой полезной нагрузки для человеческой деятельности. Ранее в разговоре они касались проблем определения интеллекта как эффективности обобщения и связанных с этим ограничений глубокого обучения.

🧠 Методология Франсуа Шолле: обобщение и scope 54:33

В противовес абстрактным моделям, Франсуа Шолле (Francois Chollet) предлагает концепцию, в которой интеллект неразрывно связан с набором (scope) конкретных задач. В его формализме интеллект агента пропорционален его способности успешно решать тестовое множество задач на основе ограниченного тренировочного набора, с учетом априорных знаний и предыдущего опыта.

Ключевые отличия подхода Франсуа Шолле (Francois Chollet):

Франсуа Шолле (Francois Chollet) постулирует, что интеллект системы — это функция от области задач и учебного плана (curriculum), где каждый элемент взвешивается по сложности обобщения. Этот подход пытается уйти от «заучивания» тренировочных данных, стремясь к пониманию глубинной структуры задачи.

📈 Проблема данных и эффективности обучения 1:01:53

Важным аспектом дискуссии является различие между низким и высоким уровнем интеллекта через призму «информационного коэффициента преобразования». Системы с более высоким уровнем интеллекта демонстрируют значительно более широкую способность к обобщению в пространстве ситуаций, выходящую за рамки того, что было доступно во время обучения.

Возникает вопрос об эффективности использования данных. Сравнивая методы, подобные разреженным факторным графам (sparse factor graphs), и плотные генеративные модели, собеседники отмечают, что первые могут быть более эффективны с точки зрения данных, тогда как вторые обладают большой мощностью за счет плотной выборки. Франсуа Шолле (Francois Chollet) подчеркивает, что накопление «масштаба» через огромные объемы данных или через жестко закодированные априорные предположения (priors) не является интеллектом в строгом смысле этого слова — это лишь разные пути обхода фундаментальной необходимости гибкого обобщения.

🧩 Парадокс формализации: ARC и поиски AGI 1:15:28

Центральным узлом дискуссии вокруг ARC (Abstraction and Reasoning Corpus) остается глубокий философский и технический вопрос: можно ли прийти к созданию общего интеллекта (AGI), если мы просто формализуем все правила и «приматы», лежащие в основе этого теста? Франсуа Шолле (Francois Chollet) предложил ARC как способ оценки интеллектуальных способностей, однако сама попытка создать «идеальный» тест сталкивается с фундаментальной проблемой неявных допущений.

Ловушка «неявных знаний» 1:15:40

Человеческое восприятие обладает удивительной способностью мгновенно распознавать закономерности, такие как симметрия, даже в контекстах, требующих абстракции. Когда мы смотрим на визуальную задачу, мы «видим» цвета и формы, но для алгоритма, работающего с сырыми данными (например, массивами NumPy), эти цвета — лишь наборы чисел. Проблема заключается в том, что при создании ARC многие человеческие способности, такие как абстрактное восприятие цвета, оказались «вшиты» в задания по умолчанию, без явной фиксации в качестве правил.

Это напоминает сложности в обучении с подкреплением (RL), где агент, играющий в видеоигру, не понимает концепций, кажущихся человеку элементарными — например, что лестница предназначена для перемещения вверх и вниз. В рамках ARC это порождает дискуссию: если мы попытаемся формализовать все эти «человеческие приматы», не превратим ли мы задачу обучения интеллекта в создание классической экспертной системы?

Проблема формализации как тупик AGI 1:23:03

Один из предлагаемых методов решения ARC заключается в создании предметно-ориентированного языка программирования (DSL), который мог бы описывать все возможные задачи. Однако существует серьезное опасение: если вы создадите DSL, способный генерировать все задачи из ARC, вы, по сути, уже решите задачу AGI. Это возвращает нас к определению интеллекта Марвина Мински, который описывал его как способность машин выполнять задачи, требующие интеллекта у людей.

Критики такого подхода указывают на два ключевых риска:

Мираж «чистого» интеллекта 1:38:03

Существует гипотеза, что для объективного измерения интеллекта стоило бы создать «урезанный» ARC — тест всего с парой четко определенных приматов, например, только с непрерывными прямыми линиями. Теоретически, экспертная система могла бы идеально решить такую задачу, перебирая все варианты продолжения линий. Но парадокс заключается в том, что как только мы формализуем условия настолько полно, задача перестает требовать «интеллекта» и становится простой инженерной проблемой.

Ранее в разговоре участники касались общих вопросов обобщаемости и ограничений глубокого обучения как инструмента интерполяции. В контексте ARC это подчеркивает главный конфликт: пытаясь исключить человеческие предубеждения, мы можем обнаружить, что сами задания ARC полны «невысказанных» предположений о том, как устроен мир. Истинный вызов заключается не столько в том, чтобы научить ИИ решать конкретные визуальные головоломки, сколько в понимании того, существуют ли вообще способы измерить интеллект, не опираясь на те самые «человеческие» допущения, которые мы так стараемся формализовать.

🤖 GPT-3 и горизонты контекстного обучения 140:30

Дискуссия о природе глубокого обучения неизбежно приводит к вопросу: являются ли современные нейронные сети чем-то большим, чем просто «хеш-таблицами» огромного размера? Франсуа Шолле (Francois Chollet) часто указывает на то, что глубокое обучение концептуально близко к локально-чувствительному хешированию. В этой парадигме модель лишь интерполирует между уже увиденными точками данных, при условии достаточно плотной выборки в пространстве признаков. Хотя это сравнение может показаться гиперболизированным, оно находит подтверждение в неспособности сетей к экстраполяции даже на простейших задачах, например, при изучении скалярной функции идентичности $f(x) = x$ вне тренировочного диапазона.

В этом контексте обсуждается потенциал таких инструментов, как GPT-3, для решения логических задач. Идея заключается в использовании трансформеров, обученных на обширных библиотеках синтетических головоломок. Цель — развить у моделей навык «in-context» обучения: способность извлекать правила и решать новые логические задачи, опираясь на минимальное количество примеров, предоставленных непосредственно в контексте запроса.

Преодоление барьера «интерполяции» 142:13

Основная проблема современных моделей заключается в их зависимости от «выпуклой оболочки» обучающих данных. Мы не можем вообразить новый цвет или новое слово, так как ограничены интерполяцией между известными нам концептами. Франсуа Шолле (Francois Chollet) и его собеседники отмечают, что экстраполяция в строгом смысле — например, классификация объекта, который радикально отличается от всех примеров в обучающей выборке, — практически невозможна для систем, работающих по принципу статистической интерполяции.

Чтобы выйти за эти рамки, предлагается концепция генераторов пазлов, которые могли бы синтезировать задачи, близкие к формату ARC, для обучения моделей. Однако здесь возникает риск «читерства»: если мы создаем систему, которая просто угадывает намерения разработчика головоломки, не развивая реального интеллекта, мы не приближаемся к решению задачи. Многие эксперты сходятся во мнении, что для настоящего прорыва необходимо внедрение символьных вычислений, которые позволили бы моделям оперировать правилами, а не просто статистическими закономерностями.

Метаобучение и иерархии абстракций

Помимо прямой экстраполяции, ключевым элементом развития интеллекта является метаобучение — способность формировать индуктивное смещение (inductive bias), облегчающее быстрое освоение новых задач из одного семейства. Франсуа Шолле (Francois Chollet) подчеркивает, что интеллект может быть связан с рекурсивными отношениями между уровнями абстракции.

Подобно тому, как человеческое сознание способно к рефлексии (мы можем направлять внимание на собственное внимание), система с подлинным интеллектом должна обладать способностью «схлопывать» уровни абстракции, переходя от локальных навыков к широким обобщениям. В текущем глубоком обучении методы вроде MAML или контрастивного обучения лишь имитируют этот процесс, разделяя параметры между задачами, но они пока не достигают той глубины рекурсии, которая отличает биологический разум.

🚀 Симбиоз человека и машины как новая форма интеллекта 2:25:09

В дискуссиях об искусственном интеллекте часто звучит критический тезис: современные системы — лишь эффективные инструменты для «интерполяции», лишенные подлинного интеллекта. Однако Франсуа Шолле и его коллеги предлагают взглянуть на проблему под другим углом, переосмыслив само понятие «интеллектуального агента». Вместо того чтобы оценивать нейросеть в вакууме, её следует рассматривать как часть симбиотического организма, включающего в себя человека.

С этой точки зрения, например, AlphaGo — это не просто алгоритм, а мощный расширитель возможностей исследовательской команды DeepMind. Генеративная способность этой системы в сочетании с человеческим управлением и направлением формирует нечто большее, чем сумма частей. Это своего рода «интеллектуальный симбиоз», обладающий колоссальной способностью к обобщению, которую невозможно адекватно измерить стандартными психометрическими методами, так как она распределена между биологическим разумом и кремниевым вычислителем.

Эта концепция тесно перекликается с философской идеей «расширенного разума» (extended mind). Подобно тому, как смартфон позволяет человеку мгновенно получать доступ к накопленным знаниям цивилизации, современные AI-системы работают как интеллектуальные протезы. Даже если сам по себе алгоритм не обладает интеллектом в строгом академическом смысле, он делает человека, использующего этот инструмент, «в сто раз умнее» в контексте решения конкретных задач. Это направление развития, по мнению некоторых экспертов, перспективнее, чем попытки создать автономный AGI, поскольку оно не обесценивает человеческий потенциал, а, наоборот, возводит его на новый уровень.

Глубокое обучение: методология как универсальный инструмент 2:17:22

В вопросе о будущем исследований ИИ часто возникает дилемма: стоит ли пытаться закладывать в системы более совершенные «индуктивные смещения» (inductive biases) или проще продолжать масштабировать существующие подходы? Несмотря на то, что текущие методы глубокого обучения (Deep Learning) критикуют за нехватку фундаментального понимания задач (ранее в разговоре они касались проблем «ярлыков» и нехватки данных, а также критики обучения как интерполяции), их практическая ценность неоспорима.

Глубокое обучение признается невероятно эффективным инструментарием, который уже совершил революцию в компьютерном зрении и обработке естественного языка. Сегодняшние большие модели, такие как GPT-3, в значительной степени представляют собой «очень умные таблицы поиска» или машины для сложной интерполяции. И хотя с философской точки зрения их трудно назвать «разумными», их прикладная полезность как новых баз данных, которые можно запрашивать на естественном языке, колоссальна.

🚀 Расширение человеческого разума: истинный путь к суперинтеллекту 2:30:32

Ускорение исследовательских циклов и преодоление избыточности 2:30:45

Современный научно-исследовательский процесс устроен так, что ученые тратят колоссальное количество времени на проверку гипотез, поиск информации и преодоление рутинных препятствий. Внедрение ИИ в качестве когнитивного ассистента способно радикально изменить эту динамику. Вместо того чтобы пытаться создать полностью автономный искусственный общий интеллект (AGI), ключевой прогресс может лежать в плоскости расширения возможностей самого человека. Подкастеры приводят практический пример: исследователь будущего сможет напрямую спросить ИИ-систему о специфических инженерных нюансах, например, разворачивал ли кто-нибудь кластер из двухсот тысяч графических процессоров (GPU) для конкретной задачи.

Возможность мгновенно получать ответы на узкоспециализированные вопросы — скажем, применялся ли метод аугментации данных на дискриминаторе при обучении генеративно-состязательных сетей (GAN) или проводился ли поиск нейроархитектур (NAS) для слоев нормализации — кардинально сократит время проверки гипотез. На текущий момент как отдельные исследователи, так и целые научные коллективы вынуждены тратить недели и месяцы на итерации, которые содержат огромный объем избыточной и дублирующей работы. Инструменты ИИ, выступающие в роли расширения человеческого разума, способны оптимизировать эти циклы, многократно увеличивая скорость и эффективность научной работы. В таком контексте технологии не заменяют человека, а делают его кратно «умнее» и продуктивнее.

Пределы технологического ускорения: сингулярность или насыщение? 2:31:37

Рост эффективности и увеличение темпов генерации новых знаний неизбежно ставят вопрос о существовании физических или концептуальных лимитов этого процесса. Если скорость итераций в научном сообществе продолжит расти благодаря умным технологическим ассистентам, человечество неизбежно приблизится к критической точке. Возникает закономерная дилемма: приведет ли непрерывное увеличение темпов развития к достижению своего рода «второй космической скорости» (escape velocity), которая катапультирует цивилизацию в технологическое будущее и спровоцирует появление полноценного суперинтеллекта? Или же процесс столкнется с естественным насыщением, где возможности для открытия принципиально новых знаний будут исчерпаны?

Несмотря на сложность прогнозирования, оптимистичный взгляд на проблему предполагает, что потенциал для ускорения человечества в обозримом будущем все еще огромен. Даже если долгосрочные сценарии технологической сингулярности остаются предметом дискуссий, текущее поколение исследователей застанет эпоху захватывающего дух роста продуктивности. Истинная эволюция интеллекта в этот период будет происходить не за счет изоляции кремниевых агентов, а через синергетическое масштабирование человеческих возможностей.

Понимание ограничений инструмента как рычаг для эффективного развития 2:32:43

Ранее в разговоре собеседники детально разбирали определение интеллекта как эффективности обобщения, а также касались критики глубокого обучения как метода интерполяции и проблемы нехватки данных. На стыке этих идей формируется трезвый взгляд на современные технологии. Франсуа Шолле (Francois Chollet) последовательно выступает как один из наиболее проницательных и авторитетных критиков слепой веры в глубокое обучение. В его фундаментальной книге «Глубокое обучение на Python» целая глава посвящена жестким ограничениям современных нейросетевых архитектур. Многие из этих тезисов ученый сформулировал еще годы назад, продолжая развивать их и сегодня.

Однако критика со стороны Франсуа Шолле (Francois Chollet) направлена вовсе не на отрицание полезности глубокого обучения как инструмента. Напротив, его позиция заключается в том, что огромная часть сообщества до сих пор не понимает фундаментальных лимитов используемых технологий. Четкое и осознанное понимание того, где именно заканчиваются возможности интерполяции данных и начинаются требования к истинному абстрактному мышлению, позволяет использовать существующие модели гораздо более точечно и эффективно. Именно через осознание ограничений инструментов человечество способно создавать более совершенные гибридные системы, которые расширяют когнитивный потенциал человека и двигают науку вперед без ложных иллюзий о скором создании автономного AGI.

💬 Цитаты

«Интеллект — это эффективность, с которой вы превращаете опыт в обобщаемые программы.»

Франсуа Шолле 00:17

«Глубокое обучение — это геометрическое морфирование... там нет экстраполяции, нет экстремального обобщения.»

Франсуа Шолле 02:01

«Интеллект агента пропорционален его способности успешно решать тестовое множество задач на основе ограниченного тренировочного набора»

Франсуа Шолле 54:48

«Если бы мы могли полностью формализовать правила и приматы для ARC, мы бы автоматически решили задачу создания общего интеллекта.»

Франсуа Шолле 1:16:31

«С телефоном я в сто раз умнее, чем без него. Значит ли это, что я не более разумен, чем до телефона?»

👥 Спикеры
📚 Упомянутые книги
📖 Термины
ARC-челлендж
Benchmark для оценки ИИ, основанный на способности решать абстрактные задачи по минимальному количеству примеров.
Системная обобщаемость
Способность модели обобщать данные в рамках заранее заданного разработчиком манифолда.
Принцип объектности
Врожденное эволюционное допущение человеческого разума о том, что мир состоит из объектов, определяющее границы восприятия.
Искусственный интеллект Франсуа Шолле ARC-челлендж Глубокое обучение AGI Информационная эффективность