Профессор когнитивной нейробиологии Оксфордского университета и штатный научный сотрудник DeepMind Крис Саммерфилд в интервью для Machine Learning Street Talk представляет глубокий анализ природы интеллекта. Объединяя биологические инсайты с теорией машинного обучения, он исследует, почему современные ИИ-системы, несмотря на их мощь, всё еще сталкиваются с фундаментальными пробелами в понимании реальности.
👽 Мышление против Знания: урок инопланетянина 0:00
Крис Саммерфилд начинает обсуждение с мысленного эксперимента: что, если бы вам пришлось объяснять всё, что вы знаете, инопланетянину с другой планеты? . Этот пример подчеркивает разницу между двумя подходами к интеллекту: ориентированными на «мышление» (процессы обработки) и на «знание» (содержимое и структуру памяти).
По мнению профессора, революция глубокого обучения была подпитана скрытой предпосылкой о том, что для создания интеллектуальных систем знание столь же важно (или даже важнее), чем само мышление . Нейронные сети стали прорывом, потому что они научились не просто «думать», а заземлять и представлять знания о мире через настраиваемые веса, которые находят сходства и абстрактные отношения в данных .
Ключевые тезисы о структуре знаний:
- Информационная емкость человеческого мозга теоретически огромна ($2^n$), но из-за принципов обучения Хебба реальная емкость может быть ниже .
- Объем знаний вторичен по отношению к их структуре. Профессор приводит пример гипермнезиков — людей с феноменальной памятью, для которых это состояние часто становится изнурительным, так как отсутствие структуры мешает им использовать память для понимания мира или сдачи экзаменов .
- Абстракция, по словам Криса Саммерфилда, — это представление, выходящее за рамки физических свойств данных. Одна из ведущих теорий в нейронауке предполагает, что абстракции заземлены в пространстве и действиях .
🧠 Загадка общей гениальности: случай Джона фон Неймана 6:03
История Джона фон Неймана, вундеркинда из Будапешта, служит для профессора эталоном универсального интеллекта. В 8 лет он освоил исчисление, в 19 — опубликовал теорию ординалов, а позже внес вклад в теорию игр и квантовую физику . Однако попытки формализовать такую «универсальность» (AGI) сталкиваются с трудностями.
Проблемы определения общего интеллекта:
- Антропоцентризм: Наше понимание интеллекта основано на человеческой гибкости и способности справляться с разнообразными задачами .
- Определение Шейна Легга (2007): Интеллект как способность агента достигать целей в широком диапазоне сред .
- Закон Гудхарта: Крис Саммерфилд напоминает, что когда мера (тест) становится целью, она перестает быть хорошей мерой. Если мы создадим фиксированный набор тестов для AGI, исследователи сосредоточатся на «взломе» именно этих тестов, а не на реальной универсальности .
📊 Ловушка IQ: культурная предвзятость и «положительное многообразие» 10:46
В психологии ведутся споры между сторонниками «G-фактора» Чарльза Спирмена (единый фактор интеллекта) и теорией множественного интеллекта Говарда Гарднера . Профессор Саммерфилд критикует традиционные тесты на IQ, называя их «зеркалом теоретических предубеждений их создателей» .
Аргументы против универсальности стандартных тестов:
- Культурный контекст: Тесты разработаны людьми из WEIRD-обществ (западных, образованных, промышленно развитых, богатых и демократических) .
- Скрытые таланты: Дети в Кении обладают глубокими знаниями о лекарственных растениях, а дети в Бразилии (город Ресифи) мастерски проводят сложные расчеты в уме, торгуя на улице, но проваливают школьные тесты по математике .
- Контекстуальность: Интеллект часто проявляется в повседневных задачах, которые игнорируются формальными тестами.
🧀 Эффект «Швейцарского сыра» в искусственном интеллекте 15:38
Профессор вводит метафору «швейцарского сыра» для описания современных нейросетей: они демонстрируют сверхчеловеческую производительность в одних областях, но имеют катастрофические «дыры» в других .
Примеры «дыр» в ИИ:
- AlphaGo: В матче против Ли Седоля система в одной из пяти игр впадала в состояние, которое разработчики из DeepMind (Дэвид Сильвер) назвали «иллюзией» — глубокое непонимание позиции, длящееся десятки ходов .
- Adversarial attacks: Возможность обмануть сеть, заставив её принять школьный автобус за страуса с помощью минимальных искажений пикселей .
- Ошибки GPT-3: Известный пример Гэри Маркуса, где модель на вопрос о смешивании соков ответила: «Вы выпили это и теперь мертвы» .
⚔️ «Горький урок» и спор о «чистоте» (Neats vs. Scruffies) 21:48
Крис Саммерфилд анализирует знаменитый пост Ричарда Саттона «Горький урок» (The Bitter Lesson). Саттон утверждает, что попытки заложить в ИИ человеческие знания о пространстве или объектах контрпродуктивны — в долгосрочной перспективе всегда побеждают общие методы, использующие огромные вычислительные мощности .
Профессор делит исследователей на две группы (по классификации Роджера Шенка 1970-х):
- Neats («Чистюли»): Ищут минималистичные, математически доказуемые решения и элегантные алгоритмы (например, символьный ИИ или чистые методы поиска) .
- Scruffies («Неряхи»): Считают интеллект набором разрозненных «хаков» и механизмов, работающих с гетерогенным миром. Крис Саммерфилд относит себя именно к этой группе .
Контраргументы Саммерфилда против чисто вычислительного подхода:
- Hardware Lottery: Возможности системы часто определяются доступным «железом», а не только алгоритмом .
- Важность человеческих данных: Успех ChatGPT обусловлен не только масштабом, но и тонкой настройкой на основе человеческих предпочтений (RLHF) .
- Ограниченность среды: Методы AlphaZero работают в детерминированных играх с нулевой суммой, но реальный мир не подчиняется таким правилам .
🍎 Критика гипотезы «Вознаграждения достаточно» 1:02:54
Популярная в DeepMind гипотеза «Reward is Enough» предполагает, что интеллект можно свести к максимизации вознаграждения в рамках марковского процесса принятия решений (MDP). Саммерфилд выражает скепсис .
Его возражения:
- Экзогенность vs Эндогенность: В ИИ награду дает исследователь («голос с неба»). В биологии награда (удовольствие от яблока) генерируется самим агентом внутри него .
- Проблема взлома: Если дать агенту полную свободу генерировать свои награды, он просто признает всё вознаграждением и перестанет развиваться. Биологических агентов сдерживает инстинкт выживания .
- Отсутствие «аннотатора» в реальности: В мире нет вселенского судьи, который выставляет баллы за каждое действие человека .
📚 Понимание как социальная игра в «Шарады» 1:21:48
Обсуждая природу понимания, Саммерфилд ссылается на философию и лингвистику. Он противопоставляет взгляд Хомского (язык как кодификация реальности) социальному взгляду на язык как на инструмент конструирования общих смыслов .
По мнению профессора, мы должны воспринимать язык не как систему поиска истины, а как игру в «шарады» (метафора из книги Ника Чейтера и Мортона Кристиансена «The Language Game») . В этой модели понимание возникает из способности ментально моделировать собеседника и адаптировать свои сигналы под его убеждения и предпочтения .
В завершение Крис Саммерфилд подчеркивает: если мы хотим построить системы, которые будут нам полезны, мы не можем игнорировать биологическое и социальное измерение интеллекта. Истинный прогресс в AGI лежит не только в «штурме вычислительных небес», но и в глубоком понимании того, как люди создают смыслы .
