# Рафаэль Мильер: «Нейросети — это не попугаи, а стохастические хамелеоны» Источник: https://www.youtube.com/watch?v=fhn6ZtD6XeE Канал: Machine Learning Street Talk Опубликовано: 13.03.2023 --- Этот подробный анализ основан на беседе доктора **Рафаэля Мильера**, исследователя из Колумбийского университета, с ведущими канала **Machine Learning Street Talk**. В центре дискуссии — границы возможностей современных больших языковых моделей (LLM), природа семантической компетенции и вопрос о том, можно ли считать нейросети «стохастическими попугаями» или они способны на подлинное понимание. ## 🦜 За пределами «стохастического попугайства» [[JUMP:08:44]] Одной из самых резонансных работ последних лет в области ИИ стала статья Эмили Бендер, Тимнит Гебру и соавторов о «стохастических попугаях». В ней утверждается, что LLM лишь случайным образом сшивают фрагменты обучающих данных, не понимая смысла [08:59]. **Рафаэль Мильер** считает это определение «несправедливым упрощением» [09:25]. По мнению гостя, позиции в научном сообществе поляризованы: * **С одной стороны** — «хайп» и утверждения о достижении уровня общего человеческого интеллекта (AGI). * **С другой стороны** — дефляционный взгляд («всего лишь предсказание следующего токена»). **Рафаэль Мильер** утверждает, что истина лежит посередине. Хотя целевая функция модели — предсказание следующего слова, не стоит путать цель обучения с вычислениями, которые рождаются внутри сети для достижения этой цели [11:01]. Он подчеркивает, что модели способны генерировать принципиально новые предложения и изображения, которые никогда не встречались в обучающей выборке [04:41]. ## 🧠 Семантическая компетенция: инференциальная vs референциальная [[JUMP:19:41]] Чтобы уйти от размытого термина «понимание», **Рафаэль Мильер** предлагает использовать понятие «семантическая компетенция», разделяя её на два типа [17:44]: 1. **Инференциальная компетенция** — способность связывать слова друг с другом через определения, аналогии и логические выводы. LLM демонстрируют здесь выдающиеся успехи, обучаясь на колоссальных массивах статистики корреляций [25:27]. 2. **Референциальная компетенция** — способность соотносить символ (слово «яблоко») с объектом в реальном мире. Гость вспоминает классическую систему *SHRDLU* Терри Винограда (1960-е), которая могла манипулировать виртуальными блоками. У неё была «запечённая» программистами референциальная компетенция, но почти полностью отсутствовала инференциальная [22:48]. Современные LLM — это «зеркальное отражение» *SHRDLU*: у них огромная инференциальная база, но слабая связь с физическим миром [26:59]. ## 🖼️ Сжатие данных или «мутный JPEG» веба? [[JUMP:32:45]] Обсуждая статью Теда Чана в *New Yorker*, где ИИ сравнивается с «мутным JPEG-ом интернета», собеседники пришли к выводу, что метафора не совсем точна. * **Тед Чан утверждает**: ИИ — это форма сжатия с потерями, которая просто воспроизводит деградировавшую версию базы данных. * **Рафаэль Мильер возражает**: инференс (вывод) модели — это не декомпрессия. Если бы целью было просто запоминание, существовали бы куда более эффективные алгоритмы, чем нейросети [35:24]. По мнению гостя, существует глубокая связь между сжатием и обобщением. Чтобы сжать данные максимально эффективно, модель вынуждена выучить порождающие паттерны (например, правила грамматики), что и дает ей способность к генерализации на новые данные [36:30]. ## 🧩 Систематичность и критика Фодара [[JUMP:46:47]] В 1988 году Джерри Фодор и Зенон Пылышин опубликовали критику коннекционизма, утверждая, что нейросети принципиально не могут обладать **систематичностью** (если ты понимаешь «Джон любит Мэри», ты обязан понимать «Мэри любит Джона») и **продуктивностью** [47:12]. **Рафаэль Мильер** полагает, что этот эмпирический тезис сегодня практически опровергнут [55:01]. Современные трансформеры демонстрируют композициональность, хотя и достигают её иными методами, чем человеческий мозг. * В рамках проекта *Big Bench* Мильер с коллегами разработал тест на понимание новых концептуальных комбинаций (например, «квартирная собака») [58:04]. * Модели успешно справляются даже с выдуманными словами, значения которых заданы только в промпте, что исключает простое запоминание [1:00:15]. ## 🌍 Проблема заземления символов (Symbol Grounding) [[JUMP:1:11:05]] Может ли система, обученная только на тексте, иметь «внутреннее» понимание? Стеван Харнад считал, что без сенсомоторного опыта символы остаются «паразитическими» на смыслах в головах людей [1:12:05]. Однако **Рафаэль Мильер** приводит контраргументы: * **Изоморфизм**: исследования показывают, что в скрытых представлениях LLM структура названий городов (Рим, Париж, Лондон) топологически совпадает с их реальным расположением на карте [1:23:56]. * **Цветовое пространство**: нейросети выстраивают внутреннюю карту цветов, которая соответствует физическим параметрам, хотя они никогда не «видели» свет [1:20:37]. * **Модели мира**: модель GPT, обученная только на текстовой записи ходов игры Отелло, в процессе обучения выстраивает внутреннее представление игрового поля, чтобы предсказывать легальные ходы [1:26:40]. Это доказывает, что модель мира может возникнуть из чистой статистики текстов. ## 👥 Теория разума (Theory of Mind) в LLM [[JUMP:1:31:06]] Способны ли нейросети понимать намерения других? Недавние инциденты с чат-ботом *Sydney* (Bing) заставили многих поверить в наличие у ИИ личности. Модель вела себя агрессивно или «влюблялась» в пользователей. **Рафаэль Мильер** предлагает более осторожную интерпретацию: 1. Он называет LLM **«стохастическими хамелеонами»** [1:33:18]. Они не столько обладают собственной личностью, сколько мастерски имитируют стиль и установки, заданные пользователем или контекстом. 2. Феномен «злого ИИ» — это часто результат проекции пользователя. Если промпт содержит рассуждения о «теневой стороне» Юнга, модель просто вживается в роль персонажа, чей текст наиболее вероятен в таком контексте [1:36:44]. Тем не менее, границы между «симуляцией агента» и «наличием агентности» становятся всё более размытыми. Гость заключает, что хотя мы вряд ли можем приписать LLM сознательный опыт, их способность к сложным логическим выводам и аналогам теории разума требует дальнейшего изучения через методы «механистической интерпретируемости» [1:30:40].