Коннор Лихи: «Действительно умное существо вело бы обычную жизнь, а не захватывало мир»

Machine Learning Street Talk 12,5 тыс. 1 ч 7 мин 4 мин 14.01.2024
Главное

В этой беседе Тим Скэборн и Коннор Лихи обсуждают природу сознания и интеллекта, подвергая сомнению популярные концепции «чистого разума» и индивидуальной гениальности. Разговор затрагивает актуальные споры вокруг теории интегрированной информации (IIT), эволюционную роль самомоделирования и фундаментальные различия между предсказательными моделями и подлинным пониманием.

🧠 Спор об интегрированной информации и границы науки 0:57

Обсуждение начинается с недавнего открытого письма, в котором группа учёных назвала теорию интегрированной информации (IIT) «псевдонаукой». По мнению Коннора Лихи, такая реакция была предсказуемой и во многом ответной . Он считает, что авторы исследования IIT оставили слишком много «пространства для маневра» в дизайне эксперимента, что вызвало критику.

Лихи выделяет несколько аспектов этого научного конфликта:

Тим Скэборн ставит вопрос о том, где проходит четкая граница между «настоящей» наукой и чем-то иным. Лихи утверждает, что наличие инструментов (как в случае с френологией) ещё не делает дисциплину наукой . По его словам, суть науки заключается в измерении инвариантов и способности этих инвариантов обеспечивать предсказуемость . При этом он защищает качественные методы и феноменологию, считая, что они могут быть источником данных, если интерпретируются систематически .

🤖 Модели языка против теории языка 8:52

Собеседники обсуждают критику Ноама Хомского в адрес больших языковых моделей (LLM). Хомский утверждает, что LLM не являются теорией языка, так как они могут «распознавать» даже чистый шум .

Коннор Лихи соглашается с тем, что язык — это не просто способ передачи семантики, а механизм, заякоренный в ожидаемых результатах и общих референтах . По его мнению:

  1. Отсутствие конвергенции: Языковые модели не всегда сходятся с людьми в том, что именно они имеют в виду под конкретными понятиями (например, «синяя бабочка») .
  2. Относительность: Определение того, чем является вещь, всегда относительно перспективы, которая её ограничивает .
  3. Связь мышления и языка: Лихи и Скэборн спорят, эволюционировал ли язык как средство коммуникации или как механизм мышления. Лихи предполагает, что на глубоком уровне эти функции неразделимы .

Тим Скэборн добавляет, что язык содержит в себе «когнитивные примитивы» и культурные мемы, которые передаются из поколения в поколение и помогают программистам распознавать паттерны в софте . Лихи в ответ замечает, что слова — это лишь «надежные промежуточные кластеры», а язык в широком смысле (включая жесты) есть и у животных .

🎯 Что такое интеллект: миф о «чистом разуме» 18:21

Коннор Лихи предлагает функциональное определение интеллекта: это способность вычислять как можно больше путей между двумя точками и точно достигать цели .

Ключевые тезисы Лихи об интеллекте:

Обсуждая риски ИИ (X-risk), Лихи оспаривает мнение о том, что сверхразум обязательно будет стремиться к захвату власти . По его мнению, по-настоящему разумное существо, способное просчитать последствия на тысячи лет вперед, скорее всего, обнаружит, что оно уже находится на пути минимизации свободной энергии, и будет вести «очень нормальную жизнь» .

👁️ Феноменология и самомоделирование 38:06

Тим Скэборн спрашивает о роли феноменального опыта (квалиа) для агента. Лихи утверждает, что феноменология заставляет агента обрабатывать информацию с учетом определенных ограничений .

Зачем агенту нужно «чувствовать»? По словам Лихи:

Разбирая вопрос о «теории разума» (Theory of Mind) у ИИ, Лихи высказывает скепсис. Он считает, что хотя модели могут выдавать результаты, имитирующие понимание чужих состояний, они не могут осознанно корректировать свою каузальную модель так, как это делает человек .

🛡️ Устойчивость, избыточность и дегенерация 56:32

В финальной части беседы участники обсуждают устойчивость (resilience) коллективного интеллекта. Лихи определяет устойчивость как способность системы либо возвращаться в исходное состояние после возмущения («эффект резиновой чашки»), либо учиться и становиться лучше .

Он вводит важное различие между двумя типами сложности в системе:

  1. Редундантность (Избыточность): Это «бесполезная сложность», когда несколько элементов делают одно и то же, не выполняя никаких других функций .
  2. Дегенерация: Когда элементы системы могут выполнять одну и ту же функцию, но при этом способны и на разные другие действия (как две руки человека, которые могут вместе играть на пианино, но каждая способна на уникальные жесты) .

По мнению Лихи, системы-группы устойчивы, потому что они обладают «ядром инерции» и при этом имеют «эластичные структуры», способные обучаться . Он подчеркивает, что поддержание «неправильных» или лишних политик поведения стоит энергии. Системы, которые не умеют вовремя «отсекать лишнее» (как люди с патологическим накопительством), погибают быстрее .

💬 Цитаты

«Интеллект — это способность вывести как можно больше путей между двумя точками.»

Коннор Лихи 18:26

«Я думаю, что миф о гении — это именно миф. Интеллект — это функция группы, а не индивида.»

Коннор Лихи 30:10

«Называть целую область псевдонаукой не помогает... это разрушает то, чему люди отдали свои жизни.»

Коннор Лихи 02:19
👥 Спикеры
📚 Упомянутые книги
🔗 Упомянутые сайты и проекты
📖 Термины
IIT (Integrated Information Theory)
Теория интегрированной информации, пытающаяся математически измерить уровень сознания в системе.
Марковский одеяло (Markov Blanket)
Понятие из статистики и физики, описывающее границу, отделяющую внутренние состояния системы от внешних.
Дегенерация (в системной биологии)
Способность разных структур выполнять одну и ту же функцию в определенных условиях.
Свободная энергия (по Фристону)
Информационный показатель, который самоорганизующиеся системы стремятся минимизировать для поддержания своей целостности.
📊 Цифры
⚖️ Другая сторона
Искусственный интеллект Integrated Information Theory Karl Friston VERSES Collective Intelligence Connor Leahy