# Эдвард Грефенстетт о семантике, ИИ и философии Источник: https://www.youtube.com/watch?v=i9VPPmQn9HQ Канал: Machine Learning Street Talk Опубликовано: 11.02.2023 --- ## На пути к синтезу: интеллект, семантика и природа нейронных сетей [[JUMP:02:54]] В рамках выпуска подкаста Machine Learning Street Talk ведущий Тим и профессор Эдвард Грефенстетт обсудили глубокие философские вопросы, стоящие за современными языковыми моделями (LLM). Дискуссия охватила природу семантики, проблему «черного ящика» (или «швейцарского сыра»), а также фундаментальные различия между человеческим обучением и работой алгоритмов. Основная идея, проходящая красной нитью через разговор — необходимость выхода инженерной дисциплины ИИ за рамки чистого программирования в сторону междисциплинарного синтеза с философией и когнитивистикой. ### Семантика и прагматика: борьба интерпретаций [[JUMP:03:06]] Один из центральных вопросов — как монолитные нейросетевые модели могут справляться с «дифференциальной семантикой», где значения зависят от контекста, идеологии или мировоззрения. В качестве примера Эдвард Грефенстетт предложил концепцию «зла». По словам ведущего, люди правого политического спектра часто воспринимают «зло» как моральный реалист, склонный к оценке индивидуальной ответственности, тогда как левые предпочитают прагматический, ситуативный подход. * **Позиция Грефенстетта:** Он полагает, что такие понятия являются «лингвистическими фикциями». Модели просто захватывают способы использования этих выражений, свойственные различным группам людей. * **Сравнение с человеком:** По мнению гостя, языковые модели по сути делают то же самое, что и люди, когда пытаются осмыслить подобные концепты — они оперируют статистикой использования языка, а не мистическим «пониманием». Грефенстетт выразил солидарность с витгенштейнианским подходом: смысл языка заключается прежде всего в его прагматике и использовании, а не в попытке указать на абстрактные «объекты» в реальности. ### Новизна концептов и пределы моделирования [[JUMP:07:04]] Обсуждая способность моделей генерировать что-то по-настоящему новое, участники затронули книгу Криса Саммерфилда (Chris Summerfield) и теорию знаков Пирса (iconic, indexical, symbolic). * **Проблема сурприза:** Грефенстетт считает, что истинный тест для ИИ — способность коммуникации новых концептов, которые не просто имитируют человеческую речь, а несут прагматическую ценность и удивляют ученых. * **Гипотеза о коде:** Гость прокомментировал идею Йоава Голдберга (Yoav Goldberg) о том, почему обучение на коде помогает моделям лучше понимать естественный язык. По мнению Грефенстетта, код предлагает не только строгие зависимости, но и «отражаемую компоненту» — семантику, которую можно верифицировать путем исполнения программы, что переносится на понимание естественного языка. ### RLHF и архитектурные дилеммы [[JUMP:22:29]] Вокруг обучения с подкреплением на основе отзывов людей (RLHF) развернулась оживленная дискуссия. Грефенстетт признался в определенном скепсисе относительно того, не слишком ли рано индустрия бросилась использовать этот класс методов. * **Риски «усреднения»:** Оба собеседника согласились, что неквалифицированный подбор аннотаторов ведет к деградации моделей — они начинают выдавать шаблонные, «усредненные» ответы, теряя нюансы (например, в написании стихов). * **Альтернатива:** Грефенстетт считает, что более масштабируемым и стабильным сигналом может быть использование предпочтений в стиле Anthropic (логит-отношение вероятностей), что оставляет больше пространства для маневра, чем жесткое RLHF. ### Проблема «швейцарского сыра» и Retrieval-Augmented Generation [[JUMP:31:54]] Ведущий поднял проблему «швейцарского сыра»: нейросети могут внезапно оказываться в «пустотах» своего весового пространства, где они начинают галлюцинировать, при этом уверенно демонстрируя экспертное поведение. * **Решение:** Грефенстетт видит выход в гибридных системах. Работы Патрика Льюиса (Patrick Lewis) по Retrieval-Augmented Generation (RAG) являются вдохновляющими, так как они позволяют системе опираться на внешние источники. * **Эпистемическая верификация:** Даже если модель ошибается, наличие ссылки на источник позволяет человеку проследить логику (или ее отсутствие), что дает критически важную «эпистемическую базу» для понимания того, что пошло не так. ### Свобода воли и природа интеллекта [[JUMP:37:05]] В завершающей части интервью участники коснулись природы человеческого сознания и агентности. Грефенстетт подтвердил свою позицию физикалиста: он не верит в «душу» и считает, что интеллект — это вопрос масштаба и сложности системы. * **Концепт «агентности»:** По словам гостя, обсуждение «ответственности» или «свободы воли» — это полезный социальный конструкт, удобный способ описания сложных динамических систем, которыми мы являемся. * **Эволюция навыков:** Гость отметил важность адаптивности. В то время как специализированые системы (как шахматные движки) могут превосходить человека в узких доменах, развитие «общего» интеллекта требует понимания механизмов, которые позволяют младенцам или животным адаптироваться к изменяющемуся миру без предварительного обучения на огромных корпусах текстов.