На пути к синтезу: интеллект, семантика и природа нейронных сетей 2:54
В рамках выпуска подкаста Machine Learning Street Talk ведущий Тим и профессор Эдвард Грефенстетт обсудили глубокие философские вопросы, стоящие за современными языковыми моделями (LLM). Дискуссия охватила природу семантики, проблему «черного ящика» (или «швейцарского сыра»), а также фундаментальные различия между человеческим обучением и работой алгоритмов. Основная идея, проходящая красной нитью через разговор — необходимость выхода инженерной дисциплины ИИ за рамки чистого программирования в сторону междисциплинарного синтеза с философией и когнитивистикой.
Семантика и прагматика: борьба интерпретаций 3:06
Один из центральных вопросов — как монолитные нейросетевые модели могут справляться с «дифференциальной семантикой», где значения зависят от контекста, идеологии или мировоззрения. В качестве примера Эдвард Грефенстетт предложил концепцию «зла». По словам ведущего, люди правого политического спектра часто воспринимают «зло» как моральный реалист, склонный к оценке индивидуальной ответственности, тогда как левые предпочитают прагматический, ситуативный подход.
- Позиция Грефенстетта: Он полагает, что такие понятия являются «лингвистическими фикциями». Модели просто захватывают способы использования этих выражений, свойственные различным группам людей.
- Сравнение с человеком: По мнению гостя, языковые модели по сути делают то же самое, что и люди, когда пытаются осмыслить подобные концепты — они оперируют статистикой использования языка, а не мистическим «пониманием».
Грефенстетт выразил солидарность с витгенштейнианским подходом: смысл языка заключается прежде всего в его прагматике и использовании, а не в попытке указать на абстрактные «объекты» в реальности.
Новизна концептов и пределы моделирования 7:04
Обсуждая способность моделей генерировать что-то по-настоящему новое, участники затронули книгу Криса Саммерфилда (Chris Summerfield) и теорию знаков Пирса (iconic, indexical, symbolic).
- Проблема сурприза: Грефенстетт считает, что истинный тест для ИИ — способность коммуникации новых концептов, которые не просто имитируют человеческую речь, а несут прагматическую ценность и удивляют ученых.
- Гипотеза о коде: Гость прокомментировал идею Йоава Голдберга (Yoav Goldberg) о том, почему обучение на коде помогает моделям лучше понимать естественный язык. По мнению Грефенстетта, код предлагает не только строгие зависимости, но и «отражаемую компоненту» — семантику, которую можно верифицировать путем исполнения программы, что переносится на понимание естественного языка.
RLHF и архитектурные дилеммы 22:29
Вокруг обучения с подкреплением на основе отзывов людей (RLHF) развернулась оживленная дискуссия. Грефенстетт признался в определенном скепсисе относительно того, не слишком ли рано индустрия бросилась использовать этот класс методов.
- Риски «усреднения»: Оба собеседника согласились, что неквалифицированный подбор аннотаторов ведет к деградации моделей — они начинают выдавать шаблонные, «усредненные» ответы, теряя нюансы (например, в написании стихов).
- Альтернатива: Грефенстетт считает, что более масштабируемым и стабильным сигналом может быть использование предпочтений в стиле Anthropic (логит-отношение вероятностей), что оставляет больше пространства для маневра, чем жесткое RLHF.
Проблема «швейцарского сыра» и Retrieval-Augmented Generation 31:54
Ведущий поднял проблему «швейцарского сыра»: нейросети могут внезапно оказываться в «пустотах» своего весового пространства, где они начинают галлюцинировать, при этом уверенно демонстрируя экспертное поведение.
- Решение: Грефенстетт видит выход в гибридных системах. Работы Патрика Льюиса (Patrick Lewis) по Retrieval-Augmented Generation (RAG) являются вдохновляющими, так как они позволяют системе опираться на внешние источники.
- Эпистемическая верификация: Даже если модель ошибается, наличие ссылки на источник позволяет человеку проследить логику (или ее отсутствие), что дает критически важную «эпистемическую базу» для понимания того, что пошло не так.
Свобода воли и природа интеллекта 37:05
В завершающей части интервью участники коснулись природы человеческого сознания и агентности. Грефенстетт подтвердил свою позицию физикалиста: он не верит в «душу» и считает, что интеллект — это вопрос масштаба и сложности системы.
- Концепт «агентности»: По словам гостя, обсуждение «ответственности» или «свободы воли» — это полезный социальный конструкт, удобный способ описания сложных динамических систем, которыми мы являемся.
- Эволюция навыков: Гость отметил важность адаптивности. В то время как специализированые системы (как шахматные движки) могут превосходить человека в узких доменах, развитие «общего» интеллекта требует понимания механизмов, которые позволяют младенцам или животным адаптироваться к изменяющемуся миру без предварительного обучения на огромных корпусах текстов.
