Мыслит ли ChatGPT? Взгляд когнитивной нейробиологии 0:38
Способен ли искусственный интеллект к реальному мышлению, или он лишь мастерски имитирует человеческую речь? В этом эпизоде подкаста The TWIML AI Podcast ведущий Сэм Черрингтон беседует с Анной Ивановой, постдокторским исследователем в MIT Quest for Intelligence, чтобы обсудить, как методы когнитивной нейробиологии позволяют оценить глубину «интеллекта» больших языковых моделей (LLM), таких как ChatGPT.
Нейробиология и границы машинного обучения 1:04
Анна Иванова, чья научная деятельность до недавнего времени была сфокусирована на изучении связи языка и мышления у человека с помощью функциональной МРТ, перенесла свой опыт в сферу нейросетей. Основная цель её исследований — понять, насколько внутренние процессы моделей напоминают работу человеческого мозга и «думает» ли ChatGPT в привычном нам смысле.
Для оценки способностей моделей исследователи используют два подхода:
- Поведенческий анализ: Подобно тому, как нейробиологи тестируют людей, учёные анализируют ответы моделей на различные задачи. Например, можно проверить, отдает ли модель предпочтение грамматически верным конструкциям перед неверными, оценивая вероятность генерации того или иного предложения.
- Сравнение активаций: Исследователи находят соответствие между активностью мозга человека при обработке предложений и векторами (эмбеддингами), которые генерируют нейросети.
Иванова отмечает, что современные модели уже демонстрируют поразительное сходство с мозгом, что позволяет даже прогнозировать активность нейронов в ответ на новые фразы, не прибегая к сканированию человека в каждом эксперименте.
Формальная против функциональной компетенции 6:42
В своей работе Иванова и её коллеги проводят четкую границу между двумя типами навыков:
- Формальная лингвистическая компетенция: Способность модели использовать язык, следовать правилам грамматики и понимать закономерности сочетаемости слов. ChatGPT и его предшественники достигли здесь колоссальных успехов, что было подтверждено анализом их способности «обучаться» грамматике из больших массивов текста.
- Функциональная лингвистическая компетенция: Способность применять знания для решения задач в реальном мире, понимать намерения собеседника и обладать базовыми знаниями о физическом мире.
По мнению гостьи, модели всё ещё сильно отстают в функциональной компетенции. У человека наличие интенции (намерения) — это база общения, тогда как модели лишь имитируют паттерны, увиденные в тренировочных данных, не имея при этом цели.
Проблема здравого смысла и «ошибки репортера» 16:45
Одним из критических вопросов является «здравый смысл» (World Knowledge). Существует дискуссия: достаточно ли только текста для формирования картины мира, или необходимо визуальное восприятие?
Анна Иванова подчеркивает проблему «ошибки репортера» (reporter bias): тексты в интернете содержат информацию преимущественно о необычных событиях.
- Мы обсуждаем, что банан фиолетовый, потому что это редкость, но редко пишем о том, что колеса круглые.
- В результате модели часто не усваивают элементарные факты о физическом мире, которые очевидны любому человеку.
Иванова полагает, что масштабирование данных не решит эту проблему. Для настоящего прорыва системам, подобно человеку, необходимо строить «ситуационные модели» (situation modeling) — абстрактные схемы сущностей и связей, которые позволяют заполнять пробелы в знаниях.
Человеческий фактор и будущее ИИ 31:35
Почему же ChatGPT так сильно захватывает воображение людей? По мнению Ивановой, это происходит из-за того, что мы автоматически переносим наши человеческие ожидания на машину. Когда модель пишет «я грущу», мы подсознательно начинаем моделировать «состояние» собеседника, приписывая ему чувства.
Иванова призывает к осторожности: нельзя использовать слова модели как доказательство её сознания. Тем не менее, она с оптимизмом смотрит на интеграцию когнитивистики и ИИ. В будущем она планирует разработку новых бенчмарков, которые будут систематически проверять модели на понимание фундаментальных физических и психологических концепций.
