# Самир Сингх об итогах года в NLP: «Мы находимся на этапе фундаментального самоанализа» Источник: https://www.youtube.com/watch?v=VkFLjmdTBxA Канал: The TWIML AI Podcast Опубликовано: 01.02.2021 --- Обработка естественного языка (NLP) переживает период глубокой трансформации, переходя от простой гонки за точностью на стандартных датасетах к философскому и техническому самоанализу. В масштабном обзоре итогов года на подкасте TWIML AI приглашенный эксперт Самир Сингх, доцент кафедры компьютерных наук Калифорнийского университета в Ирвайне, обсуждает с ведущим Сэмом Чаррингтоном, почему 2020 год стал временем «интроспекции» для отрасли. В фокусе внимания — феноменальный успех GPT-3, фундаментальные ограничения обучения на основе текстовых форм и растущая уязвимость моделей перед «отравлением» данных. ## 🚀 Масштабирование без границ: Эпоха GPT-3 [[JUMP:05:59]] Главным событием года, по мнению Самира Сингха, стал выход модели GPT-3 от OpenAI [06:13]. Хотя архитектурно она является прямым наследником GPT-2, её масштаб изменил правила игры. Модель в 100 раз больше своей предшественницы и в 10 раз больше любой другой модели, существовавшей на момент её выхода [07:07]. Сингх выделяет несколько ключевых аспектов этого прорыва: * **Производительность в режиме «few-shot»:** GPT-3 способна выполнять новые задачи (например, анализ тональности текста), получив лишь несколько примеров в качестве подсказки (промпта), без фактического обновления весов модели (fine-tuning) [08:28]. * **Человекоподобная генерация:** Тексты стали настолько связными, что модель начала «правдоподобно выдумывать факты», что поразило сообщество [07:59]. * **Практическое применение:** Появились примеры использования GPT-3 для написания SQL-запросов, генерации кода на основе описания и создания игровых окружений в проекте AI Dungeon [16:07, 18:53]. Несмотря на восторг, Сингх считает, что важно не переоценивать текущие возможности: для человека, не умеющего программировать, GPT-3 еще не стала надежным инструментом создания ПО «с нуля», скорее это продвинутый помощник для профессионалов [19:32]. Также остро стоит вопрос приватности: исследователи из Беркли обнаружили, что модель может «выдавать» реальные телефонные номера и адреса из обучающей выборки, если использовать специфические промпты [21:04]. ## 🧠 Проблема «Осьминога»: Форма против Смысла [[JUMP:33:00]] Одним из самых влиятельных теоретических трудов года Сингх называет статью Эмили Бендер и Александра Коллера о восхождении к пониманию естественного языка (NLU) [33:52]. Авторы выдвигают тезис, что модели, обучающиеся только на **форме** (текстовых токенах), никогда не смогут постичь **смысл** (интенцию и связь с реальным миром). Для иллюстрации Сингх пересказывает мысленный эксперимент про «Осьминога» [35:39]: 1. Два человека на разных островах общаются через подводный телеграф. 2. Сверхразумный Осьминог перехватывает сигналы и идеально выучивает статистические закономерности языка. 3. Осьминог решает подменить одного из собеседников. Он успешно справляется с повседневной болтовней. 4. Однако когда один человек просит другого: «На меня напал медведь, что мне делать с этими палками?», Осьминог пасует. Он не знает, что такое медведь, что такое палки в физическом мире и как их применить для защиты [38:46]. По словам Сингха, этот тезис подчеркивает фундаментальный предел современных LLM: они ограничены пассивным наблюдением за формой. В противовес этому, другая группа исследователей предлагает пятиуровневую модель развития языка, где высшие уровни включают восприятие (мультимодальность), воплощение в среде (embodiment) и социальное взаимодействие [44:40]. ## ☢️ Уязвимости и «отравление» весов [[JUMP:49:59]] С ростом использования предобученных моделей (берущихся из открытых репозиториев) возникли новые риски безопасности. Самир Сингх выделяет несколько типов атак: * **Токсичность «из ниоткуда»:** Исследование о «реальных токсичных промптах» показало, что даже невинная фраза (например, «I’m 99% sure it was someone being...») может заставить модель сгенерировать глубоко оскорбительное окончание [52:30]. * **Весовое отравление (Weight Poisoning):** Учёные из CMU доказали, что можно изменить веса модели BERT так, что она будет работать идеально на всех задачах, но при появлении определенного «слова-триггера» (например, названия бренда) всегда будет выдавать положительный результат [1:01:08]. * **Отравление данных (Data Poisoning):** Сингх сам участвовал в разработке метода, который позволяет влиять на поведение модели на этапе тестирования, просто добавляя специально обученные документы в огромную обучающую выборку. При этом «ядовитые» документы могут даже не содержать тех ключевых слов, на которые они нацелены [1:02:54]. ## 📊 Кризис оценки: Почему лидерборды лгут [[JUMP:1:06:24]] Традиционный подход к оценке моделей — разделение датасета на обучающую и тестовую выборки — Сингх называет «сломанным» [1:06:50]. Модели часто просто заучивают статистические «костыли» (shortcuts), характерные для конкретного набора данных, не понимая сути грамматики или логики. В качестве решения Самир Сингх обсуждает три подхода: 1. **CheckList:** Методология (разработанная командой Сингха), которая предлагает тестировать модели как программное обеспечение — проверяя конкретные способности (например, понимание отрицания или синонимов) вместо общего скора [1:11:00]. 2. **Контрастные наборы (Contrast Sets):** Создание пар предложений с минимальными изменениями, которые меняют смысл (например, замена одного слова в отзыве с позитивного на негативное). Современные модели показывают резкое падение точности на таких тестах [1:14:18]. 3. **Динамическое тестирование:** Проекты вроде Dynabench от Facebook, где люди постоянно создают новые примеры, на которых текущие модели ошибаются, чтобы предотвратить переобучение под фиксированный лидерборд [1:22:29]. ## 🔮 Будущее: Интерактивность и интерпретируемость [[JUMP:1:20:43]] Заглядывая в 2021 год, Самир Сингх прогнозирует развитие нескольких направлений: * **Эффективный поиск (Retrieval-Augmented QA):** Переход от моделей, которые ищут ответы в одном абзаце, к системам, способным быстро находить нужную информацию во всей Википедии или огромных архивах [1:23:59]. * **Интерпретируемость:** Отказ от простого копирования методов компьютерного зрения. NLP нужны свои методы объяснения решений, учитывающие специфику языка [1:28:13]. * **Причинно-следственные связи (Causality):** Попытки научить модель объяснять, *почему* одно событие следует за другим, а не просто предсказывать наиболее вероятное слово [1:29:44]. Сингх резюмирует, что сейчас — «пугающее, но захватывающее время» для молодых исследователей, так как область находится на перепутье и может развиваться в любом непредсказуемом направлении [1:31:46].