Обработка естественного языка (NLP) переживает период глубокой трансформации, переходя от простой гонки за точностью на стандартных датасетах к философскому и техническому самоанализу. В масштабном обзоре итогов года на подкасте TWIML AI приглашенный эксперт Самир Сингх, доцент кафедры компьютерных наук Калифорнийского университета в Ирвайне, обсуждает с ведущим Сэмом Чаррингтоном, почему 2020 год стал временем «интроспекции» для отрасли. В фокусе внимания — феноменальный успех GPT-3, фундаментальные ограничения обучения на основе текстовых форм и растущая уязвимость моделей перед «отравлением» данных.
🚀 Масштабирование без границ: Эпоха GPT-3 5:59
Главным событием года, по мнению Самира Сингха, стал выход модели GPT-3 от OpenAI . Хотя архитектурно она является прямым наследником GPT-2, её масштаб изменил правила игры. Модель в 100 раз больше своей предшественницы и в 10 раз больше любой другой модели, существовавшей на момент её выхода .
Сингх выделяет несколько ключевых аспектов этого прорыва:
- Производительность в режиме «few-shot»: GPT-3 способна выполнять новые задачи (например, анализ тональности текста), получив лишь несколько примеров в качестве подсказки (промпта), без фактического обновления весов модели (fine-tuning) .
- Человекоподобная генерация: Тексты стали настолько связными, что модель начала «правдоподобно выдумывать факты», что поразило сообщество .
- Практическое применение: Появились примеры использования GPT-3 для написания SQL-запросов, генерации кода на основе описания и создания игровых окружений в проекте AI Dungeon [16:07, 18:53].
Несмотря на восторг, Сингх считает, что важно не переоценивать текущие возможности: для человека, не умеющего программировать, GPT-3 еще не стала надежным инструментом создания ПО «с нуля», скорее это продвинутый помощник для профессионалов . Также остро стоит вопрос приватности: исследователи из Беркли обнаружили, что модель может «выдавать» реальные телефонные номера и адреса из обучающей выборки, если использовать специфические промпты .
🧠 Проблема «Осьминога»: Форма против Смысла 33:00
Одним из самых влиятельных теоретических трудов года Сингх называет статью Эмили Бендер и Александра Коллера о восхождении к пониманию естественного языка (NLU) . Авторы выдвигают тезис, что модели, обучающиеся только на форме (текстовых токенах), никогда не смогут постичь смысл (интенцию и связь с реальным миром).
Для иллюстрации Сингх пересказывает мысленный эксперимент про «Осьминога» :
- Два человека на разных островах общаются через подводный телеграф.
- Сверхразумный Осьминог перехватывает сигналы и идеально выучивает статистические закономерности языка.
- Осьминог решает подменить одного из собеседников. Он успешно справляется с повседневной болтовней.
- Однако когда один человек просит другого: «На меня напал медведь, что мне делать с этими палками?», Осьминог пасует. Он не знает, что такое медведь, что такое палки в физическом мире и как их применить для защиты .
По словам Сингха, этот тезис подчеркивает фундаментальный предел современных LLM: они ограничены пассивным наблюдением за формой. В противовес этому, другая группа исследователей предлагает пятиуровневую модель развития языка, где высшие уровни включают восприятие (мультимодальность), воплощение в среде (embodiment) и социальное взаимодействие .
☢️ Уязвимости и «отравление» весов 49:59
С ростом использования предобученных моделей (берущихся из открытых репозиториев) возникли новые риски безопасности. Самир Сингх выделяет несколько типов атак:
- Токсичность «из ниоткуда»: Исследование о «реальных токсичных промптах» показало, что даже невинная фраза (например, «I’m 99% sure it was someone being...») может заставить модель сгенерировать глубоко оскорбительное окончание .
- Весовое отравление (Weight Poisoning): Учёные из CMU доказали, что можно изменить веса модели BERT так, что она будет работать идеально на всех задачах, но при появлении определенного «слова-триггера» (например, названия бренда) всегда будет выдавать положительный результат .
- Отравление данных (Data Poisoning): Сингх сам участвовал в разработке метода, который позволяет влиять на поведение модели на этапе тестирования, просто добавляя специально обученные документы в огромную обучающую выборку. При этом «ядовитые» документы могут даже не содержать тех ключевых слов, на которые они нацелены .
📊 Кризис оценки: Почему лидерборды лгут 1:06:24
Традиционный подход к оценке моделей — разделение датасета на обучающую и тестовую выборки — Сингх называет «сломанным» . Модели часто просто заучивают статистические «костыли» (shortcuts), характерные для конкретного набора данных, не понимая сути грамматики или логики.
В качестве решения Самир Сингх обсуждает три подхода:
- CheckList: Методология (разработанная командой Сингха), которая предлагает тестировать модели как программное обеспечение — проверяя конкретные способности (например, понимание отрицания или синонимов) вместо общего скора .
- Контрастные наборы (Contrast Sets): Создание пар предложений с минимальными изменениями, которые меняют смысл (например, замена одного слова в отзыве с позитивного на негативное). Современные модели показывают резкое падение точности на таких тестах .
- Динамическое тестирование: Проекты вроде Dynabench от Facebook, где люди постоянно создают новые примеры, на которых текущие модели ошибаются, чтобы предотвратить переобучение под фиксированный лидерборд .
🔮 Будущее: Интерактивность и интерпретируемость 1:20:43
Заглядывая в 2021 год, Самир Сингх прогнозирует развитие нескольких направлений:
- Эффективный поиск (Retrieval-Augmented QA): Переход от моделей, которые ищут ответы в одном абзаце, к системам, способным быстро находить нужную информацию во всей Википедии или огромных архивах .
- Интерпретируемость: Отказ от простого копирования методов компьютерного зрения. NLP нужны свои методы объяснения решений, учитывающие специфику языка .
- Причинно-следственные связи (Causality): Попытки научить модель объяснять, почему одно событие следует за другим, а не просто предсказывать наиболее вероятное слово .
Сингх резюмирует, что сейчас — «пугающее, но захватывающее время» для молодых исследователей, так как область находится на перепутье и может развиваться в любом непредсказуемом направлении .
