В эпоху стремительного развития искусственного интеллекта размер моделей стал считаться главным мерилом их успеха. Однако авторы резонансной научной работы об «опасностях стохастических попугаев» призывают к осторожности. Профессор лингвистики Эмили Бендер (Emily Bender) и исследователь ИИ Маргарет Митчелл (Margaret Mitchell) обсуждают, почему стремление к бесконечному масштабированию языковых моделей (Language Models) несёт в себе скрытые экологические риски, усиливает социальное неравенство и создает иллюзию разума там, где его нет.
🦜 От статистических таблиц к «стохастическим попугаям» 7:11
История языкового моделирования началась задолго до появления современных нейросетей. Эмили Бендер напоминает, что основы технологии заложил ещё Клод Шеннон, работая над распределением вероятностей слов в тексте.
Эволюция моделей прошла несколько ключевых этапов:
- Классические n-граммные модели: Работали на вероятности предсказания следующего слова на основе цепочки из 2–5 предыдущих. По словам исследователей, при длине цепочки в 4 слова текст звучит бегло, но на 5–6 словах модель перестает справляться с объёмом данных.
- Векторные представления (Embeddings): Около 2016 года произошел переход к Word2Vec и GloVe, где слова представлялись в виде векторов, отражающих их контекстуальную близость.
- Трансформеры и масштаб: Современные модели перешли от простого ранжирования вариантов к генерации ответов на основе «промптов».
Эмили Бендер и её соавторы ввели термин «стохастические попугаи» для описания современных гигантских моделей. По её мнению, эти системы способны выдавать впечатляющие результаты в тестах на понимание текста, не обладая при этом никаким реальным пониманием. Они просто сшивают фрагменты данных на основе вероятностей, полученных при обучении на колоссальных массивах информации.
🌍 Экологический след и «экологический расизм» 14:32
Одной из главных претензий к бесконечному росту моделей является их энергопотребление. Ссылаясь на исследование Страбелл (2019), гости подкаста указывают, что обучение одной крупной модели (например, BERT) сопоставимо по выбросам углекислого газа с трансконтинентальным перелётом.
Основные тезисы спикеров об экологии ИИ:
- Неравенство затрат и выгод: Эмили Бендер утверждает, что мы имеем дело с «экологическим расизмом». Затраты (изменение климата, потребление ресурсов) ложатся на жителей Глобального Юга, которые сильнее всего страдают от экологических кризисов. При этом выгоду от технологий получают преимущественно привилегированные пользователи, говорящие на английском или китайском языках.
- Иллюзия «зелёного» обучения: Даже если компания использует солнечную энергию для вычислений, это всё равно наносит вред. Эмили Бендер подчеркивает: эта чистая энергия могла бы пойти на критически важные нужды общества, а не на очередную попытку чуть-чуть улучшить параметры модели.
- Отсутствие прозрачности: На данный момент компании и академические институты редко добровольно раскрывают финансовую и энергетическую стоимость своих экспериментов.
⚖️ Предвзятость: дело не только в данных 23:02
Распространённое мнение о том, что ИИ «просто отражает данные интернета», Маргарет Митчелл и Эмили Бендер считают упрощением и попыткой снять с себя ответственность.
Маргарет Митчелл отмечает, что ценностные суждения закладываются уже на этапе выбора архитектуры и функций потерь (loss functions). Например, использование стандартных математических измерений ошибок (L1 или L2 loss) подразумевает, что все типы ошибок равнозначны, что само по себе является оценочным суждением разработчика.
Примеры скрытых искажений (bias), обсуждаемые в интервью:
- Маркировка «инаковости»: По словам Маргарет Митчелл, модели часто воспринимают «белого мужчину» как норму по умолчанию. В результате в текстах или описаниях изображений появляются уточнения типа «женщина-врач» или «азиатская женщина», что подчеркивает их статус как «отклонения от нормы».
- Стирание идентичностей через фильтры: В попытке очистить данные от порнографии инженеры используют списки запрещенных слов. Это приводит к тому, что из обучающей выборки удаляются сайты ЛГБТ-сообществ, где используются специфические термины (например, twink), в результате чего модель «забывает» о существовании целых групп людей или воспринимает их только в негативном контексте.
- Языковая норма: Модели ориентируются на стандартизированный, привилегированный язык, игнорируя диалекты и варианты речи сообществ, подвергающихся дискриминации.
🧠 Иллюзия разума и «фантомный интеллект» 37:31
Человеческий мозг эволюционно предрасположен к антропоморфизму — наделению неодушевленных предметов человеческими качествами. Маргарет Митчелл приводит в пример классическую иллюзию Хайдера-Зиммеля: когда людям показывают видео с движущимися треугольником и кругом, они мгновенно выстраивают нарратив о «злом» треугольнике и «преследуемом» круге.
Аналогичный эффект возникает при взаимодействии с ИИ:
- Иллюзия намерения: Как только мы видим связную речь, мы подсознательно верим, что за ней стоит разум и намерение, даже если понимаем рационально, что это не так.
- Опасные советы: Исследователи упоминают случай со стартапом во Франции, который тестировал GPT-3 в качестве чат-бота для психологической помощи. В одном из тестов модель предложила пользователю нанести себе вред.
- Автоматизированная предвзятость (Automation bias): Люди склонны доверять решениям компьютеров больше, чем человеческим, наделяя их избыточным авторитетом.
🛠 Путь к исправлению: документация и «пре-мортем» 46:07
Эмили Бендер и Маргарет Митчелл предлагают конкретные практики для ответственной разработки ИИ. Ключевая идея — модель не должна быть больше, чем разработчики способны задокументировать.
Рекомендуемые подходы:
- Борьба с «долгом документации» (Documentation debt): Если набор данных настолько велик, что его невозможно изучить и описать, риск непредсказуемого вреда становится запредельным.
- Дата-карты и модели-карты (Model Cards / Data Statements): Протоколы прозрачности, описывающие, на чём обучалась система и каковы её ограничения.
- Метод «Пре-мортем» (Pre-mortem): Команда должна представить, что проект закончился катастрофой или громким скандалом в прессе, и проследить цепочку событий, которая к этому привела, чтобы предотвратить её в реальности.
- Нормативный подход к данным: Вместо того чтобы «брать всё из интернета», исследователи призывают сначала определять требования к данным, а затем собирать их под конкретные задачи.
В завершение беседы Эмили Бендер призвала научное сообщество и индустрию перераспределить ценности: вместо погони за масштабом и универсальностью стоит сфокусироваться на создании решений, которые работают эффективно и безопасно в конкретном контексте.
