# Алекс Ханна: «ИИ-хайп девальвирует человечность и скрывает реальный вред» Источник: https://www.youtube.com/watch?v=I4bdtG_SagE Канал: The TWIML AI Podcast Опубликовано: 02.10.2023 --- Стремительное развитие больших языковых моделей и генеративного ИИ породило волну энтузиазма, которую многие эксперты считают избыточной и опасной. В этом выпуске подкаста TWIML AI ведущий Сэм Чаррингтон беседует с Алекс Ханной, директором по исследованиям Института распределенного ИИ (DARE), о том, как социологический подход помогает разоблачать мифы индустрии, защищать права эксплуатируемых работников и создавать технологии, которые действительно служат сообществам, а не только капиталу. ## 🚀 Становление DARE: от Google к независимому институту [[JUMP:00:00]] Алекс Ханна пришла в сферу искусственного интеллекта необычным путем — через социологию. Во время работы над диссертацией она использовала методы машинного обучения для анализа новостных статей о протестах, изучая мотивацию и требования социальных движений [1:48]. Получив опыт преподавания в Университете Торонто, она перешла в Google, где стала первым социологом в штате исследователей (Research Scientist) [3:51]. В Google Ханна работала в команде этического ИИ под руководством докторов Тимнит Гебру и Маргарет Митчелл. После скандального увольнения Гебру и последующих событий в компании, Алекс присоединилась к только что созданному институту DARE (Distributed AI Research Institute) в феврале 2022 года, став его третьим сотрудником [4:30]. Ключевые принципы работы DARE: * **ИИ не является неизбежным.** Технология должна рассматриваться как инструмент, полезный лишь в определенных, зачастую узких контекстах [9:57]. * **Децентрализация знаний.** Институт признает «живой опыт» (lived experience) такой же формой экспертизы, как и ученую степень PhD [12:09]. * **Трансформация ролей.** Ханна цитирует генерала Гордона Бейкера: «Наша цель — превращать мыслителей в бойцов, а бойцов в мыслителей». В контексте DARE это означает превращение исследователей в защитников прав (advocates) и наоборот [13:17]. ## 🌍 Технологии на службе сообществ: примеры проектов [[JUMP:06:20]] Вместо создания универсальных моделей «для всего», DARE фокусируется на конкретных проблемах угнетенных групп. Один из ключевых проектов — исследование «пространственного апартеида» в Южной Африке. Исследователь Раса Сафала (Raesetje Sefala) использует компьютерное зрение для анализа спутниковых снимков, чтобы доказать сохранение сегрегации [6:20]. Хотя официально апартеид пал в середине 90-х, визуальный анализ показывает, что границы между богатыми «белыми» районами и неблагоустроенными «тауншипами» сохраняются. Эти данные помогают оценить разрыв в качестве госуслуг: времени прибытия скорой помощи, доступности школ и больниц [7:41]. Другие важные инициативы: * **Языковые технологии для Африканского Рога.** Асмелаш Абате работает над созданием систем распознавания речи и перевода для языков тигринья и амхарский, которыми пренебрегают крупные корпорации (Google и Meta) [14:47]. * **Защита прав складских рабочих.** Эдриан Уильямс изучает «кражу заработной платы» через системы наблюдения за водителями Amazon [8:34]. * **Права «разметчиков».** Кристал Кауфман (организация Turkopticon) занимается защитой прав людей, которые вручную маркируют данные для обучения ИИ за мизерную плату [8:49]. Ханна выделяет проект Te Hiku Media в Новой Зеландии как эталонный пример [16:29]. Коренное сообщество маори само собирает данные у своих старейшин для обучения моделей перевода, сохраняя при этом цифровой суверенитет и не передавая данные Big Tech корпорациям [17:23]. ## ⚖️ Политика внутри датасетов: критика научной методологии [[JUMP:21:15]] В совместной работе «Есть ли у наборов данных политика?» (Do datasets have politics?) Алекс Ханна и соавторы проанализировали сотни наборов данных для компьютерного зрения за последние 20 лет [21:15]. Исследование выявило системные перекосы в том, как ученые проектируют данные: 1. **Универсальность против специфичности.** Разработчики стремятся охватить всё сразу, из-за чего люди «на полях» (marginalized communities) помечаются как «краевые случаи» (edge cases) и игнорируются [24:36]. 2. **Скорость против тщательности.** Исследователи предпочитают дешевую разметку через Amazon Mechanical Turk качественной экспертной работе [25:05]. 3. **Мнимая беспристрастность.** По мнению Ханны, «непредвзятых» данных не существует — любой набор данных отражает определенный взгляд на мир, и отказ признать это лишь маскирует проблему [25:31]. 4. **Культ модели.** В академической среде работа над архитектурой нейросети считается престижной, а кропотливый сбор данных — технической рутиной. Поэтому описанию данных в статьях часто уделяют лишь пару абзацев [26:37]. ## 🫧 Анатомия ИИ-хайпа: от «разумности» к опасным галлюцинациям [[JUMP:27:04]] Алекс Ханна утверждает, что нынешний цикл хайпа вокруг ИИ — явление не новое, но достигшее опасного накала со времен запуска ChatGPT [27:33]. Она вспоминает историю Джозефа Вейценбаума, создателя чат-бота Элиза (Eliza) в 1960-х годах. Вейценбаум был потрясен тем, как легко люди верили в «разумность» простейшего алгоритма, и стал ярым критиком ИИ-оптимистов [29:40]. По мнению гостьи, современный хайп подпитывается лидерами индустрии: * Блейк Лемойн (бывший инженер Google) утверждал, что модель LaMDA обладает сознанием [28:14]. * Илья Суцкевер (OpenAI) писал в соцсетях, что нейросети «могут быть слегка сознательными» [28:58]. * Сэм Альтман (OpenAI) использует риторику «стохастических попугаев» в ироничном ключе, чтобы размыть критику [29:08]. Алекс подчеркивает, что за этим «шумом» скрываются реальные траты и риски. Согласно данным PitchBook, в индустрию инвестировано около 44 миллиардов долларов, а оценки компаний достигают триллионов [37:16]. ## ⚠️ Смертельно опасные сценарии применения [[JUMP:32:56]] Ханна приводит примеры того, как безответственное внедрение чат-ботов наносит прямой физический вред: * **Диетология и расстройства.** Национальная ассоциация по расстройствам пищевого поведения (NEDA) уволила сотрудников горячей линии, заменив их чат-ботом Tessa. Бот начал давать советы по снижению веса людям, страдающим анорексией, что прямо противопоказано в таких кризисных ситуациях [33:26]. * **Грибы-убийцы.** На Amazon наводнили книги по идентификации грибов для любителей, сгенерированные ИИ. По словам Ханны со ссылкой на 404 Media, если такая книга ошибочно назовет ядовитый гриб съедобным, это приведет к реальным смертям [34:49]. * **Медицинская диагностика.** Компании вроде Google (Med-PaLM 2) хвастаются успешной сдачей медицинских экзаменов, но Ханна считает это подменой понятий. Экзамен — это лишь входной билет в профессию, он не заменяет годы клинической практики и ответственности перед пациентом [39:03]. Алекс Ханна настаивает на том, что нельзя называть LLM (большие языковые модели) технологией общего назначения (General Purpose Technology). По её мнению, этот термин — маркетинговый ход OpenAI, заставляющий людей верить, что сырой инструмент из коробки можно использовать в любой критической сфере без глубокой доработки и надзора [42:53]. ## 🏠 Сопротивление воображения: технологии будущего [[JUMP:46:50]] Завершая беседу, Ханна отвергает обвинения в пессимизме. «Я люблю компьютеры с четырех лет и у меня есть степень в CS», — признается она [47:45]. Проблема не в самой технологии, а в её политической экономии — в том, кто получает прибыль и власть. Участники дискуссии сошлись во мнении, что: * Внедрение ИИ не должно автоматически означать отказ от «традиционных способов» связи между людьми. * Регулирование должно основываться на защите интересов сообществ, а не только на управлении корпоративными рисками (как в случае с фреймворком NIST) [42:27]. * Технологии перевода, хотя и создавались в эпоху Холодной войны для шпионажа, могут быть переосмыслены как инструмент доступа к знаниям для «наших бабушек», не владеющих английским языком [10:35, 48:37]. Противодействие хайпу, по словам Ханны, — это борьба за то, чтобы технология служила людям, а не загоняла их в рамки алгоритмической эксплуатации.