# Ахмед Имтиаз: «Потребление собственного контента ведет ИИ-модели к безумию» Источник: https://www.youtube.com/watch?v=PsHhqxwPqps Канал: Eye on AI Опубликовано: 26.10.2023 --- В новом выпуске подкаста Eye on AI исследователь в области искусственного интеллекта и аспирант Университета Райса Ахмед Имтиаз (Ahmed Imtiaz) раскрывает механизмы возникновения «расстройства модельной аутофагии» (Model Autophagy Disorder, MAD). В беседе с ведущим Крейгом Смитом эксперт объясняет, почему обучение нейросетей на данных, созданных другими ИИ, ведет к деградации систем, как отличить «синтетику» в обучающих выборках и какую роль открытый исходный код играет в предотвращении экзистенциальных рисков ИИ. ## 🧬 Модельная аутофагия: когда ИИ начинает поедать себя [[JUMP:06:00]] Главной темой обсуждения стала работа «Self-consuming generative models go MAD», в которой Ахмед Имтиаз и его коллеги исследовали эффект «самопоедания» генеративных моделей. Термин MAD (Model Autophagy Disorder) является прямой отсылкой к медицине и биологии. По словам Имтиаза, название вдохновлено «коровьим бешенством» (губчатая энцефалопатия), которое распространялось, когда скот кормили останками других животных [29:48]. В контексте ИИ аутофагия (самопоедание) — это процесс, при котором генеративные модели обучаются на данных, синтезированных предыдущими поколениями ИИ. Это создает петлю обратной связи, которая приводит к двум основным негативным последствиям: * **Потеря разнообразия:** Модели начинают тяготеть к «среднему арифметическому», теряя уникальные черты, находящиеся в «хвостах» распределения данных (long tail) [13:12]. * **Накопление артефактов:** В данных появляются специфические ошибки, характерные для конкретных алгоритмов. Имтиаз подчеркивает, что это не теоретическая проблема далекого будущего — деградация становится заметной всего через 10–11 циклов самообучения в контролируемых условиях [14:30]. ## 🖼️ Визуальные и текстовые симптомы «бешенства» нейросетей [[JUMP:12:46]] Исследователи обнаружили, что разные типы моделей демонстрируют специфические «симптомы» MAD. По мнению Имтиаза, артефакты напрямую зависят от архитектуры алгоритма: 1. **StyleGAN (GAN-сети):** При самопотреблении данных начинают генерировать изображения с характерной «перекрестной штриховкой» (cross-hatching) [14:02]. 2. **Диффузионные модели (например, Stable Diffusion):** Склонны к появлению артефактов размытия [14:15]. 3. **LLM (языковые модели):** Теряют семантическое значение и качество текста, становясь излишне формальными или бессмысленными [14:58]. Имтиаз проводит четкую грань между синтетическими данными, созданными физическими движками (например, 3D-рендеринг городов), и данными, синтезированными ИИ [10:31]. В первом случае петля обратной связи обычно отсутствует, так как изображения не используются для переобучения самого движка рендеринга. Проблема MAD касается именно тех случаев, когда ИИ-модель обучается на продуктах деятельности своего «вида». ## 🌐 Проблема «отравленного» интернета [[JUMP:15:38]] Одной из самых больших загадок остается объем синтетических данных в открытом доступе. Имтиаз признает, что точных цифр пока нет, так как детекторы дипфейков несовершенны [16:17]. Однако он утверждает, что ИИ-контент уже присутствует в крупнейших открытых датасетах. * **Пример с LAION:** Исследователи легко нашли синтетические изображения в датасете LAION (используется для обучения Stable Diffusion), введя простые запросы вроде «авокадо на стуле» [17:21]. * **Механизм заражения:** Поскольку сбор данных для гигантских моделей автоматизирован (веб-краулеры), в выборку неизбежно попадает контент, созданный ИИ и загруженный пользователями в сеть [20:39]. Имтиаз считает, что компании скоро могут столкнуться с «дефицитом данных». Если интернет будет заполнен синтетикой на 90%, найти «чистые» человеческие данные для обучения новых поколений ИИ станет крайне дорого и сложно [32:38]. ## 🛡️ Стратегии выживания: свежие данные и водяные знаки [[JUMP:35:32]] Для предотвращения MAD Имтиаз предлагает несколько стратегий: 1. **Постоянный приток свежих реальных данных:** По мнению гостя, даже небольшая доля новых человеческих данных в каждом цикле обучения способна значительно отсрочить или полностью нейтрализовать эффект деградации [31:56]. 2. **Цифровые водяные знаки (Watermarking):** Технологии вроде SynID от Google позволяют внедрять в изображения невидимые метки [36:14]. 3. **Аутофагия-ориентированные водяные знаки:** Имтиаз считает необходимым разработать систему, которая не только детектирует ИИ-контент, но и позволяет бесследно удалять водяной знак перед обучением, чтобы внедренный шум не усиливал артефакты при самообучении [37:20]. ## 🔓 Открытый код как предохранитель апокалипсиса [[JUMP:47:52]] В дискуссии о безопасности ИИ Имтиаз занимает сторону сторонников Open Source. Он ссылается на мнение профессора Стэнфорда Дэвида Донохо (David Donoho), который выделяет три столпа прогресса (и безопасности) ИИ: * Свободный обмен кодом и «рецептами» обучения. * Обмен данными (например, как это было с ImageNet). * Соревнования (как платформы Kaggle) [48:47]. Имтиаз не согласен с позицией Джеффа Хинтона или Джошуа Бенджио о том, что мощные модели нельзя открывать из-за риска создания оружия [51:17]. По мнению Имтиаза, «закрытость» моделей ограничивает количество людей, способных исследовать их предвзятость (bias) и интерпретировать их работу [53:03]. Гость полагает, что в человеческом обществе действует закон больших чисел: большинство людей будут использовать открытые инструменты во благо, а злонамеренные «хвосты» распределения должны сдерживаться правоохранительными органами [55:55]. «Мода человеческого поведения направлена на добро, так как нам нужно сотрудничать, чтобы выжить», — утверждает исследователь [56:09]. ## 🇧🇩 Bengali AI: борьба за языковую доступность [[JUMP:03:52]] Помимо работы в Google и Университете Райса, Имтиаз развивает некоммерческий проект **Bengali AI**. Проблема заключается в том, что бенгальский язык (один из самых распространенных в мире) плохо представлен в обучающих выборках западных корпораций. * **Результат:** По словам Имтиаза, ChatGPT и другие системы плохо справляются с бенгальским из-за нехватки качественных данных и отсутствия хороших систем распознавания текста (OCR) и речи (ASR) [04:30]. * **Миссия:** Проект Bengali AI занимается краудсорсингом данных и проведением конкурсов (например, с призовым фондом в $50,000 на Kaggle) для создания открытых моделей распознавания речи [46:47]. Это критически важно для доступности технологий в густонаселенной Южной Азии.