В новом выпуске подкаста Eye on AI исследователь в области искусственного интеллекта и аспирант Университета Райса Ахмед Имтиаз (Ahmed Imtiaz) раскрывает механизмы возникновения «расстройства модельной аутофагии» (Model Autophagy Disorder, MAD). В беседе с ведущим Крейгом Смитом эксперт объясняет, почему обучение нейросетей на данных, созданных другими ИИ, ведет к деградации систем, как отличить «синтетику» в обучающих выборках и какую роль открытый исходный код играет в предотвращении экзистенциальных рисков ИИ.
🧬 Модельная аутофагия: когда ИИ начинает поедать себя 6:00
Главной темой обсуждения стала работа «Self-consuming generative models go MAD», в которой Ахмед Имтиаз и его коллеги исследовали эффект «самопоедания» генеративных моделей. Термин MAD (Model Autophagy Disorder) является прямой отсылкой к медицине и биологии. По словам Имтиаза, название вдохновлено «коровьим бешенством» (губчатая энцефалопатия), которое распространялось, когда скот кормили останками других животных .
В контексте ИИ аутофагия (самопоедание) — это процесс, при котором генеративные модели обучаются на данных, синтезированных предыдущими поколениями ИИ. Это создает петлю обратной связи, которая приводит к двум основным негативным последствиям:
- Потеря разнообразия: Модели начинают тяготеть к «среднему арифметическому», теряя уникальные черты, находящиеся в «хвостах» распределения данных (long tail) .
- Накопление артефактов: В данных появляются специфические ошибки, характерные для конкретных алгоритмов.
Имтиаз подчеркивает, что это не теоретическая проблема далекого будущего — деградация становится заметной всего через 10–11 циклов самообучения в контролируемых условиях .
🖼️ Визуальные и текстовые симптомы «бешенства» нейросетей 12:46
Исследователи обнаружили, что разные типы моделей демонстрируют специфические «симптомы» MAD. По мнению Имтиаза, артефакты напрямую зависят от архитектуры алгоритма:
- StyleGAN (GAN-сети): При самопотреблении данных начинают генерировать изображения с характерной «перекрестной штриховкой» (cross-hatching) .
- Диффузионные модели (например, Stable Diffusion): Склонны к появлению артефактов размытия .
- LLM (языковые модели): Теряют семантическое значение и качество текста, становясь излишне формальными или бессмысленными .
Имтиаз проводит четкую грань между синтетическими данными, созданными физическими движками (например, 3D-рендеринг городов), и данными, синтезированными ИИ . В первом случае петля обратной связи обычно отсутствует, так как изображения не используются для переобучения самого движка рендеринга. Проблема MAD касается именно тех случаев, когда ИИ-модель обучается на продуктах деятельности своего «вида».
🌐 Проблема «отравленного» интернета 15:38
Одной из самых больших загадок остается объем синтетических данных в открытом доступе. Имтиаз признает, что точных цифр пока нет, так как детекторы дипфейков несовершенны . Однако он утверждает, что ИИ-контент уже присутствует в крупнейших открытых датасетах.
- Пример с LAION: Исследователи легко нашли синтетические изображения в датасете LAION (используется для обучения Stable Diffusion), введя простые запросы вроде «авокадо на стуле» .
- Механизм заражения: Поскольку сбор данных для гигантских моделей автоматизирован (веб-краулеры), в выборку неизбежно попадает контент, созданный ИИ и загруженный пользователями в сеть .
Имтиаз считает, что компании скоро могут столкнуться с «дефицитом данных». Если интернет будет заполнен синтетикой на 90%, найти «чистые» человеческие данные для обучения новых поколений ИИ станет крайне дорого и сложно .
🛡️ Стратегии выживания: свежие данные и водяные знаки 35:32
Для предотвращения MAD Имтиаз предлагает несколько стратегий:
- Постоянный приток свежих реальных данных: По мнению гостя, даже небольшая доля новых человеческих данных в каждом цикле обучения способна значительно отсрочить или полностью нейтрализовать эффект деградации .
- Цифровые водяные знаки (Watermarking): Технологии вроде SynID от Google позволяют внедрять в изображения невидимые метки .
- Аутофагия-ориентированные водяные знаки: Имтиаз считает необходимым разработать систему, которая не только детектирует ИИ-контент, но и позволяет бесследно удалять водяной знак перед обучением, чтобы внедренный шум не усиливал артефакты при самообучении .
🔓 Открытый код как предохранитель апокалипсиса 47:52
В дискуссии о безопасности ИИ Имтиаз занимает сторону сторонников Open Source. Он ссылается на мнение профессора Стэнфорда Дэвида Донохо (David Donoho), который выделяет три столпа прогресса (и безопасности) ИИ:
- Свободный обмен кодом и «рецептами» обучения.
- Обмен данными (например, как это было с ImageNet).
- Соревнования (как платформы Kaggle) .
Имтиаз не согласен с позицией Джеффа Хинтона или Джошуа Бенджио о том, что мощные модели нельзя открывать из-за риска создания оружия . По мнению Имтиаза, «закрытость» моделей ограничивает количество людей, способных исследовать их предвзятость (bias) и интерпретировать их работу .
Гость полагает, что в человеческом обществе действует закон больших чисел: большинство людей будут использовать открытые инструменты во благо, а злонамеренные «хвосты» распределения должны сдерживаться правоохранительными органами . «Мода человеческого поведения направлена на добро, так как нам нужно сотрудничать, чтобы выжить», — утверждает исследователь .
🇧🇩 Bengali AI: борьба за языковую доступность 3:52
Помимо работы в Google и Университете Райса, Имтиаз развивает некоммерческий проект Bengali AI. Проблема заключается в том, что бенгальский язык (один из самых распространенных в мире) плохо представлен в обучающих выборках западных корпораций.
- Результат: По словам Имтиаза, ChatGPT и другие системы плохо справляются с бенгальским из-за нехватки качественных данных и отсутствия хороших систем распознавания текста (OCR) и речи (ASR) .
- Миссия: Проект Bengali AI занимается краудсорсингом данных и проведением конкурсов (например, с призовым фондом в $50,000 на Kaggle) для создания открытых моделей распознавания речи . Это критически важно для доступности технологий в густонаселенной Южной Азии.
