# Янник Килчер: «Отчет Стэнфорда о LAION-5B — это атака на open-source под видом защиты детей»

Источник: https://www.youtube.com/watch?v=bXYLyDhcyWY
Канал: Yannic Kilcher
Опубликовано: 23.12.2023

---

В конце 2023 года Стэнфордская обсерватория интернета (Stanford Internet Observatory) опубликовала отчет, в котором сообщила об обнаружении более тысячи изображений с признаками насилия над детьми (CSAM) в крупнейшем открытом наборе данных LAION-5B. Это событие вызвало волну публикаций в СМИ и привело к временному удалению датасета разработчиками. Популярный AI-исследователь и блогер Янник Килчер детально разобрал этот отчет, поставив под сомнение не сам факт проблемы, а методы исследования и истинные мотивы его авторов.

## 🚩 Скандал вокруг LAION-5B: манипуляция или борьба за этику?
[[JUMP:0:01]]

Янник Килчер начинает разбор с признания важности проблемы: наличие незаконного контента в обучающих выборках — это серьезный вызов, требующий немедленного решения [0:15]. Однако сам отчет Стэнфордского центра киберполитики вызывает у него скепсис. По мнению ведущего, публикация больше напоминает «заказной материал» (hit piece), направленный на дискредитацию open-source сообщества в сфере искусственного интеллекта [3:23].

Позиция Килчера основывается на нескольких ключевых тезисах:

*   **Избирательность гнева:** исследователь отмечает, что наиболее громкая реакция последовала от «профессиональных ИИ-этиков» в Twitter и Mastodon, которые используют инфоповод для раздувания страха перед открытыми моделями [4:31].
*   **Удар по доступности:** Килчер предполагает, что конечная цель таких отчетов — заставить пользователей и компании бояться открытых данных и вернуться в эпоху «закрытых садов», когда доступ к технологиям контролировался узким кругом корпораций и госструктур [5:51].
*   **Отсутствие «ответственного разглашения»:** авторы отчета не обратились к разработчикам LAION или платформе Hugging Face заранее, чтобы тихо удалить ссылки. Вместо этого они сразу опубликовали данные в СМИ для достижения максимального медийного эффекта [8:33].

## 🛠 Методология поиска: как Стэнфорд нашел иглу в стоге сена
[[JUMP:14:40]]

В отчете описывается методика фильтрации данных LAION-5B (набора из 5 миллиардов пар «изображение-текст»), которая позволила выявить 1008 верифицированных случаев запрещенного контента [1:15].

Процесс включал несколько этапов:

1.  **Первичный отсев:** использование встроенного классификатора «небезопасного контента» (unsafe classifier) самого LAION [15:07].
2.  **PhotoDNA:** проверка изображений через систему Microsoft PhotoDNA, которая сопоставляет перцептивные хэши картинок с базами данных известных нарушений [15:21].
3.  **Project Arachnid:** передача подозрительных URL-адресов автоматизированной системе, которая затем передает их экспертам для окончательной верификации [16:41].
4.  **Расширение поиска:** использование векторных эмбеддингов для поиска визуально похожих изображений в окрестностях уже найденных нарушений (метод K-ближайших соседей или KNN) [17:09].

Килчер подчеркивает техническую иронию: исследователи использовали те самые инструменты (эмбеддинги и классификаторы LAION), которые они критикуют, чтобы доказать несовершенство датасета [16:16].

## 📉 Проблема масштаба и «нерфинг» моделей
[[JUMP:10:25]]

Особое внимание в видео уделяется критике Stable Diffusion 1.5. В отчете Стэнфорда утверждается, что эта модель остается популярной именно из-за возможности генерации порнографии, в то время как версия 2.0 была «очищена» от такого контента [11:18].

Килчер категорически не согласен с такой трактовкой:

*   **Причина популярности SD 1.5:** по мнению ведущего, версия 2.0 была признана сообществом «хуже» не из-за отсутствия NSFW-контента, а из-за общей деградации качества генерации. Он называет это «нерфингом» (умышленным ослаблением) технологий [11:44].
*   **Связь эстетики и запретного:** исследователь выдвигает философский тезис: для понимания того, что такое «красивое» или «эстетичное», модель (как и человек) должна иметь представление о «темных» и «крайних» аспектах визуальной культуры. Лишение модели этих данных делает ее менее компетентной в целом [12:10].
*   **Статистическая значимость:** Килчер указывает на цифры. 1000 изображений на 5 миллиардов — это 0,00002% датасета [26:56]. Он сравнивает это с рисками в других областях (иммиграция, разработка лекарств), где общество допускает вероятность ошибки 1 на 5 миллионов ради общей пользы системы [28:36].

## ⚖️ Резонанс и выводы
[[JUMP:21:41]]

В завершении отчета исследователи рекомендуют прекратить использование и распространение моделей, основанных на Stable Diffusion 1.5, если в них не применены жесткие фильтры безопасности [25:35].

Итоговая оценка Килчера:

*   **Позитивный эффект:** отчет привлек внимание к инструментам верификации (API и сервисам), которые позволяют проверять данные, не скачивая сам запрещенный контент [32:34].
*   **Негативный эффект:** Стэнфордские исследователи, по мнению Яника, смешивают реальную проблему безопасности с идеологической борьбой против открытых весов [24:31]. Он призывает разделять технические задачи по фильтрации данных и «нападки» на open-source, которые могут замедлить прогресс в области ИИ [29:16].

Разработчики LAION уже удалили датасет для полной очистки, пообещав вернуть его после тщательной проверки [1:56]. Таким образом, миссия исследователей была выполнена, но методы ее достижения оставили у экспертов индустрии горькое послевкусие.