# Коннор Лихи из EleutherAI: «Мы строим джинна, который может нас взорвать» Источник: https://www.youtube.com/watch?v=MsFP6yrbhcY Канал: Eye on AI Опубликовано: 12.01.2022 --- В мире искусственного интеллекта долгое время доминировало убеждение, что создание сверхмощных моделей — прерогатива лишь технологических гигантов уровня Google или OpenAI. Однако Коннор Лихи, сооснователь хакерского коллектива EleutherAI, на собственном примере доказывает, что децентрализованные группы энтузиастов способны играть в той же лиге. В беседе с Крейгом Смитом он раскрывает внутреннюю кухню разработки больших языковых моделей (LLM) и предупреждает о рисках, связанных с гонкой вооружений в сфере ИИ. ## 🛠 Демократизация ИИ: Хакеры против корпораций [[JUMP:01:18]] Проект EleutherAI возник как «децентрализованный исследовательский коллектив», родившийся из случайной реплики в чате. Коннор Лихи описывает участников как «кучку странных людей», которые решили бросить вызов монополии крупных лабораторий на передовые исследования [01:32]. Несмотря на отсутствие у большинства участников профильных ученых степеней, коллектив смог создать и выпустить в открытый доступ модель GPT-J с 6 миллиардами параметров [02:52]. По словам Лихи, успех проекта обусловлен специфической культурой: * В Discord-сервере проекта состоят более 10 000 человек, из которых около 100–200 регулярно обсуждают свежие научные статьи, а 10–20 — составляют костяк разработчиков [03:41]. * Участники считают себя наследниками классической хакерской культуры, адаптированной под современные реалии машинного обучения. * Главное достижение группы — GPT-J — по своим возможностям на момент выхода стала одной из самых мощных моделей, доступных публично. ## ⚙️ Математика против инженерии: Как строятся LLM [[JUMP:04:48]] Техническая сторона создания моделей, по мнению Лихи, полна парадоксов. С одной стороны, теоретическая база и алгоритмы (преимущественно архитектура Transformer) общеизвестны и понятны [07:28]. С другой — практическая реализация требует колоссальных инженерных усилий. Лихи выделяет несколько критических аспектов масштабирования моделей: 1. **Проблема памяти.** Когда модель перешагивает порог в несколько миллиардов параметров, она перестает помещаться в память одного графического процессора (GPU) [06:49]. Это требует разработки сложных схем распределения модели между несколькими устройствами. 2. **Аппаратные ограничения.** Для обучения больших моделей критически важна не только мощность процессоров, но и скорость сетевого соединения между ними. Лихи отмечает заслуги компании NVIDIA, которая доминирует на рынке благодаря высокоскоростным интерконнектам (после поглощения Mellanox) [11:38]. 3. **Вычислительные ресурсы.** GPT-J обучалась с использованием мощностей Google Cloud в рамках программы поддержки академических исследований (TFRC) [05:27]. Лихи подчеркивает, что основным автором кода, позволившего запустить модель на специализированных чипах TPU, стал Бен Ванг (ныне сотрудник OpenAI). Интересно, что сам код модели может занимать всего несколько сотен или тысяч строк, так как он опирается на высокоуровневые библиотеки (TensorFlow, PyTorch) [10:22]. Сложность заключается в настройке процесса обучения, борьбе с численными ошибками и оптимизации производительности. ## 🇨🇳 Китайский масштаб: WuDao 2.0 и магия Mixture of Experts [[JUMP:12:05]] Обсуждая китайскую модель WuDao 2.0, которая в десять раз больше GPT-3 (1,75 трлн параметров против 175 млрд), Лихи призывает к осторожности в сравнениях. Он объясняет разницу между «плотными» (dense) моделями и моделями «смеси экспертов» (Mixture of Experts, MoE) [12:46]. Суть феномена MoE, по словам гостя: * В плотной модели (как GPT-3) при каждом запросе работает каждый параметр [12:59]. * В MoE-модели (как WuDao или Switch Transformer от Google) активируется лишь часть системы — «эксперты». Остальные в этот момент неактивны. * Это позволяет заявлять о триллионах параметров, но такие параметры «стоят меньше» с точки зрения производительности на единицу объема, чем параметры в плотных моделях [13:14]. Лихи считает, что гигантские цифры часто используются для громких пресс-релизов, хотя реальная эффективность таких систем может быть ниже ожидаемой при слепом масштабировании [13:51]. ## 🧠 Феномен GPT-3: Когда количество переходит в качество [[JUMP:14:29]] Главным научным открытием современности Лихи называет успех GPT-3. По его мнению, научное сообщество еще не в полной мере осознало шокирующий факт: простое увеличение масштаба (больше данных, больше вычислителей) позволило модели разблокировать навыки, которым её никогда не учили намеренно [16:00]. Модель научилась писать код, решать математические задачи и вести диалог без специального инжиниринга этих функций [16:13]. Лихи проводит параллель с «Горьким уроком» Ричарда Саттона: простые алгоритмы, способные эффективно использовать огромные вычисления, в конечном итоге всегда побеждают сложные «умные» алгоритмы, созданные вручную учеными [17:58]. ## ⚠️ Угроза экзистенциального риска: Джинн в черном ящике [[JUMP:20:10]] Одной из самых тревожных тем беседы стал вопрос безопасности и контроля над ИИ. Лихи сравнивает современный ИИ с «инопланетным разумом», принципы работы которого внутри «черного ящика» мы понимаем крайне плохо [20:24]. Ключевые опасения Коннора Лихи: * **Проблема джинна.** ИИ — это идеальная машина для оптимизации целей. Как в классических сказках, джинн может исполнить желание буквально, что приведет к катастрофическим последствиям [20:37]. * **Гонка вооружений.** Соревнование между США и Китаем вынуждает стороны «срезать углы» в вопросах безопасности ради скорости [21:03]. Лихи опасается, что человечество строит «джинна, который нас взорвет» [20:51]. * **Закон безумной науки.** Лихи упоминает концепцию, согласно которой ежегодно минимальный уровень интеллекта, необходимый для уничтожения мира, снижается на один пункт [22:39]. Ведущий Крейг Смит предположил, что ИИ может стать инструментом глобальной координации, способным найти идеальные компромиссы между враждующими политическими системами [24:36]. Лихи соглашается, что ИИ мог бы «доказать» честность намерений сторон через проверку исходного кода, но подчеркивает: для этого ИИ сам должен быть подконтрольным и заслуживающим доверия [25:14]. ## 🛑 Можно ли остановить прогресс? [[JUMP:25:41]] Несмотря на открытость разработок EleutherAI, Лихи признает, что создание по-настоящему опасных моделей пока ограничено огромным порогом входа. «Трудно спрятать суперкомпьютер стоимостью 100 миллионов долларов», — иронизирует он [26:06]. Тем не менее, Лихи не питает иллюзий относительно будущего: * Шансы на выживание человечества в этом столетии он оценивает как не самые высокие [22:27]. * Основная мотивация EleutherAI — передать инструменты исследования безопасности в руки максимально широкого круга независимых ученых, чтобы ускорить решение проблемы контроля (alignment problem) раньше, чем наступит дедлайн [23:56].