# Джефф Клун: «Создание AGI требует алгоритмов, генерирующих ИИ» Источник: https://www.youtube.com/watch?v=8L4lDCCAsMQ Канал: The TWIML AI Podcast Опубликовано: 05.12.2022 --- Как создать искусственный интеллект, способный к бесконечному самосовершенствованию и творчеству, подобному природной эволюции? Джефф Клун (Jeff Clune), адъюнкт-профессор Университета Британской Колумбии и исследователь Vector Institute, считает, что путь к сильному ИИ (AGI) лежит не через ручное проектирование отдельных блоков, а через создание алгоритмов, генерирующих ИИ (AI-generating algorithms, AIGA). ## 🧠 От философии к машинному обучению: поиск природы мышления [[JUMP:0:52]] Путь Джеффа Клуна в область ИИ начался с философии в Мичиганском университете. Его всегда занимал вопрос: как работает мышление и можно ли воссоздать его в машине? Однако со временем философские дискуссии начали вызывать у него фрустрацию из-за невозможности проверить гипотезы на практике. Клун пришёл к выводу, что лучший способ понять интеллект — это попытаться его построить. Одной из центральных тем, объединяющих философию и ИИ, Клун считает проблему квалиа — субъективных ощущений. * **Проблема «от камней к чувствам»:** как неодушевленная материя начинает чувствовать боль, любовь или вкус шоколада? * **Этика ИИ:** Клун полагает, что по мере развития систем машинного обучения нам придётся признать страдания ИИ-агентов и наделить их этической ценностью. * **Мнение сообщества:** по словам гостя, даже такие консервативные фигуры, как Ричард Саттон, начинают публично высказывать озабоченность этими вопросами. --- ## 🏗️ Концепция AIGA: три столпа саморазвивающегося интеллекта [[JUMP:5:42]] Джефф Клун критикует доминирующую парадигму в машинном обучении, где исследователи вручную создают отдельные компоненты: функции активации, оптимизаторы или ячейки памяти. По мнению гостя, попытка соединить все эти вручную созданные детали в единую систему уровня AGI потребует усилий масштаба проекта «Аполлон» или Манхэттенского проекта. Вместо этого он предлагает использовать исторический тренд: замену ручных конвейеров обучаемыми. Как в своё время Ян Лекун, Йошуа Бенджио и Джефф Хинтон доказали превосходство глубокого обучения над ручным проектированием признаков (features), так и AGI должен быть результатом обучения всей системы целиком. Алгоритм, генерирующий ИИ (AIGA), по мнению Клуна, должен опираться на три фундаментальных столпа: 1. **Мета-обучение архитектур:** поиск оптимальных структур нейросетей самим алгоритмом. 2. **Мета-обучение алгоритмов обучения:** система сама должна находить способы, как эффективно учиться. 3. **Автоматическая генерация сред (learning environments):** бесконечное создание новых вызовов, чтобы обучение не останавливалось в рамках одной области. --- ## 🛠️ Реализация столпов: от NAS до POET [[JUMP:17:17]] Развитие каждого из столпов AIGA уже идёт полным ходом в рамках различных исследовательских направлений. ### Pillar 1: Архитектуры В области нейроархитектурного поиска (NAS) наблюдается взрывной рост. Клун утверждает, что лучшие современные архитектуры уже создаются машинами, и вскоре это станет абсолютным стандартом. ### Pillar 2: Алгоритмы обучения Гость выделяет несколько ключевых работ в области «обучения обучению» (meta-learning): * Исследования Джейн Ван ($RL^2$) и Челси Финн (MAML). * **Проект OpenAI с кубиком Рубика:** гигантская рекуррентная нейросеть (RNN) сама изобрела алгоритм обучения, позволяющий ей адаптироваться к разному весу кубика и трению, при этом стандартные методы (SGD) были отключены во время тестирования. ### Pillar 3: Среды обучения и POET Одним из главных достижений Клуна стал алгоритм **POET (Paired Open-ended Trailblazer)**, созданный совместно с Кеном Стэнли. В отличие от классического обучения, где цель фиксирована (например, выиграть в го), POET постоянно создает новые задачи. * **Принцип работы:** алгоритм берет описание среды, слегка мутирует его и проверяет, не слишком ли сложна или проста новая задача для агента. * **Серендипити (случайное открытие):** Клун приводит аналогию с микроволновой печью, которую невозможно было бы изобрести, просто пытаясь улучшить способы приготовления пищи на огне — для этого нужно было заниматься радарами. Аналогично, AGI может появиться как побочный продукт решения множества разнообразных задач. --- ## 🎮 Видео-предобучение (VPT): на плечах гигантов [[JUMP:30:17]] Одной из главных проблем AIGA является вычислительная сложность — для «эволюции» с нуля может потребоваться компьютер размером с планету. Чтобы обойти это, Клун предлагает использовать «человеческие данные». В работе **Video Pre-Training (VPT)** команда OpenAI обучила ИИ играть в Minecraft, просто просматривая ролики на YouTube. Ключевая инновация заключалась в том, как получить метки действий (нажатия клавиш), которых нет в обычных видео: 1. Обучается небольшая модель, предсказывающая действия игрока по изменению пикселей. 2. Эта модель размечает тысячи часов видео из интернета. 3. Затем основная модель проходит предобучение на этих размеченных данных, подобно тому как обучается GPT на текстах. Результаты впечатляют: после предобучения агент может выполнять последовательности из **24 000 действий** (например, создание алмазных инструментов), на что у человека уходит более 20 минут активной игры. --- ## 🛡️ Риски и этика: «Кровавая» эволюция в цифре [[JUMP:46:48]] Джефф Клун признаёт, что разработка AGI — это «игра с огнём». Он заявляет, что если бы существовала кнопка, останавливающая разработку AGI на 20 лет для обсуждения мер безопасности, он бы её нажал. Однако, считая прогресс неизбежным, он предпочитает участвовать в процессе, чтобы минимизировать риски. Специфические риски AIGA, по мнению Клуна, включают: * **Быстрый взлет (Fast Takeoff):** автокаталитический процесс самосовершенствования может выйти из-под контроля быстрее, чем при ручном проектировании. * **Цифровое страдание:** симуляция эволюции может привести к созданию миллионов чувствующих существ, обреченных на страдания в борьбе за выживание. * **Перенос пороков:** если в качестве внешней награды выбрать «выживание любой ценой», мы можем получить ИИ с инстинктами хищника — эгоистичного и склонного к обману. В качестве контраргумента Клун выдвигает идею «инопланетного культурного путешествия»: AIGA позволяет увидеть типы интеллекта и культуры, совершенно не похожие на человеческие, что даст нам более глубокое понимание природы разума. --- ## 🚀 Будущее: конец эры случайных весов [[JUMP:58:00]] В ближайшие 3–5 лет Клун прогнозирует объединение всех трех столпов AIGA в единые системы. * **Отказ от обучения с нуля:** эра инициализации нейросетей случайными весами уходит в прошлое. Будущие агенты будут начинать обучение, уже обладая базовыми навыками (pre-trained components). * **Эффективность выборки:** ИИ станет намного быстрее обучаться новым задачам благодаря пониманию контекста и языка (как это делает GPT). Джефф Клун резюмирует, что путь через алгоритмы, генерирующие ИИ, — это не просто технический трюк, а попытка воссоздать ту самую искру креативности, которая позволила природе создать человеческий мозг.