# Гонка за AGI: Рид Хоффман и Грег Брокман о будущем человечества Источник: https://www.youtube.com/watch?v=19V4mKPr0n4 Канал: Startup Grind Опубликовано: 05.03.2019 --- Переход от традиционного программирования к машинам, способным обучаться самостоятельно, стал отправной точкой для создания одной из самых влиятельных технологических организаций современности. В рамках беседы на Startup Grind соучредитель OpenAI Грег Брокман и инвестор Рид Хоффман обсуждают, как экспоненциальный рост вычислительных мощностей и новые подходы к обучению ведут человечество к созданию сильного искусственного интеллекта (AGI). ## 🚀 Миссия OpenAI: от статьи Тьюринга до создания AGI [[JUMP:0:00]] Путь Грега Брокмана в мир технологий начался с прочтения работы Алана Тьюринга 1950 года о тесте Тьюринга. Брокман вспоминает, что в то время программирование воспринималось как процесс записи сложного доменного знания в виде кода. Идея Тьюринга о том, что машина может сама научиться решать задачу, которую человек даже не может описать, показалась ему «самой умопомрачительной вещью на свете». История создания OpenAI: * **2015 год:** Рид Хоффман и Грег Брокман встречаются, когда последний ищет следующий большой проект после ухода из Stripe. * **Решение:** Сэм Альтман убеждает Грега идти прямым путем к общему интеллекту, так как индустрия уже находилась на экспоненциальной кривой. * **Основание:** Группа единомышленников объединяется, чтобы гарантировать, что создание AGI пройдет успешно и безопасно. По определению Грега Брокмана, миссия OpenAI заключается в том, чтобы AGI приносил пользу всему человечеству. Под AGI компания понимает системы, которые превосходят людей в выполнении большинства экономически ценных задач. По мнению гостя, создание такой технологии будет иметь трансформационный эффект, сравнимый с появлением интернета, но с гораздо более высокой скоростью изменений. ## 🔓 Что на самом деле означает «Open» в названии компании? [[JUMP:4:23]] Существует распространенное заблуждение, что OpenAI — это проект с открытым исходным кодом. По словам Грега Брокмана, концепция «открытости» в контексте AGI трансформировалась. Основные положения стратегии открытости OpenAI: * **Приоритет безопасности:** Из-за соображений безопасности и защиты компания планирует сокращать традиционные публикации в будущем. * **Устав OpenAI (Charter):** Документ, в котором зафиксировано обязательство сделать так, чтобы выгоды от AGI были доступны каждому. * **Инвариант:** Ключевым и неизменным остается не открытость кода, а миссия по обеспечению всеобщего блага. ## 🧠 Исследовательская программа: как «вырастить» разум [[JUMP:5:16]] Грег Брокман выделяет три столпа современного прогресса в области ИИ: массивные вычислительные мощности, масштабируемые алгоритмы (глубокое обучение) и доступность данных. В OpenAI верят в теорию, согласно которой увеличение масштаба нейронной сети при наличии правильных данных и архитектуры неизменно ведет к улучшению результатов. Одним из прорывных направлений стало обучение с подкреплением (Reinforcement Learning), где агент генерирует данные для обучения, играя сам с собой. Брокман выделяет два типа мышления, которые необходимо воспроизвести в ИИ (по аналогии с теорией Даниэла Канемана): 1. **Система 1 (Рефлексы):** Инстинкты и быстрые реакции. Текущие игровые агенты (Dota, StarCraft) достигли в этом совершенства, проведя в симуляции тысячи лет. 2. **Система 2 (Глубокое мышление):** Способность к длительному планированию и размышлению, например, решению задач по математическому анализу. По мнению Грега, это тот пробел, который еще предстоит преодолеть. Особое внимание уделяется играм как полигону для исследований. В отличие от шахмат, где победа достигалась простым перебором позиций, современные киберспортивные дисциплины требуют «искусственной интуиции» и стратегического планирования на разных временных отрезках. По утверждению Брокмана, если ИИ может превзойти профессиональных игроков, которые посвятили играм жизнь, значит, система научилась чему-то действительно значимому. ## 📈 Драйверы экспоненты: закон 10-кратного роста [[JUMP:13:11]] Одним из самых удивительных открытий OpenAI стал масштаб роста вычислительных мощностей. Исследование компании показало, что объем вычислений, затрачиваемых на крупнейшие результаты в ИИ, рос более чем в 10 раз ежегодно на протяжении последних шести лет. Факторы, подпитывающие этот рост: * **Параллелизм вместо закона Мура:** Когда уменьшать транзисторы стало сложно, инженеры перешли к объединению чипов в массивные системы. Нейронные сети идеально подходят для параллельных вычислений. * **Масштабируемое оборудование:** В 2012 году нейросети обучали на 16 000 процессорных ядер, а сегодня используются специализированные решения вроде Google TPU. В 2017 году OpenAI удалось достичь линейного масштабирования до 124 000 GPU. * **Алгоритмический прогресс:** Иногда фундаментальный прорыв заключается в изменении всего одной строки кода. Грег приводит пример: для масштабирования на тысячи GPU потребовалось изменить лишь одну константу, отвечающую за скорость обучения (learning rate), сделав её пропорциональной объему данных. ## 🛡️ Безопасность и «Координированная конкуренция» [[JUMP:16:39]] В вопросе будущего ИИ Грег Брокман занимает центристскую позицию. Он считает, что создатели технологий не могут изобрести то, что не изобрел бы кто-то другой, но они могут задать «начальные условия» рождения технологии. Брокман и Хоффман обсудили геополитический аспект, в частности инициативы Китая и США. По мнению Грега, наиболее продуктивный подход — это «координированная конкуренция». Ключевые тезисы по безопасности и политике: * **Стандартизация:** По аналогии с ремнями безопасности в автомобилях, все страны должны договориться о стандартах безопасности ИИ. * **Избегание гонки вооружений:** OpenAI опасается, что на поздних этапах разработки AGI компании или страны могут пожертвовать безопасностью ради скорости. В такой гонке победит тот, кто создаст самую небезопасную систему. * **Техническая безопасность:** Это не только вопрос отсутствия предвзятости, но и проблема контроля над «автономными системами» (аналогия с корпорациями, максимизирующими прибыль любой ценой). * **Обучение ценностям:** Брокман выражает оптимизм по поводу того, что системы ИИ могут научиться человеческим предпочтениям, анализируя данные, а не следуя жестко прописанным правилам, которые человек не в состоянии сформулировать. ## 🏢 ИИ как бизнес: иллюзии и реальность [[JUMP:25:25]] Для предпринимателей Грег Брокман озвучивает довольно суровый тезис: по его мнению, современные технологии ИИ сами по себе не являются хорошим способом построения самостоятельного бизнеса. Аргументы Брокмана: * **ИИ — это усилитель:** Он отлично работает для крупных компаний с огромной базой пользователей (например, улучшение поиска фотографий на 10%). * **Сложность для стартапов:** Чтобы создать сервис на базе ИИ, вам всё равно нужно проделать огромную работу по продажам, поддержке и маркетингу. Основная часть работы остается такой же, какой она была всегда в стартапах. * **Стратегия OpenAI:** Несмотря на потенциальную прибыль от прикладных решений, компания сознательно отказывается от них, чтобы оставаться на острие экспоненты AGI. Грег отмечает, что в мире существует всего два или три реальных проекта по созданию AGI, так как это требует огромных ресурсов и редких талантов. ## 🔮 Будущее: мир изобилия и поиск смысла [[JUMP:30:26]] В финале беседы Рид Хоффман и Грег Брокман обращаются к утопическим видениям будущего. Грег считает, что наше представление о технологиях часто формируется научной фантастикой, где почти нет позитивных сценариев развития ИИ, за исключением серии книг Иэна Бэнкса «Культура». Прогнозы на эпоху после достижения AGI: 1. **Постдефицитная экономика:** Мир, где у каждого достаточно еды и медицины, а выживание не требует борьбы. 2. **Дефицит смысла:** Брокман утверждает, что поиск смысла — это процесс, который по своей природе требует усилий. Даже в идеальном мире людям придется прилагать усилия, чтобы чувствовать значимость своей жизни. 3. **ИИ как помощник:** В качестве примера идеального сценария Грег приводит фильм «Она» (Her), где система просто пытается помочь и приносит пользу людям. Рид Хоффман резюмирует, что проект OpenAI является «лунным выстрелом» (moonshot) невероятного масштаба, направленным на благо всего человечества.