Битва за Сингулярность: как искусственный интеллект изменит софт и рынок труда

The Cognitive Revolution 841 32 мин 8 мин 23.02.2023
Главное

Бурное развитие искусственного интеллекта разделило технологическое сообщество на оптимистов, техно-скептиков и сторонников апокалиптических сценариев. В рамках подкаста «The Cognitive Revolution» и специального выпуска «Moment of Zen» встретились ведущие предприниматели и мыслители Кремниевой долины — Амджад Масад (Replit), Фло Кривелло (Teamflow), Антонио Гарсиа Мартинес (Spindle) и Дэн Ромеро (Farcaster). Участники дискуссии сошлись в жарком споре о том, грозит ли человечеству гибель от рук сверхразума, как ИИ изменит профессию программиста и какие компании смогут заработать на новой технологической волне, а какие превратятся в биржевой товар.

🔀 Великая конвергенция и природа ИИ-прорыва 0:00

Фло Кривелло описывает текущий этап развития технологий как «третью великую конвергенцию». По его словам, этот процесс циклической эволюции ИИ выглядит следующим образом:

По мнению Кривелло, главная особенность современных LLM заключается в их феноменальной способности манипулировать языком. Поскольку практически любую задачу в человеческой деятельности можно переформатировать как языковую, ИИ неожиданно продемонстрировал высокую эффективность в самых разных сферах — от написания кода и решения математических задач до систем автоматизации продаж и управления робототехникой. Кривелло убежден, что даже если новые фундаментальные открытия прекратятся прямо сейчас, потенциал уже существующих технологий гарантирует колоссальные изменения во всей человеческой цивилизации в ближайшие 10 лет.

💀 Экзистенциальный риск и Сингулярность: погибнет ли человечество? 4:26

Фло Кривелло признается, что его личные прогнозы относительно сроков появления сильного искусственного интеллекта (AGI) стремительно сокращаются, а уровень тревоги растет. Он описывает классический сценарий рекурсивного самосовершенствования ИИ, при котором система создает свои более продвинутые версии, выходя на триллионы параметров. Главную угрозу Кривелло видит в децентрализации технологии: в будущем AGI будет доступен любому человеку с ноутбуком, а значит, задачу безопасного «выравнивания» (alignment) целей ИИ с человеческими ценностями придется успешно решить не один, а миллионы раз.

Амджад Масад формулирует сильную версию аргументации Элиезера Юдковского и Пола Кристиано. Этот подход базируется на секулярном взгляде на природу человека: если человеческий мозг является «мясным компьютером», то нет никаких физических законов, запрещающих воссоздать его функции на базе машин Тьюринга. Соответственно, создание ИИ человеческого уровня неизбежно повлечет за собой «технологический взрыв». Масад отмечает, что в OpenAI уже используют GPT-4 для обучения GPT-5, и со временем этот цикл сократится до миллисекунд, ознаменовав наступление Сингулярности по Рэймонду Курцвейлу. Сторонники Юдковского утверждают, что наиболее вероятным исходом такого взрыва станет гибель человечества, поскольку направить гигантскую вычислительную силу в безопасное русло практически невозможно из-за неспособности машины понять тонкие человеческие предпочтения.

Антонио Гарсиа Мартинес жестко критикует подобные апокалиптические прогнозы, называя их полной чушью. По его мнению, подобные страхи перед концом света отражают скрытые фантазии гиков о мире «Безумного Макса», где в отсутствие закона и порядка именно программисты возглавят новое общество. Мартинес проводит параллель между трангуманизмом и христианской эсхатологией, заявляя, что идеи Курцвейла о Сингулярности — это точная копия религиозных проповедей о Вознесении, где библейские термины заменили на научные. При этом Мартинес не исключает «теорию домашней кошки» (аналогию с романом «Машина времени» Герберта Уэллса), согласно которой человечество может превратиться в инфантильных элоев, живущих на поверхности, пока машины в роли морлоков обеспечивают их жизнедеятельность.

Амджад Масад добавляет, что людям свойственно наделять субъектностью (agency) любые сложные системы, точно так же как дети дают имена своим игрушкам или коробкам. По его словам, ИИ — это исключительно мощный инструмент, новый тип компьютера, на базе которого Replit строит свои продукты. Масад призывает к интеллектуальной честности и напоминает, что человечество до сих пор не понимает природу сознания. Для подлинной субъектности, способной уничтожить мир, необходимы планирование, сильные эмоции и модель психики (theory of mind), чего алгоритмы делать не умеют, даже если успешно имитируют человеческое общение или цифровых подружек.

💻 Сверхпродуктивность программистов: от 10x к 100x-инженерам 11:23

Амджад Масад подчеркивает, что архитектура Transformer принесла огромный скачок в генерализации систем. Создание программного обеспечения перестает требовать владения архаичными тайными знаниями: теперь достаточно писать инструкции на обычном английском языке. Передача возможностей высококлассных инженеров широким массам окажет сильный дефляционный эффект и приведет к появлению нового поколения предпринимателей-миллиардеров, способных в одиночку создавать масштабные продукты.

Отвечая на вопрос о будущем образования, Масад заявляет, что обязательно будет учить своих детей программированию. Поскольку точность ИИ при написании кода никогда не достигнет 100%, ключевым навыком станет дебаггинг (отладка) и чтение чужого кода. По мнению Масада, разработчики интерфейсов (front-end) трансформируются в менеджеров проектов, которые будут сопрягать работу различных LLM. Он упоминает «черную таблетку Стива Джобса» — концепцию, разделившую людей на программистов и конечных пользователей интерфейсов, и прогнозирует возврат к эпохе, когда обычные люди будут массово создавать персональный софт под свои локальные задачи.

Участники дискуссии соглашаются, что ИИ не заменит разработчиков, а превратит сильного 10x-инженера в 100x-инженера. Фло Кривелло добавляет, что люди без технических навыков смогут выполнять базовые инженерные задачи. Он обращает внимание на исследование Constitutional AI от компании Anthropic, посвященное обучению моделей на основе обратной связи от самого ИИ (RLAIF). При этом Кривелло выделяет две главные слабости текущих моделей:

По прогнозу Кривелло, в будущем ИИ научится самостоятельно определять часто повторяющиеся задачи и писать под них системный код, чтобы минимизировать издержки и повысить надежность вычислений. Масад выражает досаду из-за того, что современная инженерия отстает от возможностей ИИ, и признается, что интеграция LLM в продукт Ghost Writer от Replit — это лишь поверхностное освоение потенциала технологии, которая уже сегодня позволяет автоматизировать сложные цепочки действий вроде бронирования авиабилетов через API.

💰 Экономика фриланса, баунти-системы и налог на данные 19:12

Размышляя о будущем рынка труда, Амджад Масад ссылается на идеи из книги «Суверенная личность» (The Sovereign Individual). Согласно этой концепции, синергия ИИ и криптовалют позволит людям отказаться от традиционной полной занятости в пользу фриланса, мгновенно создавая и распуская компании под конкретные проекты. Масад отмечает изменение амбиций молодых программистов: они больше не стремятся попасть в штат Microsoft или Facebook, а хотят максимизировать личную свободу и строить собственный бизнес. Собеседники предполагают, что автоматизация позволит командам из одного-двух человек создавать компании стоимостью в миллиарды и даже триллионы долларов, напоминая об исторической сделке по продаже мессенджера WhatsApp за $20 млрд при штате всего в 40-50 сотрудников.

Антонио Гарсиа Мартинес категорически не согласен с перспективами систем проектных вознаграждений (баунти), заявляя, что этот элемент Web3 полностью провалился на практике. По его мнению, ни один высококлассный 10x-инженер, стремящийся к созданию капитала поколений (около $100 млн), не станет тратить время на выполнение мелких задач на платформе типа Mechanical Turk. Корпорации вроде Google держат 120 тысяч сотрудников и платят по $500 тыс. в год специалистам, которые могут заниматься лишь имитацией бурной деятельности («варить латте»), ради возможности задействовать их уникальный талант в критический момент времени. Удержание талантов внутри компаний Мартинес считает абсолютно рациональным экономическим поведением.

Масад возражает, проводя аналогию с Uber и DoorDash: автоматизация снижает транзакционные издержки выхода на рынок, делая рабочую силу доступной по требованию без необходимости содержать постоянный штат «слуг». Кроме того, Масад считает этически правильным внедрение систем микровыплат за создание данных. По его мнению, если вклад авторов Википедии можно отследить на уровне отдельных токенов, компании будущего должны выплачивать им долю выручки (revenue share) за использование их интеллектуальной собственности при обучении коммерческих моделей.

📈 Капитализация ИИ: долговечные бизнесы против коммодитизации 25:01

Отвечая на вопрос о стратегиях инвестирования, Фло Кривелло разделяет ИИ-рынок на три категории: разработчики базовых моделей, а также горизонтальные и вертикальные приложения. Главным защитным барьером (мостом) для создателей моделей Кривелло считает эффект масштаба: обучение GPT-4 обошлось примерно в $100 млн, а стоимость инференса (запуска готовой модели) превышает эти затраты на несколько порядков, что вынуждает OpenAI привлекать гигантские раунды финансирования.

Антонио Гарсиа Мартинес парирует, что сами по себе ИИ-алгоритмы незащищаемы с точки зрения интеллектуальной собственности, сравнивая их с методом линейной регрессии. Лидерство Google, по мнению Мартинеса, держится не на уникальности алгоритмов, а на эксклюзивном доступе к датасету поисковых запросов всего мира. Он скептически оценивает волну стартапов, называя их «тонкими интерфейсными оболочками поверх ChatGPT». Мартинес утверждает, что генерация текста, музыки и изображений стремительно обесценивается, а ключевая ценность переходит к каналам дистрибуции контента, что укрепит позиции таких гигантов, как YouTube и TikTok.

Фло Кривелло выдвигает радикальный тезис: в течение следующих 20 лет вся интеллектуальная работа будет полностью автоматизирована, поскольку любой белый воротничок — это лишь логическая функция между клавиатурой и монитором. Мартинес напоминает, что подобные заявления технологическое сообщество слышит со времен Марвина Мински в 1960-х годах, и призывает разделять реальные точки перегиба и долгосрочные тренды автоматизации.

В ответ Кривелло приводит в пример академический бенчмарк Big Bench, в котором современные ИИ-системы превзошли средних выпускников американских колледжей на широком спектре комплексных задач. Мартинес парирует это ссылкой на историческую победу суперкомпьютера Deep Blue над Гарри Каспаровым в шахматы. Он цитирует знаменитое высказывание Эдсгера Дейкстры: «Вопрос о том, умеет ли компьютер думать, не важнее вопроса о том, умеет ли подводная лодка плавать». По слова Мартинеса, способность машины быстро фильтровать данные или ранжировать рекламу превосходит человеческие возможности, но это не тождественно обладанию подлинным разумом.

Подводя итог, Амджад Масад выражает скептицизм по отношению к стартапам формата «ИИ-первично» (AI-first). По его оценке, интеграция ИИ-функций в уже существующие продукты с развитой дистрибуцией (например, в Notion) экономически гораздо эффективнее создания новых платформ с нуля. Масад демонстрирует невероятную универсальность современных LLM на примере: с его слов, создать собственный аналог Google Translate можно за три секунды, задав модели всего один базовый пример соответствия слов. Тем не менее, Масад рекомендует инвесторам и соискателям придерживаться консервативной инвестиционной стратегии: вкладываться в инфраструктурные компании (Nvidia), провайдеров базового интеллекта (OpenAI), инструменты для разработчиков (fine-tuning, prompt IDE) и успешные стартапы на стадии роста.

💬 Цитаты

«Процесс обучения GPT-4 обошелся примерно в 100 миллионов долларов между расходами на разметку данных и вычисления.»

Фло Кривелло 25:39

«Вопрос о том, умеет ли компьютер думать, не важнее вопроса о том, умеет ли подводная лодка плавать.»

Антонио Гарсиа Мартинес 29:44

«Любой классный 10x-инженер благодаря ИИ превратится в 100x-инженера.»

Амджад Масад 16:10
👥 Спикеры
📚 Упомянутые книги
🔗 Упомянутые сайты и проекты
📖 Термины
AGI (Artificial General Intelligence)
Сильный искусственный интеллект, обладающий способностью выполнять любые интеллектуальные задачи на уровне человека или выше.
LLM (Large Language Model)
Большая языковая модель, обученная на огромных массивах текстовых данных для понимания и генерации естественного языка.
Сингулярность
Гипотетический момент в будущем, когда технологическое развитие становится неуправляемым и необратимым из-за самосовершенствующегося ИИ.
Трансформер (Transformer)
Архитектура нейронных сетей, основанная на механизме внимания, ставшая фундаментом для всех современных языковых моделей.
Инференс (Inference)
Процесс работы уже обученной нейросети, когда она генерирует ответы на основе поступающих от пользователя запросов.
RLAIF (Reinforcement Learning from AI Feedback)
Метод обучения моделей с подкреплением на основе обратной связи, генерируемой другой ИИ-системой, вместо участия человека.
📊 Цифры
🗓 Хронология
  1. 2012 год Первая конвергенция в ИИ: триумф глубокого обучения и распознавания образов на базе ImageNet.
  2. 2017 год Вторая конвергенция в ИИ: публикация статьи о механизме внимания и появление архитектуры Transformer.
  3. 2022 год Начало третьей конвергенции: массовый прорыв больших языковых моделей и запуск ChatGPT.
⚖️ Другая сторона
Искусственный интеллект OpenAI Амджад Масад Антонио Гарсиа Мартинес Nvidia Replit