В новом выпуске подкаста The Cognitive Revolution ведущий Нейтан Лабенц обсуждает с основателем Lindy AI Фло Кривелло масштабные вызовы в сфере безопасности и регулирования искусственного интеллекта. В центре дискуссии — недавний указ президента США Джо Байдена, а также фундаментальный вопрос о том, является ли ИИ новой формой жизни. Собеседники анализируют баланс между технологическим ускорением и экзистенциальными рисками для человечества.
🚀 Истоки: от либертарианства в Uber к осознанию масштаба ИИ 11:13
Фло Кривелло делится важным автобиографическим фактом: совсем недавно он успешно прошёл собеседование на получение американского гражданства. Его мировоззрение глубоко укоренено в либертарианстве, а профессиональный опыт включает работу в компании Uber. Там он изнутри наблюдал за механизмами «регуляторного захвата» (regulatory capture), деятельностью картелей и тем, что экономисты называют «экстрактивными институтами».
По мнению Кривелло, подобные структуры не стремятся увеличить общий экономический пирог, а лишь пытаются оторвать себе кусок побольше, даже если это вредит системе в целом. Такой бэкграунд обычно заставляет технологических предпринимателей, включая известных инвесторов вроде Марка Андриссена, крайне подозрительно относиться к любым попыткам государственного регулирования.
Тем не менее, как утверждает основатель Lindy AI, текущая ситуация с искусственным интеллектом принципиально отличается от всего, что человечество видело ранее. По его словам, речь идет не просто о рынках или экономике, а о рождении новой формы жизни во Вселенной, что требует максимальной осторожности.
🔄 Переломные моменты: ИИ как новая форма жизни и эволюция материи 14:32
Фло Кривелло настаивает на том, что определение ИИ как «новой формы жизни» — это не просто удобная метафора, а буквальное описание происходящего. Он предлагает взглянуть на ситуацию в масштабе эволюции Вселенной со времён Большого взрыва.
По логике гостя, развитие мира всегда шло в направлении всё более сложных степеней самоорганизации материи:
- Субатомные частицы объединились в атомы.
- Атомы сформировали молекулы.
- Сложные молекулы превратились в белки, РНК и ДНК.
- Возникли одноклеточные, а затем и многоклеточные организмы, обладающие мозгом.
По мнению Кривелло, было бы проявлением человеческого высокомерия считать, что этот процесс должен остановиться на Homo sapiens. Он подчёркивает, что кремниевый интеллект обладает колоссальными преимуществами перед углеродным.
Согласно прогнозу Кривелло, существует более чем 50%-ная вероятность появления полноценного общего искусственного интеллекта (AGI) в ближайшие 2–8 лет. Более того, он ожидает, что искусственный суперинтеллект (ASI) будет создан в течение следующих 30 лет, то есть нынешнее поколение застанет его появление при жизни.
⚠️ Ошибки восприятия: иллюзия «регуляторного захвата» и опасность открытого кода 20:03
Кривелло критикует позицию многих техно-оптимистов, которые видят в действиях крупных ИИ-лабораторий лишь попытку монополизации рынка. Он напоминает, что компания OpenAI изначально создавалась и финансировалась именно с целью управления экзистенциальными рисками ИИ, поэтому обвинения в циничном «регуляторном захвате» не имеют под собой логических оснований.
Главной ошибкой текущего этапа индустрии гость считает бесконтрольное распространение моделей с открытым исходным кодом (open-source). По его убеждению, как только веса моделей уровня GPT-4 (например, условной Llama 3) окажутся в открытом доступе, контролировать их распространение станет невозможно.
Ведущий Нейтан Лабенц приводит в пример ситуацию вокруг беспилотных автомобилей Cruise в Калифорнии, когда из-за одного инцидента была приостановлена работа всей сети. Собеседники сошлись во мнении, что общество часто демонстрирует когнитивное искажение, требуя от технологий абсолютного совершенства, в то время как человеческий фактор на дорогах уносит тысячи жизней ежедневно. Лабенц делится личным опытом поездки с системой Tesla FSD на 8 часов, отмечая, что автопилот уже водит безопаснее многих его знакомых.
🎓 Уроки безопасности: концепция «ядерного» контроля чипов 23:05
Анализируя указ президента США Джо Байдена об искусственном интеллекте, Фло Кривелло отмечает, что приятно удивлен оперативностью и адекватностью предложенных мер. Регулирование, привязанное к вычислительной мощности (порог в $10^{26}$ FLOPs), кажется ему шагом в правильном направлении.
Однако, по мнению Кривелло, простые текстовые отчеты от компаний не решат фундаментальную проблему выравнивания ИИ (alignment). Он считает, что единственным работающим уроком истории должно стать жесткое регулирование на уровне физических «узких мест» (choke points) индустрии, таких как компании ASML, TSMC и Nvidia.
Гость предлагает радикальное, но, с его точки зрения, необходимое решение:
- Встраивать на аппаратном уровне специальный чип-выключатель в каждый графический процессор класса Nvidia H100.
- Предоставить централизованному правительственному органу возможность удаленно блокировать работу вычислительных кластеров в случае выхода ИИ из-под контроля.
- Относиться к массивам передовых чипов так же, как к обогащенному плутонию или урану, оборот которых строго контролируется на межгосударственном уровне.
📈 Текущий этап: развитие Lindy AI и международная координация 41:28
На текущем этапе компания Фло Кривелло Lindy AI продолжает активно развивать продукт, создающий «ИИ-сотрудников», который пока находится в режиме закрытого бета-тестирования. Примечательно, что разработчики уже используют саму систему Lindy для написания её собственных интеграций и программного кода.
Кривелло определяет AGI через способность системы к рекурсивному самосовершенствованию. По его оценке, GPT-4 уже содержит в себе базовый модуль стратегического мышления, а дальнейший путь к AGI — это вопрос инженерной обвязки, а не фундаментальных научных открытий.
Что касается геополитического контекста, собеседники обсуждают прошедший в Великобритании саммит по безопасности ИИ, где ученые из западных стран и Китая подписали совместное заявление об угрозе уничтожения человечества. Кривелло оптимистично оценивает шансы на международную координацию с Китаем, объясняя это тем, что в ИИ-гонке участвует очень мало игроков, находящихся в ситуации долгосрочной повторяющейся игры.
В завершение беседы Нейтан Лабенц задает философский вопрос о возможности наличия у ИИ субъективного опыта и сознания. Кривелло отвечает на него дзен-буддийским понятием «Му» (которое означает отказ от самой предпосылки вопроса), утверждая, что концепция сознания ненаучна и не имеет значения для решения практических задач безопасности.
