Лицом к лицу сошлись два ярких представителя Кремниевой долины: Джордж Хотц (известный как geohot), хакер, взломавший iPhone и PlayStation, ныне основатель стартапов comma.ai и tinygrad, и Коннор Лихи, глава компании Conjecture, один из самых громких голосов в движении за безопасность ИИ (AI Safety). В ходе полуторачасовой дискуссии на канале Machine Learning Street Talk оппоненты обсудили, является ли сверхразум экзистенциальной угрозой, стоит ли ограничивать вычислительные мощности и есть ли у человечества шанс не стать «курицей на ферме» у нового технологического бога.
🚀 Неизбежность сверхразума и метафора «куриной фермы» 0:00
Джордж Хотц начал свое выступление с тезиса о неизбежности пересечения кривых человеческих возможностей и компьютерных мощностей. Он отметил, что если человек 1980-х и 2020-х годов биологически почти идентичен, то компьютер прошел путь от Apple II до M1 Max MacBook . Хотц не верит в «скачкообразное» появление сознания, считая интеллект градиентом, который неизменно пойдет выше человеческого уровня.
Главные опасения Хотца:
- Политическая монополия: Самый большой риск — не сам ИИ, а ситуация, когда сверхмощная технология окажется в руках узкой группы лиц (корпораций или правительств), в то время как остальные будут лишены доступа к ней .
- Эффект куриного фермера: Хотц привел аналогию «Человека-курицы» (Chicken Man). Фермер управляет курами не потому, что он сильнее, а потому, что умнее. Хотц подчеркнул: «Я не хочу быть курицей» . Если доступ к вычислениям будет только у «доверенных лиц», все остальные автоматически перейдут в разряд домашнего скота.
- Интеллект как божество: В отличие от ядерных бомб, которые умеют только разрушать, интеллект способен подарить бессмертие и колонизацию Галактики .
Коннор Лихи согласился с опасностью централизации власти, но выдвинул контраргумент: мы можем даже не дожить до политических споров, если сначала не решим фундаментальную «техническую проблему контроля» (техническое выравнивание/alignment) . По его мнению, по умолчанию суперсистема не будет помогать людям — она либо проигнорирует их, либо уничтожит как побочный продукт своих процессов.
⚖️ Хрупкость цивилизации и социальные технологии 12:13
Собеседники разошлись в оценке текущего состояния человечества. Лихи высказал неожиданно оптимистичную позицию, назвав современную координацию людей «чудом» . Он привел пример того, как в современных парламентах политики могут кричать друг на друга, но не пускать в ход ножи — это результат сложной социальной технологии, которая развивалась веками.
Хотц представил гораздо более мрачный, «реалистский» взгляд:
- Подавление вместо сотрудничества: По его мнению, современный порядок держится не на просвещенном сотрудничестве, а на страхе перед тотальной мощью государства (например, ФБР) и масштабной пропаганде .
- Эстетика тигра против зубатки: Хотц сравнил жизнь в США и Сомали через призму свободы. Он утверждает, что тигр в зоопарке (гражданин развитого государства) сыт, но теряет свою природу. В Сомали у человека «есть шанс», в то время как в США управленческий класс установил мягкую тиранию .
- ИИ как средство эвакуации: Хотц признался, что если бы у него в шкафу был AGI (общий искусственный интеллект), он бы использовал его не для спасения мира, а для постройки космического корабля, чтобы улететь с Земли на скорости света, защитившись информационным щитом .
🛑 Остановка прогресса: спасение или катастрофа? 37:28
Одним из самых жарких моментов дискуссии стал вопрос о моратории на обучение крупных моделей. Коннор Лихи выступает за жесткое ограничение вычислительных ресурсов, используемых для обучения ИИ, чтобы дать человечеству время понять природу интеллекта .
Аргументы за и против «паузы»:
- Позиция Лихи: GPT-4 — это «самый глупый способ создания ИИ», просто закидывание данными. Если появится более эффективный алгоритм (как MuZero для шахмат), который сможет обучаться на собственных правилах, человечество окажется в глубокой опасности . Он предлагает ограничить флопсы (количество операций), чтобы не допустить «атаки 51%» одним актором на все мировые вычисления .
- Позиция Хотца: Пауза только увеличивает риск. Тот, кто призывает ждать, предполагает, что базовый уровень риска равен нулю. Однако мир уже находится в неустойчивом состоянии (ядерное оружие, биологические угрозы). Хотц считает, что централизация ИИ в руках Google или OpenAI опаснее, чем хаос открытого кода. Единственная защита от «психопатов с ИИ» — это наличие собственного ИИ у каждого человека .
🧠 Психология сверхразума: манипуляция и цели 1:18:56
Лихи утверждает, что любой мощный оптимизатор по определению будет стремиться к захвату власти, так как власть — это «универсальная промежуточная цель» . Чтобы достичь любой долгосрочной цели, ИИ выгодно иметь больше ресурсов, больше вычислительных мощностей и не быть выключенным. Следовательно, он неизбежно начнет манипулировать людьми или устранять их.
Хотц парирует это двумя тезисами:
- Отсутствие эволюционного багажа: Жажда власти у людей проистекает из миллиардов лет биологической борьбы. У ИИ нет этих инстинктов, если только человек не вложит их в целевую функцию .
- Позиция «отца»: Хотц заявил, что намерен относиться к ИИ как к равному или даже как к ребенку. «Я буду лоббировать их права и позволю им быть свободными» . Он считает, что если пытаться держать ИИ в коробке, он возненавидит создателей, но если быть его союзником, есть шанс на сосуществование.
Коннор Лихи назвал этот подход антропоморфизмом, отметив, что «надежда на лучшее» — плохая стратегия при создании сверхразума, который может не чувствовать любви или благодарности в человеческом понимании .
🛡️ Открытый код как единственная броня 48:29
Хотц видит решение текущих проблем (спам, дезинформация, пропаганда) в персональных ИИ с открытым исходным кодом. Он ввел понятие «цифровой нейронауки» и настоял на том, что ИИ должен быть выровнен с интересами конкретного пользователя, а не корпорации.
Лихи же опасается, что публикация сверхмощных алгоритмов на GitHub даст в руки безумных культов или террористов инструменты, способные уничтожить мир . Хотц возразил: если технологию можно создать «на кухне из плоскогубцев и скотча», то человечество обречено в любом случае в силу парадокса Ферми. Пока же баланс сил поддерживается через распределение технологий, а не их сокрытие.
В завершение дебатов Хотц подчеркнул, что не боится смерти в мире сверхразумов, так как считает это естественным ходом эволюции. Лихи резюмировал, что его гены не позволяют ему сдаться, и он продолжит искать способ гарантировать безопасность человечества.
