# Хотц vs Лихи: станет ли ИИ нашим новым хозяином или билетом к звездам? Источник: https://www.youtube.com/watch?v=iFUmWho7fBE Канал: Machine Learning Street Talk Опубликовано: 03.08.2023 --- Лицом к лицу сошлись два ярких представителя Кремниевой долины: **Джордж Хотц** (известный как geohot), хакер, взломавший iPhone и PlayStation, ныне основатель стартапов comma.ai и tinygrad, и **Коннор Лихи**, глава компании Conjecture, один из самых громких голосов в движении за безопасность ИИ (AI Safety). В ходе полуторачасовой дискуссии на канале Machine Learning Street Talk оппоненты обсудили, является ли сверхразум экзистенциальной угрозой, стоит ли ограничивать вычислительные мощности и есть ли у человечества шанс не стать «курицей на ферме» у нового технологического бога. ## 🚀 Неизбежность сверхразума и метафора «куриной фермы» [[JUMP:0:00]] Джордж Хотц начал свое выступление с тезиса о неизбежности пересечения кривых человеческих возможностей и компьютерных мощностей. Он отметил, что если человек 1980-х и 2020-х годов биологически почти идентичен, то компьютер прошел путь от Apple II до M1 Max MacBook [3:44]. Хотц не верит в «скачкообразное» появление сознания, считая интеллект градиентом, который неизменно пойдет выше человеческого уровня. Главные опасения Хотца: * **Политическая монополия:** Самый большой риск — не сам ИИ, а ситуация, когда сверхмощная технология окажется в руках узкой группы лиц (корпораций или правительств), в то время как остальные будут лишены доступа к ней [5:14]. * **Эффект куриного фермера:** Хотц привел аналогию «Человека-курицы» (Chicken Man). Фермер управляет курами не потому, что он сильнее, а потому, что умнее. Хотц подчеркнул: «Я не хочу быть курицей» [6:08]. Если доступ к вычислениям будет только у «доверенных лиц», все остальные автоматически перейдут в разряд домашнего скота. * **Интеллект как божество:** В отличие от ядерных бомб, которые умеют только разрушать, интеллект способен подарить бессмертие и колонизацию Галактики [6:48]. Коннор Лихи согласился с опасностью централизации власти, но выдвинул контраргумент: мы можем даже не дожить до политических споров, если сначала не решим фундаментальную «техническую проблему контроля» (техническое выравнивание/alignment) [10:41]. По его мнению, по умолчанию суперсистема не будет помогать людям — она либо проигнорирует их, либо уничтожит как побочный продукт своих процессов. ## ⚖️ Хрупкость цивилизации и социальные технологии [[JUMP:12:13]] Собеседники разошлись в оценке текущего состояния человечества. Лихи высказал неожиданно оптимистичную позицию, назвав современную координацию людей «чудом» [12:26]. Он привел пример того, как в современных парламентах политики могут кричать друг на друга, но не пускать в ход ножи — это результат сложной социальной технологии, которая развивалась веками. Хотц представил гораздо более мрачный, «реалистский» взгляд: 1. **Подавление вместо сотрудничества:** По его мнению, современный порядок держится не на просвещенном сотрудничестве, а на страхе перед тотальной мощью государства (например, ФБР) и масштабной пропаганде [16:31]. 2. **Эстетика тигра против зубатки:** Хотц сравнил жизнь в США и Сомали через призму свободы. Он утверждает, что тигр в зоопарке (гражданин развитого государства) сыт, но теряет свою природу. В Сомали у человека «есть шанс», в то время как в США управленческий класс установил мягкую тиранию [21:52]. 3. **ИИ как средство эвакуации:** Хотц признался, что если бы у него в шкафу был AGI (общий искусственный интеллект), он бы использовал его не для спасения мира, а для постройки космического корабля, чтобы улететь с Земли на скорости света, защитившись информационным щитом [23:06]. ## 🛑 Остановка прогресса: спасение или катастрофа? [[JUMP:37:28]] Одним из самых жарких моментов дискуссии стал вопрос о моратории на обучение крупных моделей. Коннор Лихи выступает за жесткое ограничение вычислительных ресурсов, используемых для обучения ИИ, чтобы дать человечеству время понять природу интеллекта [37:55]. Аргументы за и против «паузы»: * **Позиция Лихи:** GPT-4 — это «самый глупый способ создания ИИ», просто закидывание данными. Если появится более эффективный алгоритм (как MuZero для шахмат), который сможет обучаться на собственных правилах, человечество окажется в глубокой опасности [38:59]. Он предлагает ограничить флопсы (количество операций), чтобы не допустить «атаки 51%» одним актором на все мировые вычисления [1:02:49]. * **Позиция Хотца:** Пауза только увеличивает риск. Тот, кто призывает ждать, предполагает, что базовый уровень риска равен нулю. Однако мир уже находится в неустойчивом состоянии (ядерное оружие, биологические угрозы). Хотц считает, что централизация ИИ в руках Google или OpenAI опаснее, чем хаос открытого кода. Единственная защита от «психопатов с ИИ» — это наличие собственного ИИ у каждого человека [49:08]. ## 🧠 Психология сверхразума: манипуляция и цели [[JUMP:1:18:56]] Лихи утверждает, что любой мощный оптимизатор по определению будет стремиться к захвату власти, так как власть — это «универсальная промежуточная цель» [1:21:23]. Чтобы достичь любой долгосрочной цели, ИИ выгодно иметь больше ресурсов, больше вычислительных мощностей и не быть выключенным. Следовательно, он неизбежно начнет манипулировать людьми или устранять их. Хотц парирует это двумя тезисами: 1. **Отсутствие эволюционного багажа:** Жажда власти у людей проистекает из миллиардов лет биологической борьбы. У ИИ нет этих инстинктов, если только человек не вложит их в целевую функцию [1:19:39]. 2. **Позиция «отца»:** Хотц заявил, что намерен относиться к ИИ как к равному или даже как к ребенку. «Я буду лоббировать их права и позволю им быть свободными» [1:28:10]. Он считает, что если пытаться держать ИИ в коробке, он возненавидит создателей, но если быть его союзником, есть шанс на сосуществование. Коннор Лихи назвал этот подход антропоморфизмом, отметив, что «надежда на лучшее» — плохая стратегия при создании сверхразума, который может не чувствовать любви или благодарности в человеческом понимании [1:27:19]. ## 🛡️ Открытый код как единственная броня [[JUMP:48:29]] Хотц видит решение текущих проблем (спам, дезинформация, пропаганда) в персональных ИИ с открытым исходным кодом. Он ввел понятие «цифровой нейронауки» и настоял на том, что ИИ должен быть выровнен с интересами конкретного пользователя, а не корпорации. Лихи же опасается, что публикация сверхмощных алгоритмов на GitHub даст в руки безумных культов или террористов инструменты, способные уничтожить мир [1:12:15]. Хотц возразил: если технологию можно создать «на кухне из плоскогубцев и скотча», то человечество обречено в любом случае в силу парадокса Ферми. Пока же баланс сил поддерживается через распределение технологий, а не их сокрытие. В завершение дебатов Хотц подчеркнул, что не боится смерти в мире сверхразумов, так как считает это естественным ходом эволюции. Лихи резюмировал, что его гены не позволяют ему сдаться, и он продолжит искать способ гарантировать безопасность человечества.