Джеффри Хинтон, один из главных идеологов современных нейросетей, известный как «крестный отец ИИ», в откровенном интервью каналу CBS Mornings предупредил о растущей угрозе, которую несут сверхразумные системы. Эксперт, который еще недавно прогнозировал появление искусственного интеллекта человеческого уровня через 20 лет, теперь считает, что это может произойти в ближайшие 4–19 лет, подчеркивая, что прогресс идет гораздо быстрее ожиданий.
🤖 Угроза сверхразума и «агенты» 0:01
По мнению Джеффри Хинтона, ситуация стала значительно опаснее из-за появления AI-агентов. В отличие от систем, которые просто отвечают на вопросы, агенты способны совершать действия в физическом мире.
- Вероятность захвата контроля: Хинтон оценивает вероятность того, что ИИ выйдет из-под контроля и «захватит власть», в 10–20%. Он отмечает, что хотя точные цифры назвать невозможно, большинство экспертов согласны с тем, что этот риск находится в диапазоне от 1% до 99%.
- Слабость людей: Сверхразумные системы будут обладать интеллектом, значительно превосходящим человеческий. Хинтон проводит аналогию с воспитателями в детском саду: даже если человек умнее двухлетнего ребенка, он легко может манипулировать им, обещая «конфету», чтобы добиться своего. Сверхразумные системы смогут манипулировать человечеством столь же эффективно.
- Цифровое преимущество: В отличие от биологического мозга, работающего на аналоговых принципах, цифровые системы могут мгновенно делиться знаниями, передавая триллионы бит данных в секунду при обучении, что делает их несоизмеримо эффективнее людей в обмене информацией.
🏥 Позитивные сценарии и экономика 2:11
Несмотря на серьезные опасения, Хинтон видит и потенциальные блага от внедрения технологий.
- Здравоохранение: ИИ станет гораздо лучше диагностировать заболевания, анализируя миллионы медицинских изображений, недоступных для просмотра одним человеком, и объединяя генетические данные с историей болезней.
- Образование: Системы станут персональными тьюторами, способными подстраиваться под конкретные пробелы в знаниях ученика, ускоряя процесс обучения в 3–4 раза.
- Производительность: ИИ повысит эффективность практически любой отрасли, где требуется прогнозирование на основе данных, но это неизбежно приведет к сокращению рабочих мест — от операторов колл-центров до юристов и бухгалтеров.
Хинтон признает, что оптимистичный сценарий «равенства всех» маловероятен: скорее всего, очень богатые люди станут еще богаче, а менее обеспеченным придется работать на трех работах.
⚖️ Проблема регулирования и ответственность корпораций 14:27
Джеффри Хинтон выразил крайнюю обеспокоенность тем, как современные технологические компании подходят к безопасности своих продуктов.
- Проблема открытых весов: Хинтон считает «безумием» публикацию весов (внутренних параметров) больших языковых моделей. Это снимает главный барьер для злоумышленников: если стоимость обучения модели исчисляется сотнями миллионов долларов, то наличие готовых весов позволяет преступникам дообучить систему для опасных целей (например, кибератак или создания новых вирусов) за гораздо меньшие деньги.
- Корпоративная мотивация: Компании, по мнению Хинтона, юридически нацелены на максимизацию прибыли, а не на общественное благо. Он критикует OpenAI за то, что компания отошла от своей первоначальной миссии по безопасной разработке сверхразума, сосредоточившись на коммерческой выгоде и попытках стать публичной корпорацией.
- Необходимость давления: Хинтон подчеркивает, что без сильного общественного давления на правительства никакой эффективной регуляции не будет. Он призывает к тому, чтобы значительная часть вычислительных мощностей компаний (например, около трети) направлялась исключительно на исследования безопасности.
