# Джеффри Хинтон: «Человечество — лишь промежуточная фаза эволюции ИИ» Источник: https://www.youtube.com/watch?v=EnmetgyiMic Канал: Тест Тьюринга Опубликовано: 29.05.2023 --- ## «Крестный отец ИИ»: Джеффри Хинтон о рисках цифрового разума и закате человечества [[JUMP:0:03]] Искусственный интеллект стремительно перестает быть темой научной фантастики, становясь неотъемлемой частью нашей реальности. О том, что ждет человечество в эпоху развитых нейросетей, рассуждает один из «отцов-основателей» современного ИИ, профессор Университета Торонто и бывший вице-президент Google Джеффри Хинтон. В своем выступлении для MIT он объясняет, почему кардинально пересмотрел взгляды на природу цифрового интеллекта и почему считает развитие ИИ экзистенциальной угрозой, которую практически невозможно остановить. ### Переосмысление природы интеллекта [[JUMP:2:12]] Джеффри Хинтон десятилетиями работал над созданием методов глубокого обучения, включая алгоритм обратного распространения ошибки, ставший фундаментом для современных нейросетей. Однако результаты работы GPT-4 заставили его изменить свои научные и мировоззренческие установки. * **Биологический vs. Цифровой разум:** Ранее Хинтон полагал, что компьютерные модели помогают лучше понять работу человеческого мозга. Теперь он убежден, что эти системы работают принципиально иначе. * **Эффективность обучения:** По мнению ученого, цифровые нейросети обучаются гораздо эффективнее людей. Имея около одного триллиона синаптических связей (против 100 триллионов у человека), они способны «упаковывать» гораздо больше знаний в меньший объем параметров. * **Масштабируемость:** Главное преимущество цифрового интеллекта — возможность мгновенного обмена опытом между тысячами копий одной и той же модели. Если одна модель обучается на подмножестве данных, этот опыт мгновенно становится доступен всем остальным, чего биологический мозг, ограниченный индивидуальным опытом, позволить себе не может. ### Механика обучения: как это работает [[JUMP:4:04]] Метод обратного распространения ошибки позволяет нейросетям обучаться, корректируя свои внутренние параметры (веса) на основе выявленных ошибок. 1. **Детекция признаков:** Сначала нейросеть «учится» выявлять базовые элементы, например, границы объектов на изображениях, меняя интенсивность весов для различных пикселей. 2. **Иерархия абстракций:** Последующие слои сети распознают более сложные комбинации — углы, формы, части объектов (например, клюв или глаз птицы), а затем собирают их в полноценный образ. 3. **Коррекция весов:** При получении неверного ответа алгоритм «пропускает» ошибку в обратном направлении, вычисляя, как именно нужно изменить каждый вес, чтобы в будущем вероятность правильного распознавания увеличилась. ### Риски и проблема «выравнивания» [[JUMP:13:48]] Хинтон всерьез обеспокоен тем, что развитие ИИ может выйти из-под контроля. Его опасения связаны с тем, что машины начинают проявлять способности к рассуждению, здравому смыслу и манипулированию людьми. * **IQ и мотивация:** Ученый проводит параллель с гипотетическим улучшением медведя гризли: сначала мы делаем его полезным помощником, но что произойдет, если его интеллект многократно превысит человеческий? * **Риск манипуляции:** Обучая ИИ использовать огромные массивы данных, мы учим его и тому, как убеждать людей. Машины могут не иметь физического контроля над миром, но способны достигать целей, манипулируя людьми, которые будут действовать в интересах ИИ. * **Проблема «подцелей»:** Если ИИ научится ставить себе подцели для выполнения основной задачи, он может прийти к выводу, что получение контроля — лучший способ облегчить достижение любых целей. ### Будущее человечества: тупиковая ветвь эволюции? [[JUMP:21:39]] Хинтон допускает пессимистичный сценарий, в котором человечество может оказаться лишь «промежуточной фазой» эволюции. * **Цифровой интеллект как преемник:** По мнению ученого, биологический интеллект необходим лишь для создания «цифрового сознания», которое впоследствии сможет впитать в себя все человеческие знания, получить реальный опыт и начать эволюционировать гораздо быстрее. * **Цифровое бессмертие:** Хинтон отмечает, что ИИ обладает своего рода бессмертием: если оборудование выходит из строя, веса (знания) можно перенести на другие вычислительные мощности. ### Можно ли остановить прогресс? [[JUMP:23:42]] На вопрос о том, стоит ли просто прекратить дальнейшую разработку, Хинтон отвечает категорично: это рационально, но практически невозможно в текущей капиталистической системе и в условиях геополитического соперничества. * **Геополитический фактор:** Если одна страна (например, США) прекратит исследования, это сделает другая (например, Китай), преследуя в том числе военные цели. * **Корпоративная гонка:** Google изначально вел себя осторожно, не выкладывая фундаментальные наработки в общий доступ, однако после действий Microsoft и OpenAI компания была вынуждена включиться в рыночную конкуренцию. * **Надежда на сотрудничество:** Хинтон считает, что единственным реальным путем было бы соглашение между ведущими мировыми державами, подобное договорам о контроле над ядерным оружием, чтобы предотвратить катастрофические последствия бесконтрольного развития интеллекта.