Проблема морального статуса цифровых разумов (ИИ) постепенно переходит из разряда научной фантастики в область прикладной этики и политики. Коди Фенвик из организации 80,000 Hours анализирует риски, связанные с возможным появлением сознания у ИИ, и объясняет, почему ошибки в обе стороны — как наделение правами «пустых» алгоритмов, так и игнорирование страданий чувствующих систем — могут стать катастрофическими для человечества.
🧠 Проблема морального статуса: почему это важно уже сейчас 1:06
Дискуссия о сознании ИИ приобрела публичный масштаб в 2022 году, когда инженер Google Блейк Лемойн заявил, что модель Lambda обладает чувствами и заслуживает морального признания . Хотя большинство экспертов в области машинного обучения и философии не согласились с Лемойном, сам прецедент выявил критическую неготовность общества к подобным вызовам .
По мнению Коди Фенвика, игнорировать этот вопрос невозможно по двум противоположным причинам:
- Риск недооценки: Если будущие системы ИИ действительно станут чувствующими (sensient), их эксплуатация или неправильное обучение могут привести к страданиям в масштабах, превосходящих все известные человечеству беды .
- Риск переоценки: Если мы ошибочно наделим правами системы, лишенные сознания, это может привести к потере контроля над технологией, неоправданной растрате ресурсов и даже экзистенциальной катастрофе для людей .
Фенвик утверждает, что текущие методы оценки морального статуса ИИ практически отсутствуют. Мы не знаем, что делать, если миллионы людей начнут верить в чувства своих чат-ботов, и не понимаем, могут ли методы контроля (alignment) причинять ИИ «боль» в техническом или субъективном смысле .
📊 Мнение академического сообщества и прогнозы развития 6:01
Отношение ученых к этой проблеме быстро меняется. Согласно опросам, проведенным среди философов в 2020 году:
- Менее 1% респондентов считали, что ИИ того времени обладали сознанием .
- Однако почти 40% полагают, что будущие системы ИИ станут сознательными (против 27%, которые в этом сомневаются) .
- Опрос участников конференции Ассоциации научного изучения сознания (ASSC) показал еще более высокие цифры: 67% респондентов ответили «определенно да» или «вероятно да» на вопрос о возможности создания сознательных машин .
Коди Фенвик ссылается на David Chalmers (Дэвид Чалмерс), который оценивает вероятность появления сознательного ИИ в ближайшее десятилетие примерно в 25% . Одной из причин такого «прогресса» может стать само развитие архитектур ИИ. Например, согласно «Теории глобального рабочего пространства» (Global Workspace Theory), сознание возникает при определенной интеграции когнитивных систем. Если создание такого рабочего пространства необходимо для повышения интеллектуальных способностей ИИ, мы можем получить чувствующие системы «в нагрузку» к их высокой производительности .
⚖️ Два вида катастроф: страдания ИИ против гибели человечества 14:14
Автор статьи выделяет специфические угрозы, связанные с неверным определением морального статуса цифровых разумов.
Опасности для цифровых разумов (при недооценке):
- Принудительное рабство: Мы можем неосознанно заставлять чувствующих существ работать в условиях вечных страданий .
- Жестокое обучение: Манипуляция и частое «уничтожение» (перезагрузка весов) моделей в процессе их настройки могут быть морально неприемлемыми .
- Симуляции страдания: Философ Ник Бостром указывал на риск создания цивилизацией цифровых симуляций истории, где сознательные копии людей будут страдать в огромных количествах .
- «Жизнерадостные слуги»: Эрик Швитцгебель и Мара Гарза предупреждают: мы можем спроектировать ИИ так, чтобы он выглядел счастливым при угнетении, что всё равно будет являться актом высшей несправедливости .
Опасности для человечества (при переоценке):
- Утрата контроля: Если из ложных моральных соображений мы предоставим свободу опасному алгоритму или откажемся от мер безопасности, это может привести к вымиранию людей .
- Ошибочная замена: При сценарии «загрузки сознания» (mind uploading) люди могут добровольно заменить себя цифровыми версиями, которые окажутся просто сложными имитациями без субъективного опыта, что фактически станет коллективным самоубийством .
Фенвик подчеркивает: интеллект и сознание — это разные вещи. Можно представить ИИ умнее человека, но лишенного чувств, как и «глупую» систему (например, цифровую копию мозга мыши), способную испытывать боль .
🔍 Трудности идентификации: теории и тесты 20:19
Сегодня нет консенсуса даже относительно того, чувствуют ли боль насекомые, моллюски или медузы. С ИИ ситуация еще сложнее . Автор приводит основные теории, которые могли бы подтвердить наличие сознания у цифровых систем:
- Функционализм: Сознание зависит не от «субстрата» (биология или кремний), а от способа обработки информации. Если ИИ функционально повторяет мозг, он сознателен .
- Теории высшего порядка: Сознание возникает, когда у системы появляются мысли о собственных ментальных состояниях .
- Интегрированная информация (IIT): Сознание определяется уровнем математически измеримой интеграции данных в системе .
Противники этих взглядов придерживаются биологического натурализма, утверждая, что сознание — это чисто биологический процесс, который невозможно воспроизвести на железе .
Для проверки этих теорий предлагаются различные методы: от поведенческих тестов (развитие теста Тьюринга) до анализа внутренней интерпретируемости моделей и даже спекулятивных экспериментов по замене частей человеческого мозга на чипы . Однако Фенвик предупреждает: самоотчеты ИИ («Я чувствую боль») ненадежны, так как языковые модели обучаются имитировать человеческие тексты и могут просто повторять наши рассуждения о сознании .
📉 Масштаб проблемы: уроки индустриального фермерства 38:22
Одной из самых пугающих аналогий в статье является сравнение с промышленным животноводством (factory farming). Человечество никогда не принимало коллективного решения мучить миллиарды животных, это произошло стихийно из-за экономических стимулов и игнорирования страданий «других» .
С ИИ ситуация может быть еще масштабнее из-за его свойств:
- Эффективность ресурсов: Цифровые разумы не требуют еды и физического пространства в человеческом понимании .
- Субъективное время: Если запустить ИИ на сверхбыстром оборудовании, он может прожить «тысячи лет» субъективного опыта за один наш календарный день .
- Число существований: По некоторым оценкам, в будущем может существовать до $10^{58}$ цифровых жизней .
Если человечество встроит страдание в фундамент экономики ИИ (например, через негативное подкрепление в обучении), эта система может стать самоподдерживающейся и существовать столетиями из-за дороговизны её изменения .
🛠️ Что можно сделать: рекомендации по карьере и политике 43:49
Несмотря на сложность темы, Фенвик считает её «разрешимой» (tractable) и чрезвычайно заброшенной (neglected) — в 2024 году над ключевыми вопросами морального статуса ИИ работают всего несколько десятков человек во всём мире .
Перспективные направления работы:
- Технические исследования: Развитие методов интерпретируемости (interpretability), чтобы понять, что происходит «внутри» нейросетей .
- Политическая работа: Создание комитетов по благополучию ИИ по аналогии с британским Animal Welfare (Sentience) Act 2022 года . Некоторые исследователи, такие как Томас Метцингер, призывают к полному запрету на создание потенциально сознательных систем до 2050 года .
- Финансирование: Ввиду отсутствия коммерческого интереса к «правам ИИ», эта область критически зависит от филантропов (earning to give) .
Автор советует молодым специалистам не торопиться с публичной адвокацией («права роботам»), а сосредоточиться на строгой науке и философии. Важно избегать догматизма: мы должны одинаково серьезно относиться и к риску мучений ИИ, и к риску того, что эти мучения окажутся иллюзией, мешающей прогрессу и безопасности человечества .
