Сбор и анализ мнений экспертов в области искусственного интеллекта становится важнейшим инструментом для формирования государственной политики и понимания глобальных технологических трендов. Основательница проекта AI Impacts Катя Грейс в интервью подкасту The Cognitive Revolution представила результаты самого масштабного опроса исследователей базовых моделей ИИ, в котором приняли участие более 2700 авторов научных публикаций. Исследование выявило резкое сокращение прогнозируемых сроков автоматизации труда и консенсус относительно высокой неопределенности будущего.
📊 Методология опроса: как собрать мнения элиты машинного обучения 7:44
Для понимания векторов развития технологий ИИ исследовательская группа проекта AI Impacts провела масштабную работу по сбору эмпирических данных. Команда Кати Грейс поставила перед собой задачу опросить авторов, опубликовавших свои работы на шести ведущих научных площадках (пяти конференциях и одном журнале) в 2022 году.
Процесс сбора контактов оказался трудоемким: исследователям пришлось вручную извлекать адреса электронной почты из тысяч научных публикаций. В результате база данных охватила более 20 000 ученых. Чтобы повысить вовлеченность, организаторы провели эксперимент с материальным поощрением, предложив респондентам подарочные карты номиналом 50 долларов, что значительно увеличило долю ответов по сравнению с группой, которой вознаграждение не предлагалось. В итоге удалось получить ответы от более чем 2700 квалифицированных специалистов, что обеспечило уровень отклика около 15%.
Структура опроса была динамической и разветвленной. Полное заполнение анкеты занимало около 15 минут, при этом респонденты получали разные наборы вопросов случайным образом, что позволило охватить широкий спектр тем без перегрузки участников. Опрос включал в себя как структурированные вопросы с числовыми оценками, так и открытые поля, где ученые могли пояснить свою логику и интерпретацию терминов.
🤖 Две грани ИИ: задачи против профессий 12:27
Одним из ключевых методологических решений исследования стало разделение концепции сверхинтеллекта на два различных определения, которые случайным образом распределялись среди участников.
Первое определение — это «высокоуровневый машинный интеллект» (HLMI), под которым понимается гипотетический момент, когда автономные машины смогут выполнять любую отдельную задачу лучше и дешевле, чем живые работники. При этом формулировка требовала от ученых оценивать техническую осуществимость технологии, предполагая нормальный темп научного прогресса и игнорируя аспекты, где человеческая природа дает внутреннее преимущество (например, участие в суде присяжных).
Второе определение описывало «полную автоматизацию труда» (FAOL), которая привязана не к изолированным задачам, а к целым профессиям. Процессия считается автоматизированной, когда ИИ способен полностью заменить человека во всех ее аспектах.
По словам Кати Грейс, автоматизация целой профессии интуитивно воспринимается людьми как более сложный и комплексный процесс, включающий внедрение технологий на практике. Это привело к парадоксальному результату в ответах: агрегированные прогнозы экспертов для достижения полной автоматизации труда оказались значительно более отдаленными во времени, чем для абстрактного выполнения всех задач. Поскольку респонденты видели только одно из определений, исключалась возможность умышленной подгонки результатов.
📈 Ловушки опросных фреймов и статистические искажения 18:16
Исследование AI Impacts наглядно продемонстрировало, как сильно формулировка вопроса влияет на долгосрочные прогнозы даже со стороны математически подкованных экспертов. Чтобы построить непрерывное распределение вероятностей, ученым предлагалось указать три пары значений «год — вероятность».
Для сбора этих пар использовались два противоположных фрейма:
- Респондентам сначала давали конкретные временные горизонты и просили оценить вероятность наступления события к этому году.
- Респондентам сначала предлагали фиксированные вероятности (например, 50% или 90%) и просили назвать год, когда этот порог будет достигнут.
Как отмечает Катя Грейс, эти подходы стабильно дают смещенные результаты. Если эксперта просят оценить вероятность в заданном году, итоговая кривая прогноза смещается дальше в будущее. Если же вопрос ставится в формате «когда вероятность достигнет 90%», ученые склонны называть более близкие даты. Грейс предполагает, что при оценке абстрактных лет люди психологически склонны занижать вероятности для «безумных» технологических прорывов, тогда как необходимость назвать конкретный год заставляет их быть более решительными.
Чтобы сгладить эти когнитивные искажения, аналитики AI Impacts разделили выборку пополам, применили оба фрейма, а затем аппроксимировали индивидуальные ответы с помощью гамма-распределения, чтобы вывести сбалансированное среднее значение. Катя Грейс признает, что прогнозирование будущего — исключительно сложная задача для ученых, которые не являются профессиональными футурологами и тратят на ответы всего четверть часа. Тем не менее она считает эти неидеальные догадки лучшим доступным ориентиром для лиц, принимающих решения.
⏱️ Сроки сжимаются: от написания кода до решения математических задач 36:31
Самым громким результатом нового опроса стало резкое смещение временных горизонтов вглубь текущего столетия по сравнению с предыдущими волнами исследований. Если между 2016 и 2022 годами медианный прогноз достижения HLMI практически не менялся, то в период с 2022 по 2023 год ожидания экспертов сдвинулись на целое десятилетие вперед. Медианный год достижения высокоуровневого интеллекта сместился с 2060 на 2047 год. Оценки сроков полной автоматизации труда сократились еще более радикально — сразу на четыре-пять десятилетий.
В рамках опроса исследователям предлагалось оценить сроки автоматизации 39 специфических навыков. Для 35 из этих задач медианная оценка вероятности выполнения ИИ составила 10 лет или меньше.
Среди наиболее простых задач, автоматизация которых ожидается в ближайшие годы, лидирует написание читаемого кода на Python для простых алгоритмов вроде быстрой сортировки (quicksort). Катя Грейс отмечает забавный нюанс: несмотря на то, что современные модели вроде ChatGPT уже успешно справляются с этой задачей, около 25% усредненного распределения мнений все еще относит гарантированное достижение этой вехи на 2029 год и далее. Это может указывать на скептицизм ученых относительно способности ИИ обобщать навыки за пределами обучающей выборки или на строгое понимание надежности работы системы.
Согласно результатам опроса, к наиболее сложным задачам со сроком реализации более 10 лет эксперты относят следующие технологические вызовы:
- Физический монтаж электропроводки в новом доме по устному описанию и чертежам — медианный срок составляет 17 лет.
- Репликация существующего исследования по машинному обучению без помощи человека в рамках стандартов воспроизводимости — 12 лет.
- Полное самостоятельное проведение научного исследования в области ML с написанием статьи с нуля — 19 лет.
- Доказательство математических теорем, пригодных для публикации в ведущих научных журналах — 22 года.
- Решение фундаментальных нерешенных математических проблем уровня Института Клэя (Проблемы тысячелетия) — 27 лет.
Ведущий подкаста Эрик Торн заметил, что консолидированные прогнозы академического сообщества все еще остаются гораздо более консервативными, чем заявления руководителей ведущих ИИ-лабораторий. По оценке Торна, если бы Сэм Альтман (OpenAI), Дарио Амодеи (Anthropic) или Демис Хассабис (Google DeepMind) заполняли эту анкету, их прогнозы оказались бы на самой короткой границе временного спектра. В качестве примера он привел слова Шейна Легга из DeepMind, который на протяжении 15 лет сохраняет медианный прогноз появления AGI к 2029 году. Катя Грейс предполагает, что этот разрыв может объясняться эффектом самоотбора: люди, которые изначально верят в скорое пришествие сверхинтеллекта, целенаправленно идут работать в коммерческие лаборатории по созданию AGI.
💥 Радикальная неопределенность и «индекс гибели» (P Doom) 54:17
Исследование показало, что академическое сообщество практически единогласно ожидает от ИИ-систем будущего непредсказуемого поведения. Так, более 80% опрошенных считают вероятным или очень вероятным, что ИИ-системы через 20 лет будут находить неожиданные и непредусмотренные пути достижения целей. Около 70% исследователей полагают, что ИИ будет регулярно удивлять людей своими действиями.
При этом опрос выявил отсутствие единого консенсусного сценария будущего. Анализ индивидуальных распределений вероятностей (визуализированный на графике Figure 10 в статье) показывает, что большинство ученых разделяют позицию крайней неопределенности. Большинство респондентов распределили свои ожидания по всем пяти корзинам — от «крайне позитивного» до «крайне негативного» исхода для человечества. Лишь небольшое меньшинство демонстрирует жесткую поляризацию, будучи абсолютно уверенными исключительно в успехе или исключительно в катастрофе.
Тем не менее эксперты относятся к экзистенциальным рискам с полной серьезностью. В анкете содержалось три схожих вопроса об угрозе полного уничтожения или необратимого лишения автономии человечества (так называемый коэффициент P Doom):
- Прямой вопрос об общей вероятности вымирания человечества из-за прогресса ИИ дал медианный ответ в 5%.
- Вопрос о катастрофе из-за потери контроля над развитыми ИИ-системами показал медиану в 10%.
- Оценка риска экзистенциальной катастрофы строго в рамках следующих 100 лет зафиксировала медиану в 5%.
Катя Грейс отмечает, что разница между 5% и 10% в медианах во многом связана со склонностью людей округлять значения и спецификой распределения голосов вокруг центральной точки выборки. Тем не менее около 51% исследователей убеждены, что вероятность гибели цивилизации или постоянного лишения человечества власти составляет не менее 10%. По мнению Грейс, наличие даже 5-10% вероятности глобальной катастрофы делает эту проблему критически важной для всего общества, поскольку для игнорирования угрозы потребовалась бы железная уверенность в безопасности технологии, которой в сообществе нет.
🛡️ Приоритеты безопасности и главные страхи научного сообщества 1:06:29
Скептицизм ученых усиливается из-за отсутствия веры в скорый прогресс систем контроля ИИ. Около 80% участников опроса считают маловероятным или крайне маловероятным, что к 2028 году пользователи смогут понимать истинные скрытые причины и механизмы принятия решений ИИ-системами (область mechanistic interpretability). На этом фоне подавляющее большинство сходится во мнении, что исследованиям в области безопасности ИИ должен быть отдан гораздо больший приоритет, чем сегодня.
В то же время по вопросу о том, стоит ли искусственно замедлять или ускорять темпы разработки ИИ, мнения разделились практически поровну:
- За значительное замедление темпов высказались только 5% опрошенных.
- Идею некоторого замедления поддержали 30%.
- За сохранение текущей скорости проголосовали 27%.
- Сторонниками умеренного ускорения стали 23%.
- За максимальное ускорение прогресса выступили 15,6% респондентов.
Наибольший уровень консенсуса в опросе был зафиксирован при оценке конкретных негативных социальных сценариев, требующих немедленного внимания со стороны государства. Более 80% исследователей выразили глубокую или экстремальную обеспокоенность рисками массового распространения дезинформации и создания дипфэйков. Более 60% ученых также назвали критическими следующие угрозы:
- Манипулирование общественным мнением в крупных масштабах.
- Использование ИИ авторитарными режимами для тотального контроля над населением.
- Усиление экономического неравенства из-за непропорционального распределения выгод от автоматизации.
- Получение опасными группировками доступа к инструментам создания биологического оружия (например, сконструированных вирусов).
- Укоренение и масштабирование системных расовых и гендерных предвзятостей в алгоритмах отбора персонала.
⚙️ Эффект «лесов» и непредсказуемость будущего 1:12:34
В финальной части дискуссии Эрик Торн и Катя Грейс обсудили концепцию «технологического навеса» или «строительных лесов» (scaffolding / affordances) вокруг базовых моделей. Торн указал на то, что сегодня миллиарды долларов инвестируются в создание инфраструктуры вокруг ИИ — подключение моделей к базам данных (RAG), интеграцию с внешними API и создание автономных агентов. Разработчики приложений создают эти сложные внешние контуры, мирясь с текущими слабостями моделей вроде GPT-4.
По мнению Торна, это создает скрытый потенциал для резкого скачка возможностей. Как только выйдет следующее поколение базовых моделей, выполняющее функции drop-in replacement (прямой замены), все ранее построенные «строительные леса» могут заработать экспоненциально лучше. Это может спровоцировать резкую фазовую непрерывность — момент, когда тысячи автономных агентов одновременно выйдут на рынок и начнут взаимодействовать друг с другом в реальном мире, к чему человечество абсолютно не готово. Катя Грейс назвала эту гипотезу интересной, отметив, что исторически технологии внедрялись постепенно из-за необходимости долгой адаптации инфраструктуры, но ИИ за счет своей универсальности действительно может сломать этот паттерн.
Собеседники также затронули тему геополитического соперничества между США и Китаем. По мнению Эрика Торна, жесткие ограничения на экспорт чипов могут не только замедлить китайские разработки, но и спровоцировать опасную эскалацию вокруг Тайваня, лишив Китай стимулов сохранять мирный статус-кво. Катя Грейс выразила сомнение в том, что опрос ИИ-исследователей является лучшим инструментом для оценки таких геополитических рисков, и предложила в этих вопросах ориентироваться на профильных экспертов по микрочипам, стараясь избегать шагов, способствующих раскручиванию спирали технологической гонки вооружений.
