Дискуссии вокруг экзистенциального риска искусственного интеллекта и стремительного развития технологий часто строятся на преувеличениях и когнитивных искажениях. Саяш Капур, исследователь из Центра политики в области ИТ Принстонского университета и соавтор грядущей книги «AI Snake Oil», подробно разбирает, почему современные метрики угрозы ИИ несостоятельны для государственной политики. В интервью для канала Machine Learning Street Talk он объясняет, как индустрия переходит от мифов об общем искусственном интеллекте (AGI) к коммерческой коммодизации моделей и почему сложные ИИ-агенты проигрывают простейшим базовым алгоритмам.
🧮 Иллюзия вероятностей: почему концепция P-doom несостоятельна для политики 2:07
Концепция «вероятности гибели» (p-doom) в последнее время стала активно использоваться не только в технологической среде, но и в политических кругах. По мнению Саяша Капура, подобные оценки вероятности тотальной катастрофы слишком ненадежны, чтобы на них можно было основывать государственные решения. Капур утверждает, что существует всего три способа определить вероятность любого события, и ни один из них не применим к экзистенциальному риску ИИ:
- Индуктивный подход: Расчет на основе прошлых аналогичных событий. Так работают страховые компании при расчете стоимости автомобильных полисов. Для ИИ-рисков индуктивный метод неприменим, поскольку у человечества нет исторической базы и «референтного класса» для подобных событий. Капур называет абсурдными попытки ИИ-сообщества использовать в качестве референтного класса вымирание видов животных или изменения в атмосфере Земли.
- Дедуктивный подход: Применение подтвержденной теории устройства мира для прогнозирования. В качестве примера дедуктивного прогноза x-риска Капур приводит оценку угрозы столкновения Земли с астероидом: ученые экстраполируют данные от падений мелких метеоритов, рассчитывают необходимую энергию для блокирования сельского хозяйства и частоту пролетов крупных космических тел. Для ИИ таких валидированных теорий нет. Теория о том, что трансформация в AGI произойдет, когда число вычислительных операций ИИ сравняется с числом операций в человеческом мозге, по мнению Капура, крайне сомнительна, а многие нейробиологи категорически не согласны с тем, что интеллект сводится лишь к количеству вычислений.
- Субъективный подход: Оценка, основанная на личных ощущениях экспертов. Именно к нему, как считает Капур, сейчас и прибегает ИИ-сообщество.
Субъективные оценки опасны тем, что они подыгрывают «искажению квантификации» (quantification bias) — склонности людей доверять любым оцифрованным данным больше, чем абстрактным заявлениям. Капур приводит в пример недавний «Турнир прогнозов вымирания» (Extinction Prediction Tournament), организованный Филиппом Тетлоком и его коллегами. В нем участвовали около 100 исследователей ИИ и «суперпрогнозистов». Анализ показал, что аргументы экспертов в пользу ИИ-апокалипсиса (например, предположение, что AGI решит colonize космос вместо Земли и тем самым снизит риски) по качеству не превосходят рассуждения обычного человека с улицы. По мнению гостя, облечение этих эмоций в конкретные цифры (например, «вероятность вымирания — 15%») лишь создает ложную видимость точности.
🪐 Паскалевское пари и ловушка утилитаризма в регулировании ИИ 12:00
При оценке экзистенциальных рисков политики часто оказываются в ловушке максимизации ожидаемой полезности, которая напрямую пересекается с концепцией «Пари Паскаля». Капур объясняет суть этого мысленного эксперимента: Паскаль утверждал, что рационально всегда верить в Бога, поскольку если Бог существует, а человек в него не верит, цена ошибки — бесконечные муки в аду (бесконечно отрицательная полезность), тогда как цена веры при его отсутствии минимальна.
В контексте регулирования технологий, если политики признают, что цена вымирания человечества бесконечно велика, то даже при ничтожно малой, но отличной от нуля вероятности катастрофы чисто утилитарный подход обязывает направлять абсолютно все ресурсы на предотвращение этого риска. По мнению Капура, если воспринимать эту логику буквально, государственные деятели не смогут заниматься ничем другим, кроме обсуждения экзистенциального риска ИИ.
Кроме того, существующие метрики оценки прогнозистов систематически завышают вероятность редких событий («хвостовых рисков»). Капур приводит математический пример: если один прогнозист всегда дает точную вероятность, а второй округляет любые риски ниже 1% до фиксированного 1%, то при равномерном распределении вероятностей потребуется провести сотни миллионов проверок, чтобы доказать превосходство первого специалиста. При использовании более строгих правил оценки, таких как показатель Брайера (Brier score), для этого потребуется около триллиона наблюдений. Это делает верификацию долгосрочных прогнозов практически невозможной.
📉 Миф об экспоненциальном росте: почему каждый ИИ-тренд упрется в сигмоиду 13:54
В технологической среде сильна тенденция верить, что экспоненциальные тренды могут продолжаться бесконечно. Капур упоминает резонансное эссе Леопольда Ашенбреннера «Situational Awareness» («Ситуационная осведомленность»), автор которого строит уходящие вверх графики и прогнозирует скорое появление AGI. Ведущий шоу отмечает, что этот документ кажется ему худшим проявлением группового мышления Кремниевой долины. Капур соглашается с этой оценкой отчасти: по его мнению, такие прогнозы безвредны, если относиться к ним как к научной фантастике. Однако они становятся опасными, когда на их основе начинают распределять государственное финансирование и определять приоритеты реальных продуктов. Собеседники указывают на масштаб хайпа: по данным отчетов, половина всех венчурных инвестиций за прошлый год была потрачена на генеративный ИИ.
Капур напоминает известную технологическую аксиому: «Любая экспонента — это сигмоида, если посмотреть на нее из будущего». Историческим примером служит рост скорости самолетов в 1960–1970-х годах, когда люди на волне тренда бронировали коммерческие полеты на Луну, однако затем рост скоростей резко прекратился из-за технических и бизнес-ограничений. Прогресс ИИ за последние 50 лет, по словам исследователя, представляет собой «пунктирное равновесие»:
- Появляется новая парадигма, в которую вливаются огромные интеллектуальные и материальные ресурсы.
- Происходит резкий взлет возможностей.
- Парадигма насыщается, график превращается в сигмоиду, и наступает плато, пока индустрия ищет следующий технологический прорыв.
💼 Коммодизация ИИ: от «цифровых богов» к потребительским продуктам 17:25
На рынке больших языковых моделей (LLM) происходит фундаментальный сдвиг. Если в период с 2023 по начало 2024 года модель GPT-4 от OpenAI считалась безоговорочным и уникальным лидером, то сегодня ситуация изменилась. Капур констатирует, что создание подобных моделей стало повторяемым процессом, результатом качественной инженерии и работы с данными, а не секретной магией. Как минимум три компании сейчас выпускают модели, превосходящие или не уступающие GPT-4 в кодировании, рассуждениях и написании текстов.
Компании, которые изначально позиционировали себя как создатели «безопасного и благотворного AGI», вынуждены превращаться в поставщиков коммерческих продуктов, конкурирующих на открытом рынке. Корпорация Meta открыто заявляет о стратегии коммодизации комплементарных технологий и бесплатно предоставляет свои продвинутые модели широкой публике. Ведущий добавляет, что «иллюзия AGI» постепенно рассеивается, обнажая суровые инженерные реалии: fine-tuning, тестирование и обеспечение надежности в продакшене требуют огромных затрат, а ИИ не является универсальной таблеткой от проблем корпоративного поиска (RAG) и безопасности. Капур подтверждает это примером SearchGPT от OpenAI и других компаний: ни один из стартапов, пытавшихся создать поисковик на базе LLM, не смог избежать галлюцинаций даже в своих демонстрационных роликах.
Капур также весьма скептически оценивает перспективы синтетических данных как основы для обучения будущих моделей. Из-за того, что открытый веб закрывается от поисковых роботов ИИ, компании надеются на самообучающиеся циклы, однако недавняя публикация в журнале Nature подтверждает реальность феномена «коллапса моделей» (model collapse) — при обучении ИИ на собственных данных его качество катастрофически деградирует.
В то же время, Саяш подчеркивает тренд на радикальное удешевление и миниатюризацию моделей. Frontier-модели становятся доступнее: GPT-4 дешевле своей первой версии в 10 раз, Gemini 1.5 Pro экономичнее, чем Gemini 1.0 Ultra, а Claude 3.5 Sonnet выгоднее, чем Claude 3 Opus. Это делает технологию доступной для небольших разработчиков и исследователей. Сам Капур активно использует ИИ в повседневной работе: модель пишет около половины первого черновика его программного кода, а также помогла сгенерировать его персональный сайт и резюме. При этом опросы Forbes показывают обратную сторону: 77% корпоративных сотрудников заявили, что внедрение ИИ лишь усложнило их работу и добавило стресса, что Капур связывает с болезненной перестройкой организационных динамик внутри компаний.
🤖 Исследование «AI Agents That Matter»: почему простые повторы побеждают сложные архитектуры 26:57
Большая часть современного хайпа сфокусирована на ИИ-агентах и мультиагентных системах. Саяш Капур вместе со своим соавтором Бенедиктом опубликовал исследование под ироничным названием «AI Agents That Matter». Авторы обнаружили огромный разрыв между громкими заявлениями о способностях агентов писать код и реальными результатами их внедрения на практике.
Самым ярким открытием работы стало то, что простейшие базовые алгоритмы (baselines) зачастую превосходят сложные агентские архитектуры. На популярном бенчмарке HumanEval лидирующие агенты используют сложные механики рефлексии, самоанализа и отладки. Капур и Бенедикт применили примитивный трюк: они настроили систему так, чтобы она просто перезапускала генерацию кода моделью несколько раз, если та не проходила базовые встроенные тесты. Выяснилось, что этот простой перезапуск (retry) позволяет практически полностью повторить результаты лучших в мире агентских дизайнов. По мнению Капура, это ставит под сомнение гипотезу о наличии у агентов реального «мышления Системы 2» — на деле высокая точность часто оказывается банальным следствием большего количества попыток и потраченных токенов.
Чтобы решить проблему совместной оптимизации точности и стоимости ИИ, авторы модифицировали фреймворк DSPy (разработанный Омаром Хатибом в Стэнфорде и Беркли). Изначально DSPy автоматически подбирает промпты и примеры для оптимизации точности, позволяя моделям уровня Llama 3 8B успешно конкурировать с GPT-4. Капур добавил в метрику оптимизации фактор стоимости токенов. Использование их простого метода дискретной оптимизации позволило сократить финансовые затраты разработчиков в два раза без какой-либо потери в качестве ответов.
📊 Кризис методологий: как разработчики манипулируют оценками эффективности ИИ 32:31
Капур указывает на серьезную проблему в ИИ-сообществе: смешение понятий «оценка модели» (model evaluation) и «оценка прикладной эффективности» (downstream evaluation). Оценка модели (например, тесты MMLU или математические задачи) нужна разработчикам ядра для сравнения потенциала систем и регрессионного тестирования. Прикладная оценка важна для конечного пользователя, которого интересует работа всей системы целиком в рамках конкретной бизнес-задачи. В качестве аналогии Капур приводит авиастроение: Rolls-Royce тестирует сам двигатель, но Boeing оценивает характеристики всего самолета в полете, и именно системный результат имеет значение.
Некоторые компании используют методологические уловки для продвижения своих продуктов. Гость критикует маркетинговую стратегию компании Mistral. Каждый раз при выпуске модели они публикуют кривую Парето, где по оси Y отложена точность MMLU, а по оси X — количество активных параметров. Однако для конечного бизнеса количество параметров не имеет значения — важна долларовая стоимость генерации токенов. Из-за высоких требований к памяти модель Mistral 8x7B в продакшене оказывается значительно дороже, чем Llama 2 13B, хотя маркетинг Mistral пытается доказать обратное. Долларовая стоимость — главный критерий для индустрии, но создатели моделей его игнорируют.
Еще одна фундаментальная угроза — это «обучение по кратчайшему пути» (shortcut learning) в агентских бенчмарках. Изучив более десятка популярных тестов для ИИ-агентов, Капур обнаружил, что в большинстве из них отсутствует скрытый валидационный набор данных (held-out test set). Это приводит к латентному человеческому оверфиттингу (overfitting): разработчики бесконечно дорабатывают и «подкручивают» агента под открытые задачи бенчмарка, пока тот не наберет высокий балл. В реальности такой агент полностью теряет генерализацию и неспособен работать в хаотичной среде открытого интернета.
👥 Человек в контуре: истинный рычаг эффективности ИИ-агентов 40:12
Отсутствие стандартизации в оценках усугубляется тем, что создатели бенчмарков часто дают лишь список из 1000 задач, но оставляют саму методику запуска на усмотрение авторов ИИ. Те могут удалять неподходящие задания или менять их структуру, а высокая чувствительность LLM к малейшим изменениям промпта лишает результаты авторитетности.
При этом присутствие человека в контуре взаимодействия (human-in-the-loop) способно драматически менять результаты тестирования как в лучшую, так и в худшую сторону. В реальной жизни пользователь постоянно дает ИИ обратную связь и просит исправить явные ошибки. Одна фраза фидбека превращает метрику точности из одной попытки (pass@1) в две попытки (pass@2), что дает колоссальный прирост качества.
Капур ссылается на качественное исследование своих коллег из Принстона, протестировавших ИИ на сложнейшем олимпиадном бенчмарке по кодингу USACO. Без подсказок человека GPT-4 и другие передовые модели показали результат близкий к 0%. Однако, когда живой оператор обеспечивал минимальную, рудиментарную обратную связь в процессе решения, точность GPT-4 взлетала до 86%. По мнению исследователя, изоляция агентов в тестовом вакууме ведет к сильному недооцениванию их реального прикладного потенциала.
🧩 Тест ARC Франсуа Шолле и три уровня генерализации агентов 43:47
Для построения качественных тестов Саяш Капур предлагает разделять ИИ-агентов по трем уровням их архитектурной генерализации:
- Узкоспециализированные (Task-specific): Агенты вроде SWE-agent (также созданного в Принстоне), нацеленные исключительно на решение конкретных задач, например, закрытие багов в репозиториях GitHub на основе текстовых тикетов. Оценка таких систем должна моделировать изменение среды во времени: обновление языков программирования, миграцию библиотек и т.д..
- Доменно-общего назначения (Domain-general): Веб-агенты, способные выполнять любые действия на любых сайтах. Для их проверки критически важно иметь скрытый тестовый набор из сайтов, которые ИИ никогда не видел, чтобы проверить его реакцию на непредвиденные переходы по ссылкам.
- Абсолютно универсальные: Системы, объединяющие кодинг, веб-серфинг, робототехнику и приближающиеся к концепту универсального интеллекта.
В качестве примера глубоко проработанного теста на способность справляться со сдвигом распределения данных Капур называет знаменитый бенчмарк ARC (Abstraction and Reasoning Corpus), созданный Франсуа Шолле. В ИИ-сообществе существуют два взгляда на этот проект: одни считают прогресс в ARC прямым путем к AGI, другие видят в нем специфический домен, где победа достигается за счет создания предметно-ориентированных языков (DSL). Тем не менее, по мнению Капура, ARC является образцовым примером того, как индустрии следует проектировать скрытые валидационные датасеты для защиты от утечки данных и ложных триумфов ИИ.
