В новом выпуске подкаста Machine Learning Street Talk Саяш Капур, исследователь из Принстонского университета и соавтор книги «AI Snake Oil», разбирает мифы вокруг экзистенциальных рисков ИИ и объясняет, почему математические прогнозы «конца света» часто не имеют под собой научной основы. В центре дискуссии — проблема оценки вероятности катастрофических сценариев, иллюзия бесконечного экспоненциального роста технологий и реальные сложности внедрения ИИ-агентов в рабочие процессы.
📉 Математика «конца света»: почему P(doom) — это не наука 2:07
В последние годы в Кремниевой долине и среди политиков стало популярным понятие P(doom) — субъективная вероятность того, что искусственный интеллект приведет к гибели человечества. Саяш Капур утверждает, что существующие оценки рисков ИИ слишком ненадежны, чтобы на их основе строить государственную политику .
По мнению Капура, существует всего три способа вычислить вероятность события, и ни один из них не применим к экзистенциальному риску ИИ:
- Индуктивный метод (на основе опыта): Мы можем рассчитать риск автокатастрофы, изучив миллионы аварий в прошлом. Для гибели человечества от ИИ «эталонного класса» событий просто не существует . Попытки использовать в качестве аналогов вымирание животных или изменения атмосферы в прошлом Капур называет абсурдными .
- Дедуктивный метод (на основе теории): Мы можем рассчитать риск столкновения с астероидом, используя законы физики и данные о падении мелких объектов. Для ИИ нет проверенной теории, объясняющей, как именно «количество вычислений» превращается в «потерю контроля» .
- Субъективный метод: Именно его использует ИИ-сообщество. Капур считает, что это по сути «оцифрованные чувства», которые эксплуатируют наши когнитивные искажения: люди склонны доверять любому утверждению больше, если оно выражено в числах (например, «риск составляет 15%»), даже если за этим числом ничего не стоит .
Исследователь упоминает «Турнир по предсказанию вымирания» (Extinction Prediction Tournament) Филипа Тетлока. Результаты показали, что аргументы экспертов по ИИ в пользу риска гибели часто не глубже рассуждений обывателей: например, «AGI может решить колонизировать космос вместо Земли» .
⚖️ Ловушка «Пари Паскаля» и искажения прогнозов 12:00
Капур объясняет, почему многие алгоритмы прогнозирования систематически завышают маловероятные, но катастрофические риски (так называемые «хвостовые риски»). Математически доказано, что для проверки того, является ли прогноз вероятности в 0,01% точным, могут потребоваться триллионы наблюдений . Поскольку у нас нет триллиона случаев гибели человечества, проверить точность предсказателей «судного дня» невозможно.
Это приводит к политической ловушке, известной как «Пари Паскаля»:
- Если вероятность гибели человечества отлична от нуля, а цена этого события — бесконечный минус, то чисто математически любая трата ресурсов на предотвращение этого риска оправдана .
- В результате политики могут бесконечно обсуждать экзистенциальные риски, игнорируя реальные, насущные проблемы технологии .
✈️ Миф об экспоненциальном росте и эффект сигмоиды 13:54
В ИИ-индустрии, по словам Капура, господствует вера в то, что текущие тренды будут продолжаться вечно. Он приводит в пример статью «Situational Awareness» Леопольда Ашенбреннера, где графики возможностей ИИ уходят в бесконечность вверх и вправо .
Однако история технологий учит обратному: любая экспонента рано или поздно превращается в сигмоиду (S-образную кривую насыщения).
- Пример с авиацией: В конце 1960-х люди бронировали билеты на Луну, полагая, что скорость самолетов будет расти экспоненциально. Однако рост внезапно остановился на текущих значениях из-за физических и экономических ограничений .
- Прерывистое равновесие: Прогресс в ИИ за последние 50 лет шел рывками. Когда текущая парадигма (например, масштабирование LLM) достигает насыщения, наступает плато, пока не будет найдена новая .
Капур не считает футуристические прогнозы вредными сами по себе, если относиться к ним как к научной фантастике. Опасность возникает, когда на их основе венчурные капиталисты распределяют огромные бюджеты (половина венчурных денег в прошлом году ушла в GenAI), обделяя другие важные области инноваций .
📦 Коммодитизация ИИ и конец «магии» GPT-4 19:15
Период, когда GPT-4 от OpenAI считалась недосягаемым лидером, закончился. Капур утверждает, что сегодня создание модели такого уровня — это повторяемый инженерный процесс, основанный на качественных данных . Модели от Claude (Anthropic), Gemini (Google) и открытые модели Llama (Meta) достигли или превзошли уровень GPT-4.
Ключевые тренды рынка:
- Удешевление моделей: Новые версии (например, GPT-4o mini, Claude 3.5 Sonnet) стоят в разы дешевле предшественников при большей эффективности .
- Крах иллюзии AGI: Компании начинают понимать, что LLM — это не «всемогущий разум», а потребительский продукт, который нужно встраивать в бизнес-цепи.
- Проблема надежности: ИИ в корпоративном секторе часто не упрощает, а усложняет работу (77% сотрудников в опросе Forbes заявили о росте стресса), так как системы требуют сложной настройки, борьбы с галлюцинациями и проблем с безопасностью данных .
По поводу синтетических данных Капур настроен скептически. Хотя они полезны для специфических задач авторазметки, полная замена ими данных из реального мира может привести к «краху модели» (model collapse) — деградации качества при обучении нейросети на собственных результатах .
🤖 Почему «умные» ИИ-агенты часто бесполезны в реальности? 27:14
В статье «AI Agents That Matter» Капур и его соавтор Бенедикт Деллаерт проанализировали, почему сложные системы ИИ-агентов часто проигрывают простым решениям.
Их главное открытие: простой многократный перезапуск (Best-of-N) дает тот же результат, что и сложная архитектура с «размышлениями» (reflection) .
- Разработчики создают системы, которые «анализируют свои ошибки» и «составляют планы».
- Капур выяснил: если просто попросить модель решить задачу 5 раз и выбрать удачный вариант, точность будет такой же, как у «сложного агента», но стоимость — в разы ниже .
Исследователи модифицировали фреймворк DSPy, чтобы искать наиболее дешевые способы получения точного ответа. Им удалось снизить стоимость работы моделей вдвое при сохранении точности, доказав, что маленькие модели (например, Llama 8B) после оптимизации подсказок могут работать на уровне гигантов вроде GPT-4 .
🧪 Кризис методологии: Shortcut Learning и «обман» тестов 36:55
Капур критикует современную систему оценки ИИ-агентов. Главная проблема — Shortcut Learning (обучение по кратчайшему пути). Нейросети часто «взламывают» тесты вместо того, чтобы реально решать задачу .
- Отсутствие скрытых тестов: В отличие от классического машинного обучения, у многих современных бенчмарков (тестов) нет «секретной» части данных. Разработчики часто (даже неумышленно) подстраивают своих агентов под конкретные примеры из теста .
- Чувствительность к подсказкам: Результаты ИИ экстремально зависят от того, как сформулирован запрос и в каком порядке поданы задачи. Без стандартизации сравнение двух агентов становится бессмысленным .
- Феномен обратной связи: В тестах агенты работают в вакууме. В жизни же человек-пользователь дает ИИ подсказки. Капур приводит пример: без обратной связи кубок программирования USACO решается моделью на 0%, а с минимальной подсказкой человека — на 86% .
Завершая беседу, Капур упоминает тест ARC (Abstraction and Reasoning Corpus) Франсуа Шолле, называя его одним из самых честных бенчмарков, так как он проверяет способность ИИ справляться с задачами, которые тот никогда не видел при обучении .
