Способность искусственного интеллекта предсказывать будущее перестает быть теорией и становится измеримым фактом. Ведущий технологического канала Уэс Рот анализирует результаты нового бенчмарка Profit Arena, который показывает, что современные языковые модели справляются с прогнозированием мировых событий лучше, чем профессиональные рынки предсказаний, что в перспективе может радикально изменить принципы работы финансового сектора.
📈 Новый стандарт оценки интеллекта: от тестов к прогнозам 0:00
Долгое время критики ИИ утверждали, что нейросети лишь «запоминают и перефразируют» обучающие данные . Однако Дэн Хендрикс, директор Центра безопасности ИИ (Center for AI Safety) и советник компаний xAI и Scale AI, указывает на появление бенчмарков нового типа . Одним из самых перспективных инструментов стал Profit Arena — живой лидерборд для проверки прогностических способностей моделей в реальном времени .
По мнению Уэса Рота, старые бенчмарки, основанные на вопросах с несколькими вариантами ответов, стали бесполезными, так как их легко «обмануть» . Новые методы оценки, такие как Profit Arena или даже эксперименты, где модели Claude и Gemini играют в Pokemon, лучше демонстрируют реальный рост возможностей LLM (больших языковых моделей) .
Ключевые особенности новых бенчмарков:
- Работа с событиями, которых еще не было в обучающей выборке.
- Измерение вероятностной точности, а не просто ответов «да/нет».
- Оценка способности ИИ находить неочевидные связи в новостных потоках.
💰 Предсказание как суперсила: пример Нэнси Пелоси и Polymarket 2:54
Ведущий подчеркивает, что точное знание будущего — это кратчайший путь к богатству. В качестве ироничного примера он приводит «трекер Нэнси Пелоси» . По словам Рота, доходность инвестиций американского политика значительно превышает показатели индекса S&P 500 (более 100% против 18% за аналогичный период) . Ведущий утверждает, что такие результаты возможны только благодаря обладанию информацией о будущих законодательных актах . (Хотя официально это не считается инсайдерской торговлей, в обществе ведутся активные споры о законности таких сделок).
Существуют легальные платформы для ставок на будущее, такие как:
- Polymarket: позволяет ставить на результаты выборов, решения ФРС и даже количество твитов Илона Маска .
- Kalshi: регулируемая площадка, где торгуются контракты на реальные события .
Рот полагает, что если ИИ обретет сверхчеловеческую способность предсказывать исходы событий, это создаст колоссальные возможности для арбитража, которые могут «сломать» привычные рынки капитала .
🏆 Лидерборд Profit Arena: OpenAI против Google и Китая 6:11
Для оценки точности моделей используется показатель Брайера (Brier score), который измеряет среднеквадратичную разницу между предсказанной вероятностью и реальным результатом .
Текущие лидеры рейтинга Profit Arena:
- GPT-5 и o3-mini (OpenAI): занимают первые две строчки с самой высокой точностью .
- Gemini 2.5 Pro (Google): уверенное третье место, дышащее в спину лидерам .
- Grok 3 Mini и Grok 4 (xAI): показывают достойные результаты выше 80 баллов .
- Китайские модели (Kimi K2, DeepSeek Chat V3, Qwen 3): демонстрируют сильные показатели, обходя многие западные аналоги .
Интересно, что специализированная модель DeepSeek R1 показала себя значительно хуже конкурентов в задачах прогнозирования .
💵 Моделирование прибыли: ROI и стратегии ставок 8:20
Помимо математической точности, Profit Arena рассчитывает ожидаемую окупаемость инвестиций (ROI). Симуляция предполагает ставку в $1 на каждое событие на платформе Kalshi .
Уэс Рот описывает кейс модели o3-mini:
- В матче MLS между «Сан-Диего» и «Торонто» рынок оценивал шансы «Торонто» всего в 11% .
- Модель o3-mini, проанализировав новости, дала 30% на победу аутсайдера и сделала ставку .
- В результате ставка принесла $9 прибыли на $1 вложений .
По мнению Рота, в краткосрочной перспективе это открывает «окно возможностей» для заработка миллионов или миллиардов долларов, пока рынки не адаптируются к тому, что все участники используют ИИ . Он прогнозирует, что со временем наступит этап, когда «модели будут сражаться с моделями», а рынки станут слишком совершенными для человеческого трейдинга .
🔬 Будущее: RL-залы и «думающие машины» 19:13
Ведущий обращает внимание на вакансию OpenAI: компания ищет инженера-исследователя для направления «Focus Bets» (целевые ставки) . Задача такого сотрудника — объединять экспертов в конкретных областях с инженерами машинного обучения для создания специализированных сред обучения с подкреплением (RL Gyms) .
Уэс Рот проводит аналогию:
- AlphaFold (Google DeepMind): создала прорыв, объединив ИИ и биологию .
- Финансовые модели: OpenAI, вероятно, планирует сделать то же самое, объединив LLM с экспертами по рынкам и экономике .
По мнению автора, данные бенчмарков вроде Profit Arena являются «золотой жилой» для обучения моделей . Отслеживание цепочки рассуждений (reasoning traces) модели перед событием и последующая корректировка на основе реального результата позволяют создать совершенную «машину предсказаний» .
Рот делает смелый прогноз: компания, стоящая за Profit Arena, будет куплена за огромную сумму денег благодаря уникальности собираемых данных о прогнозах в реальном времени .
