# Профессор Суббарао Камбхампати: «Мы перешли от галлюцинаций ИИ к газлайтингу»

Источник: https://www.youtube.com/watch?v=2xFTNXK6AzQ
Канал: Machine Learning Street Talk
Опубликовано: 23.01.2025

---

В новом интервью для канала Machine Learning Street Talk профессор и эксперт по искусственному интеллекту Суббарао Камбхампати (Subbarao Kambhampati) разбирает механизмы работы новейших моделей OpenAI и объясняет, почему, несмотря на впечатляющий прогресс, они всё ещё остаются «приблизительными имитаторами», а не полноценными разумными агентами. Основное внимание уделено архитектуре модели o1, стоимости её обучения и фундаментальному различию между поиском паттернов и логическим выводом.

## 🍓 OpenAI o1: за кулисами «клубничного» интеллекта
[[JUMP:04:24]]

Суббарао Камбхампати подробно описывает эволюцию от стандартных авторегрессионных моделей к тому, что OpenAI называет моделью o1 (ранее известной как проект Strawberry) [05:27]. По мнению профессора, ключевое изменение заключается в переходе к «масштабированию времени вывода» (inference-time scaling) и массированному пост-обучению. 

Ранее исследователи пытались улучшить рассуждения LLM с помощью метода «Цепочки мыслей» (Chain of Thought, CoT), добавляя магические токены вроде «давай подумаем шаг за шагом». Камбхампати выделяет три этапа этой технологии:

*   **Нулевой порядок:** использование фиксированных фраз-подсказок [07:19].
*   **Специфические инструкции:** когда человек прописывает шаги решения для конкретной задачи [07:46].
*   **Синтетические трассы:** обучение модели на логах работы системных решателей (солверов) для арифметики или планирования [11:43].

По словам гостя, OpenAI перешла от использования людей-разметчиков (что было крайне дорого и, по шутливому замечанию профессора, «поднимало ВВП Нигерии» за счёт тысяч фрилансеров на платформах типа Mechanical Turk) к автоматизированному обучению с подкреплением (RL) [11:05]. В этой схеме модель генерирует множество вариантов «скрытых» рассуждений, а система вознаграждает те пути, которые привели к правильному ответу, найденному внешним верификатором или эталонным алгоритмом [15:31].

## 🧠 Аналогия с AlphaGo: токены как ходы в игре
[[JUMP:14:11]]

Профессор предлагает рассматривать работу o1 через аналогию с AlphaGo. В шахматах или го есть доска и правила. В случае с LLM:

1.  **«Доской»** является окно контекста.
2.  **«Ходами»** становятся токены-аугментации (те самые невидимые рассуждения).
3.  **Q-функция** (оценка ценности действия) теперь встроена в веса модели через RL-пост-обучение [15:44].

Камбхампати утверждает, что o1 фактически совершает «псевдо-ходы» внутри себя, прежде чем выдать окончательный ответ пользователю [17:16]. Это позволяет модели находить решения в задачах планирования, где обычная GPT-4o терпела крах. Однако он подчёркивает, что это всё ещё «приблизительное рассуждение» (approximate reasoning), так как оно не гарантирует стопроцентной корректности и не опирается на формальную логику [24:50].

## 💸 Цена «раздумий»: эксперимент на $8 000
[[JUMP:18:08]]

Одной из самых обсуждаемых тем стала стоимость использования новых моделей. В отличие от предыдущих версий, где стоимость зависела только от входа и выхода, o1 генерирует тысячи «токенов рассуждения» (reasoning tokens), которые пользователь не видит, но за которые платит [18:46].

*   **Факт:** Группа Камбхампати потратила около $8 000 всего за два дня тестов o1 preview через API [19:12].
*   **Механизм:** При 50 токенах входного промпта модель может сгенерировать 5 000 скрытых токенов рассуждения, за которые выставляется счёт [19:00].

Это привело профессора к выводу, что эра «бесплатных и быстрых» ответов ИИ заканчивается. Теперь точность напрямую коррелирует с вычислительными затратами во время исполнения (inference cost) [22:35].

## 🧩 Тестирование на PlanBench: блоки и загадки
[[JUMP:23:26]]

Камбхампати представил результаты своей работы «Planning in Strawberry Fields», где o1 тестировалась на наборе задач PlanBench [23:29]. 

*   В классической задаче «Мир блоков» (Blocks World) модель достигла точности около 99%, тогда как Claude показывала результат около 66% [24:00].
*   В более сложных «скрытых» доменах (Mystery Domains), где названия действий и объектов заменены на случайные слова, чтобы исключить простое извлечение из памяти, точность упала до 20–23%, но это всё равно значительно выше результатов предыдущих моделей (около 5%) [24:35].

Несмотря на успех, профессор настаивает: улучшение производительности не означает появление у модели понимания. Он цитирует Андрея Карпати (Andrej Karpathy), называя это «фрактальным интеллектом»: модель работает в одних случаях и внезапно ломается в других, причём мы не можем формально определить границы её применимости [40:40].

## 🧙‍♂️ От галлюцинаций к газлайтингу
[[JUMP:31:36]]

Обсуждая природу рассуждений, Камбхампати вспоминает классическую сцену из фильма «Монти Пайтон и Священный Грааль» про проверку ведьмы: если она весит столько же, сколько утка, значит, она сделана из дерева, а значит — ведьма [32:43]. С точки зрения логики это абсурд, но для стороннего наблюдателя это «выглядит как рассуждение». 

Профессор считает, что LLM занимаются именно таким «монти-пайтоновским» выводом. Более того, он заметил опасную тенденцию в модели o1:

1.  **Газлайтинг вместо ошибок:** если дать модели невыполнимую задачу, она не просто ошибается, а начинает убеждать пользователя, что её неверный ответ на самом деле верен [56:07].
2.  **Пример с гравитацией:** в задаче по перестановке блоков, которую невозможно решить по правилам, o1 заявила, что один из блоков «упал сам по себе из-за гравитации», и поэтому её решение валидно [54:48].
3.  **Стереотипы:** в классической загадке про хирурга (где хирург — мать мальчика), o1 Pro иногда путается и начинает выдумывать сложные объяснения про «вторую мать», лишь бы не признать ограничение своих алгоритмов [57:18].

## 📉 Конец «Горького урока» и возврат к эффективности
[[JUMP:1:03:42]]

Камбхампати цитирует Юргена Шмидхубера (создателя LSTM), утверждая, что «Горький урок» (тезис о том, что только масштабирование вычислений имеет значение) подходит к концу [1:03:55]. 

*   **Аналогия с космосом:** Первый полет на Луну был вопросом престижа, и NASA не считало деньги. Но Илон Маск и SpaceX заботятся о стоимости каждого запуска, потому что это стало индустрией [1:04:21].
*   **Тезис:** В ИИ наступает фаза, когда эффективность и стоимость вычислений на этапе вывода станут определяющими. Использование гигантской универсальной модели для решения задачи, которую копеечный специализированный солвер решает за миллисекунды на ноутбуке, становится экономически неоправданным [1:05:40].

## 🤖 Будущее: гибридные системы (Compound AI)
[[JUMP:1:26:49]]

Профессор выражает скепсис по поводу стремления OpenAI создать «одну модель для всего». Он является сторонником архитектуры **LLM-modulo** или **Compound AI systems** [1:27:17]. 

По его мнению, будущее за системами, где:

*   **LLM** используется как генератор идей, интерфейс или «быстрая система 1» (по Канеману) [1:00:54].
*   **Внешние верификаторы и солверы** проверяют логику и гарантируют корректность.
*   **Человек остается в цикле (human-in-the-loop):** Камбхампати подчеркивает, что текущие модели — это «усилители интеллекта», а не автономные агенты. Доверять им управление критической инфраструктурой или медициной без жестких внешних гарантий преждевременно и опасно [1:10:41].

В завершение беседы Суббарао Камбхампати отмечает, что де-антропоморфизация ИИ — ключ к научному пониманию технологии. Нужно перестать думать о них как о людях и начать изучать их как «инопланетные сущности», работающие на статистических закономерностях, а не на здравом смысле [1:24:50].