# The AI Reasoning Revolution with Ought's Jungwon Byun and Andreas Stuhlmüller

Источник: https://www.youtube.com/watch?v=eZF7tQSxAeQ
Канал: The Cognitive Revolution
Опубликовано: 06.04.2023

---

Революция в области ИИ-рассуждений (AI reasoning) обещает изменить то, как мы работаем с информацией и принимаем сложные решения. Основатели компании Ought Джунгвон Бюн и Андреас Штульмюллер разрабатывают механизмы делегирования открытых когнитивных задач машинам, делая ставку не на финальный результат, а на прозрачность самого процесса мышления. В центре их экосистемы — продукт Elicit, который уже сегодня помогает тысячам исследователей автоматизировать обзор научной литературы и анализ данных.

## 🧠 Проблема «прокси-целей» и ловушка имитации
[[JUMP:04:50]]

Андреас Штульмюллер утверждает, что до сих пор машинное обучение (ML) было эффективно в двух сферах: имитация человеческого поведения (генерация текста) и оптимизация вознаграждения в четко заданных рамках (игры вроде го). Однако в задачах, требующих глубоких раздумий и принятия обоснованных решений, «правильного» объективного вознаграждения не существует.

По мнению Штульмюллера, здесь кроется главный риск:

* **Использование суррогатных целей:** ИИ может начать оптимизировать «убедительность» или «впечатляющий вид» ответа вместо его истинности или полезности.
* **Отсутствие критического мышления:** Текущие модели в основном находятся в режиме имитации, они не способны превзойти человека в качестве принятия решений без новых архитектурных подходов.

## 🧩 Декомпозиция задач: уроки ранних экспериментов
[[JUMP:08:31]]

Компания Ought начала работу над своей миссией еще шесть лет назад, когда современные языковые модели (LLM) даже не существовали в их нынешнем виде. В отсутствие мощных ИИ-систем основатели проводили эксперименты на людях, пытаясь понять, как можно разбить сложные интеллектуальные задачи на мелкие шаги.

Джунгвон Бюн описывает один из ключевых экспериментов — «релейное программирование»:

* Участнику давали всего одну минуту на продвижение в решении задачи, после чего он передавал свои записи следующему человеку.
* Целью было проверить, насколько «композируемым» является мышление и можно ли решать сложные проблемы, не удерживая весь контекст в голове.

Основной проблемой, с которой столкнулись исследователи, стала прогрессия ошибок. Если вероятность ошибки в подзадаче составляет всего 10%, то при цепочке из 20 шагов система практически гарантированно придет к неверному результату. Штульмюллер отмечает, что современные языковые модели сталкиваются с тем же барьером «ненадежности» при выполнении длинных последовательностей действий.

## 🔍 Интерпретируемость по построению (Interpretability by Construction)
[[JUMP:17:42]]

Философия Ought строится на принципе «интерпретируемости по построению». Вместо того чтобы пытаться угадать, почему нейросеть выдала тот или иной ответ, разработчики заставляют модель следовать человекочитаемым процессам.

Ключевые отличия подхода Ought:

* **Надзор за процессом, а не за результатом:** Обучение моделей на высококачественных рассуждениях, а не просто на правильных ответах.
* **Транспарентность:** Все промежуточные состояния системы должны быть эксплицитными (явными). Это позволяет человеку проверять логику ИИ на каждом этапе.
* **Автоматизированная декомпозиция:** Штульмюллер считает, что сам процесс разбиения сложных задач на простые тоже может быть делегирован ИИ, что позволит масштабировать систему без ручного труда.

## 🧪 Как работает Elicit: от поиска к проверке на надежность
[[JUMP:22:06]]

Флагманский продукт компании, Elicit (elicit.org), сегодня позиционируется как ИИ-ассистент для исследователей. Его основная задача — превращать неструктурированные данные из PDF-файлов в структурированные таблицы для быстрого анализа.

В систему встроены специализированные инструменты оценки качества работ:

1.  **Контрольный список надежности (Trustworthiness checklist):** Система автоматически проверяет размер выборки, наличие конфликтов интересов у авторов и контролируемые переменные.
2.  **Цитирование источников:** Elicit не просто дает ответ, а находит релевантный фрагмент текста и показывает его пользователю. Это сокращает время на верификацию, так как человеку нужно прочитать пару предложений вместо всей статьи.
3.  **Список сущностей (List of entities):** Новая функция, позволяющая извлекать концепты (например, наборы данных или эффекты лекарств) сразу из множества работ и группировать их.

## ⚙️ Технический стек и методы обучения
[[JUMP:1:25:48]]

Команда Ought использует ансамбль моделей, постоянно тестируя и меняя их в зависимости от эффективности. 

Факты о технической базе проекта:

* **Используемые модели:** Команда работала с API OpenAI, Anthropic, Cohere, а также с открытыми моделями вроде Galactica, GPT-J и Flan-T5.
* **Основная рабочая лошадка:** На текущий момент наиболее полезной для развертывания признана модель **Flan-T5 XXL (11 миллиардов параметров)**.
* **Экономика:** Переход на собственные модели обусловлен стоимостью. При базе в 250 000 пользователей использование только проприетарных API становится слишком дорогим [1:26