Дваркеш Патель собрал за одним столом ведущих исследователей ИИ: Джона Шульмана (сооснователь OpenAI, ныне Chief Scientist в Thinking Machines), Берена Миллиджа (CTO Zyphra) и Чарли О’Нила (глава отдела обучения моделей в BaseTen). В центре дискуссии — вопрос о том, насколько близок момент «рекурсивного самосовершенствования» (RSI) систем ИИ и что может помешать им стать сверхразумными в ближайшее десятилетие.
🚀 Почему сверхразум может не наступить к 2036 году? 0:00
Ведущий задал провокационный вопрос: если в 2036 году мы всё еще не будем жить в мире сверхразумных машин, какая техническая причина станет основной?
- Берен Миллидж считает наиболее вероятным сценарием сохранение «разрыва между симуляцией и реальностью» (sim-to-real gap) . Он проводит параллель с парадоксом Моравека: задачи, которые кажутся нам сложными (шахматы, математика), ИИ решает легко, но базовые навыки обобщения и непрерывного обучения (continuous learning) могут оказаться непреодолимым барьером .
- Джон Шульман указывает на «цикл разочарования»: каждая новая модель поражает воображение, но через месяц использования начинает казаться «глупой» из-за специфических ограничений в суждениях . По его мнению, прогресс может просто раз за разом упираться в новые узкие места в инженерном деле и исследованиях .
- Чарли О’Нил полагает, что мы можем столкнуться с асимптотическим замедлением, если текущая архитектура (трансформеры + RL) достигнет своего глобального оптимума . Если для следующего рывка потребуется фундаментально новая парадигма, которую текущие LLM не смогут открыть самостоятельно, прогресс остановится .
🧠 Автоматизация ИИ-исследований: последний рубеж 0:28
Участники обсудили, как именно будут обучаться модели, способные заменить самих исследователей ИИ.
- Формулирование целей как финальная работа для человека. Шульман утверждает, что даже если ИИ возьмет на себя всю техническую часть, определение того, как именно модель должна себя вести и что считать «полезным», останется за людьми .
- Экономия на «прозрениях». О’Нил отметил, что ИИ уже сейчас мог бы ускорить прогресс в 10 раз, просто находя ошибки в планировании экспериментов (например, в законах масштабирования), которые люди осознают годами .
- Смена ролей. Вместо написания кода исследователи будут заниматься «выравниванием» (alignment) и заданием конституций для моделей .
🇨🇳 Китайские лаборатории и секрет их успеха 0:18
Интересный поворот дискуссии коснулся того, почему китайские лаборатории (например, DeepSeek или GLM) так быстро сокращают разрыв с западными frontier-моделями.
- Роутер-данные. Шульман упомянул, что в Китае популярны прокси-сервисы (роутеры) для доступа к заблокированным западным моделям . Эти сервисы собирают идеальные распределения промптов реальных пользователей, что позволяет китайским компаниям проводить высокоэффективную дистилляцию знаний из топовых моделей США .
- Дистилляция против инноваций. Дистилляция позволяет легко копировать поведение через обучение с учителем, но, по мнению Шульмана, она хуже передает навыки в сложных, многоходовых реалистичных сценариях, где важна «интуиция» большой модели .
🔄 RL (обучение с подкреплением): почему оно работает лучше прогнозов? 1:18
Год назад многие скептики считали, что RL не масштабируется для языковых моделей, так как дает слишком мало информации на эпизод («один бит» — правильно/неправильно).
- Берен Миллидж объяснил феномен: RL не учит модель с нуля, а лишь «подправляет» её . Основную работу выполняет «mid-training» на синтетических данных рассуждений (Chain of Thought), который подводит модель к результату на 80% . RL же резко повышает соотношение сигнал/шум, отсекая неверные пути .
- Чарли О’Нил добавил, что ключевым стало «горизонтальное обобщение»: модели научились тратить больше токенов на размышления, что коррелирует с успехом в самых разных задачах . По данным EdgeBench, способность моделей «работать дольше» удваивается каждые три месяца .
📉 Масштабирование: данные против архитектуры 1:00
Дваркеш привел данные своего исследования: улучшение качества данных дает 9-кратный прирост эффективности вычислений, в то время как архитектурные изменения — лишь 3-кратный .
- Смерть «чистых» законов масштабирования. Шульман отметил, что мы переходим из режима оптимизации вычислительной эффективности в режим оптимизации эффективности данных .
- Будущее параметров. Прогнозы на 2030 год разделились. Хотя теоретически модели могут расти до триллионов параметров, необходимость делать эффективные RL-выводы (rollouts) заставляет разработчиков стремиться к уменьшению количества активных параметров .
📅 Прогнозы и таймлайны 1:28
В завершение встречи Дваркеш попросил участников дать конкретные сроки для ключевых вех:
- Полноценный удаленный работник (ИИ-агент, способный месяц вести проект в браузере/Slack):
- Чарли О’Нил: 1 год .
- Берен Миллидж: 3 года (из-за «длинного хвоста» редких задач) .
- 10-кратное ускорение работы ИИ-исследователя:
- Джон Шульман и Чарли О’Нил: 2 года .
- ASI (Искусственный сверхразум, превосходящий людей во всех когнитивных сферах):
- Джон Шульман: 3–4 года .
- Берен Миллидж: 5 лет .
- Чарли О’Нил: 5–10 лет (считает автоматизацию исследований самой сложной задачей) .
