# Сэм Альтман против Гэри Маркуса: уперся ли искусственный интеллект в стену?

Источник: https://www.youtube.com/watch?v=al81jivAX-s
Канал: Wes Roth
Опубликовано: 15.11.2024

---

Материал портала *The Information* о замедлении прогресса в разработке нейросетей вызвал бурную дискуссию в Кремниевой долине. Пока СМИ пишут о «стене», в которую уперлись языковые модели, главы технологических гигантов и ведущие ученые спорят о том, закончила ли свою работу «закон масштабирования» (Scaling Laws) или индустрия просто переходит к новым методам обучения.

## 🧱 Тупик или передышка: почему говорят о замедлении ИИ
[[JUMP:0:00]]

Издание *The Information* опубликовало серию материалов, утверждающих, что прогресс ИИ начинает пробуксовывать [0:00]. Журналисты ссылаются на сотрудников OpenAI, которые тестировали новую модель Orion (следующий крупный релиз после GPT-4). По их словам, прирост качества в Orion оказался значительно меньше, чем скачок между GPT-3 и GPT-4 [0:55]. Хотя модель лучше справляется с языковыми задачами, она может не превзойти предшественников в таких областях, как программирование [1:08].

Это ставит под сомнение так называемые «законы масштабирования» — фундаментальную уверенность отрасли в том, что увеличение объема данных, вычислительных мощностей и времени обучения неизменно ведет к пропорциональному росту интеллекта системы [1:20].

Ведущий канала Уэс Рот выделяет три позиции в этом споре:

1.  **Пессимисты (Гэри Маркус):** Утверждают, что глубокое обучение достигло предела.
2.  **Реалисты/Скептики (The Information):** Считают, что «легкие победы» закончились и теперь прогресс потребует принципиально новых подходов.
3.  **Оптимисты (Сэм Альтман):** Отрицают наличие каких-либо барьеров.

## 🗣️ «Стены нет»: реакция Сэма Альтмана и Яна Лекуна
[[JUMP:1:47]]

Генеральный директор OpenAI Сэм Альтман (Sam Altman) лаконично ответил на слухи в соцсетях: «Стены нет» [1:47]. Уэс Рот отмечает, что даже бывшие сотрудники OpenAI, ушедшие из-за опасений по поводу безопасности, не подтверждают замедление. Напротив, они считают, что технология развивается слишком быстро, и природное «плато» в разработке дало бы человечеству необходимое время на решение вопросов выравнивания (alignment) [2:12].

Ян Лекун (Yann LeCun), главный ученый Meta по ИИ, также жестко раскритиковал идею о «тупике» [7:03]. По мнению Лекуна:

*   Глубокое обучение не достигло предела и останется фундаментом будущих систем [7:29].
*   Критика deep learning — это «арьергардное сражение», которое критики уже проиграли [7:42].
*   При этом сам Лекун скептически относится к тому, что одни лишь LLM (большие языковые модели) приведут нас к AGI (общему искусственному интеллекту) [8:44].

## 📉 Кейс Гэри Маркуса: пророк или хейтер?
[[JUMP:2:39]]

Главным апологетом идеи «стены» остается Гэри Маркус. Он утверждает, что отчеты о снижении доходности от масштабирования подтверждают его прогнозы 2022 года [3:09]. Однако Уэс Рот приводит список достижений ИИ, произошедших именно после того, как Маркус впервые заявил о тупике:

*   **AlphaProteo:** Генерирует новые белки для борьбы с раком и вирусами [3:48].
*   **AlphaProof:** Набрала баллы на уровне серебряного призера Международной математической олимпиады (IMO), решив сложнейшие задачи с доказательствами [4:14].
*   **Eureka (NVIDIA):** ИИ обучил роборуку виртуозному вращению ручки, создав функции вознаграждения, которые на 52% эффективнее написанных людьми-экспертами [6:12].

Особенно интересно, что в сложных задачах идеи ИИ (например, в системе Eureka) становятся «инопланетными» — они сильно отклоняются от человеческой логики, но работают при этом лучше [6:50].

## 🧠 Тест ARC-AGI: последний бастион человеческого превосходства
[[JUMP:11:08]]

Поскольку стандартные бенчмарки (тесты) для ИИ быстро «насыщаются» (модели достигают 100% точности за счет запоминания данных), индустрия обратилась к ARC-AGI [11:23]. Этот тест, созданный Франсуа Шолле (François Chollet), проверяет способность к абстрактному мышлению на задачах, которые просты для человека, но сложны для машин [12:34].

Ключевые факты о ARC-AGI:

*   **Порог AGI:** Считается, что достижение 85% точности будет эквивалентно уровню человеческого интеллекта [12:16].
*   **Текущие рекорды:** На платформе Kaggle лучшие команды достигают около 55.5% [12:01].
*   **Новые методы:** Исследование MIT показало эффективность «обучения во время тестирования» (test-time training), позволив достичь 61.9%, что близко к среднему человеческому результату [16:29].

Сэм Альтман намекнул, что OpenAI, возможно, уже решили эту задачу [14:55]. На вопрос в соцсетях о том, верят ли пользователи, что ARC-AGI пройден, Альтман ответил загадочным вопросом: «В глубине души вы верите, что мы решили это или нет?» [15:35].

## 🚀 Новая стратегия: вычисления во время работы (Inference Compute)
[[JUMP:16:01]]

Вместо того чтобы просто увеличивать масштаб пре-тренинга (обучения на гигантских массивах данных), исследователи Google и OpenAI переключаются на другие методы [10:04]:

*   **Hyperparameter tuning:** Тонкая настройка параметров того, как модель учится [10:16].
*   **Test-time compute:** Моделям дают больше времени «подумать» перед выдачей ответа. Увеличение вычислительных затрат в момент инференса (вывода), а не только при обучении, дает колоссальный прирост в логических задачах [16:15].

Уэс Рот резюмирует: хотя традиционное масштабирование может замедляться, новые архитектурные решения и методы обработки данных позволяют обходить «стену», о которой говорят СМИ.