# OpenAI анонсирует GPT Next: 100-кратный рост производительности и релиз в 2024 году

Источник: https://www.youtube.com/watch?v=v7sFwtrnQIw
Канал: Wes Roth
Опубликовано: 04.09.2024

---

Анонс следующего поколения языковых моделей от OpenAI вызвал большой резонанс в ИТ-сообществе. Согласно последним данным, полученным непосредственно от руководства компании, будущая модель — GPT Next (или GPT-5) — обещает качественный скачок в производительности, который авторы видео оценивают как «два порядка величины» (100-кратное улучшение) по сравнению с текущей GPT-4.

## 🚀 Анонс GPT Next: 100-кратный скачок производительности
[[JUMP:00:00]]

На недавнем саммите KDDI 2024 в Японии Тадао Нагасаки, исполнительный директор и президент OpenAI Japan, официально представил планы компании на ближайшее будущее [00:25]. По его словам, новая флагманская модель под рабочим названием GPT Next будет выпущена уже в 2024 году [00:52].

Ключевые характеристики GPT Next, озвученные на форуме:

*   **Эффективная вычислительная нагрузка:** Она будет в 100 раз превышать показатели GPT-4 [01:04].
*   **Экспоненциальный рост:** По аналогии с переходом от GPT-3 к GPT-4, где также наблюдался 100-кратный рост, OpenAI намерена поддерживать этот темп развития [01:18].
*   **Глобальная интеграция:** Нагасаки подтвердил, что технология будет внедрена не только в продукты Apple, но и в сервисы таких гигантов, как Spotify, Coca-Cola, Moderna и Morgan Stanley [08:12].

## 🧠 Понятие OOM: как измерить прогресс ИИ
[[JUMP:01:18]]

Для описания масштаба изменений эксперты все чаще используют термин OOM (*Orders of Magnitude* — порядки величины) [01:43]. Увеличение на один порядок означает десятикратный рост. Таким образом, анонсированные «два порядка величины» (100x) — это колоссальный сдвиг.

Ведущий приводит наглядную аналогию развития моделей через систему образования [03:13]:

*   **GPT-2:** уровень дошкольника.
*   **GPT-3:** ученик начальной школы.
*   **GPT-4:** способный старшеклассник [03:26].

При этом Уэс Рот подчеркивает, что рост эффективности не всегда означает пропорциональный рост энергопотребления [06:03]. По мнению Леопольда Ашенбреннера, автора работы *Situational Awareness*, прогресс складывается из трех факторов: чистого объема вычислений (Compute), алгоритмической эффективности и «разблокировки» (unhobbling) скрытых возможностей модели [06:16]. Таким образом, 100-кратное улучшение — это синергия мощного «железа» и более совершенной архитектуры обучения [06:28].

## 🍓 Проекты Strawberry и Orion: архитектурные хитрости
[[JUMP:04:31]]

Разработка GPT Next тесно связана с проектами внутри OpenAI, известными под кодовыми именами *Strawberry* («Земляника») и *Orion* [04:31]. 

*   **Strawberry:** фокусируется на продвинутых способностях к рассуждению (reasoning). Ожидается, что GPT Next будет обучаться на синтетических данных, сгенерированных мини-версией Strawberry [05:10]. Это позволит модели «думать» перед тем, как дать ответ.
*   **Orion:** по имеющимся данным, эта модель тренировалась в течение нескольких месяцев на мощностях, эквивалентных 10 000 графических процессоров NVIDIA H100 [06:42]. Ее выход на рынок может состояться в 2025 году [06:54].

Алекс Грейв, бывший главный архитектор GitHub Copilot, считает, что использование качественных данных от Strawberry поможет практически полностью устранить проблему галлюцинаций [10:39]. Если модель обучается на логически выверенных данных, она делает меньше необоснованных догадок [10:52].

## 🏛️ Структура модели: «Смесь экспертов» (MoE)
[[JUMP:11:43]]

Один из самых обсуждаемых вопросов — реальный размер и структура GPT-5. На конференции Semicon Taiwan промелькнули слайды, указывающие на число параметров в триллионах [11:43].

Уэс Рот анализирует мнение Джорджа Хотца (основателя Tiny Corp), который утверждает, что секретность OpenAI — это лишь способ скрыть «не слишком крутые» архитектурные решения [14:48]. По словам Хотца:

1. GPT-4 не является единым монолитным гигантом; это 8-канальная «смесь экспертов» (Mixture of Experts), где каждая голова имеет около 220 миллиардов параметров [13:55].
2. Компании используют MoE, когда у них заканчиваются идеи по масштабированию одиночных моделей [14:10].
3. Любой, у кого есть деньги, может просто обучить одну модель восемь раз и объединить их [15:01].

Существует предположение, что GPT-5 может использовать формулу «3x5» — то есть комбинацию нескольких экспертных моделей по 5 триллионов параметров каждая, что в сумме дает беспрецедентный масштаб вычислений [12:10].

## 🇯🇵 Роль Японии в стратегии OpenAI
[[JUMP:08:53]]

Выбор Японии как площадки для важных анонсов не случаен. Тадао Нагасаки отметил, что страна имеет уникальные условия для развития ИИ [09:20]:

*   **Благоприятное законодательство:** В Японии одни из самых мягких в мире законов об авторском праве в контексте обучения ИИ-моделей [09:33].
*   **Демографический вызов:** Стареющее население и сокращение рождаемости создают острую потребность в автоматизации услуг и физического труда через ИИ и робототехнику [10:12]. 

По мнению Нагасаки, ИИ способен изменить само понятие «сервиса», выполняя задачи на человеческом уровне, что критически важно для экономики с дефицитом рабочих рук [09:07].