Анонс следующего поколения языковых моделей от OpenAI вызвал большой резонанс в ИТ-сообществе. Согласно последним данным, полученным непосредственно от руководства компании, будущая модель — GPT Next (или GPT-5) — обещает качественный скачок в производительности, который авторы видео оценивают как «два порядка величины» (100-кратное улучшение) по сравнению с текущей GPT-4.
🚀 Анонс GPT Next: 100-кратный скачок производительности 0:00
На недавнем саммите KDDI 2024 в Японии Тадао Нагасаки, исполнительный директор и президент OpenAI Japan, официально представил планы компании на ближайшее будущее . По его словам, новая флагманская модель под рабочим названием GPT Next будет выпущена уже в 2024 году .
Ключевые характеристики GPT Next, озвученные на форуме:
- Эффективная вычислительная нагрузка: Она будет в 100 раз превышать показатели GPT-4 .
- Экспоненциальный рост: По аналогии с переходом от GPT-3 к GPT-4, где также наблюдался 100-кратный рост, OpenAI намерена поддерживать этот темп развития .
- Глобальная интеграция: Нагасаки подтвердил, что технология будет внедрена не только в продукты Apple, но и в сервисы таких гигантов, как Spotify, Coca-Cola, Moderna и Morgan Stanley .
🧠 Понятие OOM: как измерить прогресс ИИ 1:18
Для описания масштаба изменений эксперты все чаще используют термин OOM (Orders of Magnitude — порядки величины) . Увеличение на один порядок означает десятикратный рост. Таким образом, анонсированные «два порядка величины» (100x) — это колоссальный сдвиг.
Ведущий приводит наглядную аналогию развития моделей через систему образования :
При этом Уэс Рот подчеркивает, что рост эффективности не всегда означает пропорциональный рост энергопотребления . По мнению Леопольда Ашенбреннера, автора работы Situational Awareness, прогресс складывается из трех факторов: чистого объема вычислений (Compute), алгоритмической эффективности и «разблокировки» (unhobbling) скрытых возможностей модели . Таким образом, 100-кратное улучшение — это синергия мощного «железа» и более совершенной архитектуры обучения .
🍓 Проекты Strawberry и Orion: архитектурные хитрости 4:31
Разработка GPT Next тесно связана с проектами внутри OpenAI, известными под кодовыми именами Strawberry («Земляника») и Orion .
- Strawberry: фокусируется на продвинутых способностях к рассуждению (reasoning). Ожидается, что GPT Next будет обучаться на синтетических данных, сгенерированных мини-версией Strawberry . Это позволит модели «думать» перед тем, как дать ответ.
- Orion: по имеющимся данным, эта модель тренировалась в течение нескольких месяцев на мощностях, эквивалентных 10 000 графических процессоров NVIDIA H100 . Ее выход на рынок может состояться в 2025 году .
Алекс Грейв, бывший главный архитектор GitHub Copilot, считает, что использование качественных данных от Strawberry поможет практически полностью устранить проблему галлюцинаций . Если модель обучается на логически выверенных данных, она делает меньше необоснованных догадок .
🏛️ Структура модели: «Смесь экспертов» (MoE) 11:43
Один из самых обсуждаемых вопросов — реальный размер и структура GPT-5. На конференции Semicon Taiwan промелькнули слайды, указывающие на число параметров в триллионах .
Уэс Рот анализирует мнение Джорджа Хотца (основателя Tiny Corp), который утверждает, что секретность OpenAI — это лишь способ скрыть «не слишком крутые» архитектурные решения . По словам Хотца:
- GPT-4 не является единым монолитным гигантом; это 8-канальная «смесь экспертов» (Mixture of Experts), где каждая голова имеет около 220 миллиардов параметров .
- Компании используют MoE, когда у них заканчиваются идеи по масштабированию одиночных моделей .
- Любой, у кого есть деньги, может просто обучить одну модель восемь раз и объединить их .
Существует предположение, что GPT-5 может использовать формулу «3x5» — то есть комбинацию нескольких экспертных моделей по 5 триллионов параметров каждая, что в сумме дает беспрецедентный масштаб вычислений .
🇯🇵 Роль Японии в стратегии OpenAI 8:53
Выбор Японии как площадки для важных анонсов не случаен. Тадао Нагасаки отметил, что страна имеет уникальные условия для развития ИИ :
- Благоприятное законодательство: В Японии одни из самых мягких в мире законов об авторском праве в контексте обучения ИИ-моделей .
- Демографический вызов: Стареющее население и сокращение рождаемости создают острую потребность в автоматизации услуг и физического труда через ИИ и робототехнику .
По мнению Нагасаки, ИИ способен изменить само понятие «сервиса», выполняя задачи на человеческом уровне, что критически важно для экономики с дефицитом рабочих рук .
