Уэс Рот: «GPT-4o mini — это ключ к созданию Общества Разумов»

Wes Roth 68,7 тыс. 11 мин 3 мин 21.07.2024
Главное

Релиз новой компактной модели GPT-4o mini от компании OpenAI прошел на удивление тихо. На фоне ожиданий полноценного искусственного общего интеллекта (AGI) запуск «облегченной» версии многим показался второстепенным событием. Однако Уэс Рот, автор популярного технологического канала, убежден: перед нами не просто очередной продукт, а «исследовательский артефакт», который открывает путь к созданию сложных мультиагентных систем и так называемого «Общества Разумов» (Society of Minds).

🧩 GPT-4o mini: зачем OpenAI выпустила «маленькую» модель 0:00

По мнению Уэса Рота, отсутствие ажиотажа вокруг GPT-4o mini связано с завышенными ожиданиями публики, которая ждет только гигантских скачков в возможностях нейросетей . Тем не менее, сотрудник OpenAI под ником @rowancheung отметил, что этот релиз — важная веха на пути к AGI. Основная ценность новой модели заключается в ее экстремальной дешевизне и скорости: 15 центов за миллион входных токенов и 60 центов за миллион выходных . Глава OpenAI Сэм Альтман охарактеризовал текущий этап развития ИИ как движение к «интеллекту, слишком дешевому, чтобы его измерять» .

Рот подчеркивает, что GPT-4o mini демонстрирует результат 82% в тесте MMLU, что делает ее сопоставимой с флагманскими моделями недавнего прошлого . Это подтверждает тренд, заметный в исследовательских работах Microsoft и Google: оптимизация алгоритмов позволяет маленьким моделям достигать производительности систем, которые в 10 раз больше их по количеству параметров .

🧠 Феномен «Общества Разумов» и мультиагентные дебаты 3:20

Ключевой технический инсайт, который обсуждает Уэс Рот, заключается в том, что несколько малых моделей, работающих сообща, могут превзойти одну большую и мощную . Исследователи из Google и китайских институтов (включая Tencent) называют этот подход «Society of Minds» (Общество Разумов) .

Основные тезисы концепции мультиагентности:

По словам Рота, такая стратегия позволяет экономить огромные ресурсы: система фильтрации запросов (RouteLLM) может направлять простые задачи на GPT-4o mini, а сложные — на флагманскую GPT-4o, снижая затраты на 85% при сохранении 95% качества работы .

🏠 Симуляция человеческого поведения: от теории к практике 5:28

В качестве примера того, для чего нужны дешевые модели, Уэс Рот вспоминает знаменитый эксперимент Стэнфорда под названием «Generative Agents: Interactive Simulacra of Human Behavior» . В рамках этого исследования был создан виртуальный город с 25 ИИ-агентами, каждый из которых обладал собственной «памятью», личными целями и социальными связями .

Детали процесса симуляции:

С появлением GPT-4o mini подобные симуляции становятся доступными для индивидуальных разработчиков. Рот отмечает, что код этого проекта теперь открыт (Open Source), и его можно запустить на домашнем компьютере .

📱 ИИ в каждом ботинке: будущее интеграции 8:46

Уэс Рот обращает внимание на амбиции ИИ-гигантов интегрировать интеллект в повседневные предметы . OpenAI открыто заявляет о намерении встроить свои модели в каждое приложение и на каждый сайт. Apple, в свою очередь, работает над локальными помощниками для управления умным домом .

Прогноз Рота относительно использования малых моделей:

В завершение Уэс Рот делится личным планом: протестировать новую компактную модель в задачах написания программного кода . Он выражает мнение, что именно в связке (chaining) множества быстрых и дешевых моделей кроется следующий этап прогресса в области автономных агентов.

💬 Цитаты

«Мы приближаемся к интеллекту, который слишком дешев, чтобы его измерять.»

Сэм Альтман 00:53

«Маленькие модели в 10 раз меньше конкурентов могут достигать того же уровня рассуждений.»

👥 Спикер
🎬 Упомянутые фильмы и сериалы
🔗 Упомянутые сайты и проекты
📖 Термины
MMLU
Комплексный тест для оценки способностей языковых моделей в решении задач из разных областей знаний.
Society of Minds
Концепция, в которой интеллект рассматривается как результат взаимодействия множества специализированных агентов.
Токен
Базовая единица текста (слово или часть слова), которую обрабатывает нейросеть.
📊 Цифры
🗓 Хронология
  1. 2022 Выход модели DaVinci 003, стоимость которой в 100 раз превышала текущие расценки.
  2. Июль 2024 Релиз GPT-4o mini, ориентированной на скорость и низкую стоимость.
⚖️ Другая сторона
Искусственный интеллект OpenAI GPT-4o mini Уэс Рот Society of Minds Сэм Альтман