Мира Мурати запускает новый ИИ-стартап: почему эпоха гигантских моделей уходит в прошлое?

Wes Roth 27,2 тыс. 10 мин 4 мин 22.11.2024
Главное

Бывший технический директор OpenAI Мира Мурати не заставила долго ждать новостей после своего громкого ухода из компании. По словам автора канала Веса Рота, её новый проект формируется быстрее, чем ожидали эксперты, и обещает стать серьёзным конкурентом для нынешних лидеров рынка ИИ.

🚀 Новый стартап Миры Мурати: «Команда мечты» в действии 0:00

Мира Мурати, ставшая одной из ключевых фигур в прошлогодней драме вокруг увольнения Сэма Альтмана , официально приступает к созданию собственного предприятия. Вес Рот отмечает, что она уходит не одна: за ней следуют «тяжеловесы» индустрии, обладающие уникальным опытом разработки самых известных продуктов OpenAI .

В состав новой команды, по данным ведущего, входят:

Этот исход талантов, по мнению Рота, — не просто обычная текучка кадров, а признак нарастающей конкуренции. OpenAI теперь приходится бороться не только с гигантами вроде Google и Microsoft, но и с мобильными стартапами, основанными её бывшими сотрудниками .

🧠 Смена парадигмы: почему «пост-обучение» важнее масштаба 1:56

Ключевая ценность новой команды Мурати заключается в их экспертизе в области «пост-обучения» (post-training) . Вес Рот поясняет разницу между этапами создания ИИ:

  1. Пре-трейнинг (Pre-training): обучение модели на гигантских массивах данных для создания фундамента.
  2. Пост-обучение (Post-training): специализация модели для конкретных задач, обеспечение надёжности, точности и высокого качества ответов .

По мнению автора канала, индустрия ИИ сейчас «упирается в стену» на этапе предварительного обучения . Хотя официальных подтверждений нет, Рот ссылается на «слухи у костра» и утечки из Google и OpenAI, согласно которым новые поколения моделей всё ещё лучше предыдущих, но уже не демонстрируют того взрывного скачка производительности, который был раньше .

В связи с этим акцент смещается. Вместо того чтобы просто делать модели больше, разработчики стремятся сделать их умнее и специализированнее. Рот полагает, что команда Мурати может стать главным экспертом по доводке любых ИИ-моделей для решения конкретных бизнес-задач .

⚖️ OpenAI против новичков: битва стратегий 3:27

Несмотря на потерю кадров, OpenAI сохраняет огромные ресурсы. Сейчас компания сосредоточена на моделях серии o1, которые используют больше вычислительного времени на этапе «размышления» (inference compute) . Вес Рот объясняет, что эти модели тратят больше времени на обдумывание задачи перед ответом, что ведет к значительным улучшениям в логике и рассуждениях .

В то же время проект Мурати ставит перед рынком вопрос: будут ли они строить свои базовые модели с нуля или сосредоточатся на улучшении существующих? Рот уверен, что проблем с финансированием не возникнет. Он приводит примеры других игроков:

По мнению ведущего, инвесторы будут охотно вкладываться в Мурати, учитывая её послужной список . Однако OpenAI теряет не только инженеров: недавно компанию покинула Леа Ванг (Leah Wang), возглавлявшая отдел систем безопасности . Это, по словам Рота, добавляет тревоги в дискуссию об этике и безопасности ИИ по мере роста его мощности.

🏥 Будущее специализированного ИИ: от медицины до образования 6:14

Вес Рот описывает, как переход к специализированным моделям пост-обучения может изменить реальный мир. Если пре-трейнинг дает общие знания, то пост-обучение позволяет создавать инструменты для узких ниш:

Рот напоминает об исследованиях 70-х и 80-х годов, согласно которым индивидуальное обучение и «обучение до полного усвоения» (Mastery learning) повышают успеваемость учеников на два стандартных отклонения . Это означает, что почти каждый студент может стать отличником. По мнению автора, использование таких моделей, как GPT-4 или Claude, с правильным пост-обучением сделает эту технологию доступной каждому .

🏠 Эпоха «умных термостатов» и триллионные состояния 8:12

Существует мнение, что OpenAI стремится стать «базовым слоем» ИИ, на котором другие компании будут строить свои приложения . Однако Вес Рот сомневается, что OpenAI сможет охватить все сферы одновременно. У компании может просто не хватить ресурсов на такие ниши, как гейминг, психология или узкоспециальное образование .

Именно здесь открывается окно возможностей для проекта Миры Мурати. Рот прогнозирует, что в ближайшее десятилетие большие языковые модели (LLM) будут встроены абсолютно во всё: от автомобилей и компьютеров до термостатов и кофеварок .

Многие из этих устройств потребуют кастомных проприетарных моделей. Рот утверждает, что люди, которые обеспечат этот сервис, станут новыми миллиардерами, а возможно, мир увидит и первого триллионера, выросшего на этой волне .

💬 Цитаты

«Пост-обучение — это ключ к разблокировке следующего уровня возможностей ИИ.»

Вес Рот 6:15

«В течение следующего десятилетия мы будем засовывать LLM во всё: в машины, компьютеры, термостаты и даже кофеварки.»

Вес Рот 9:43
👥 Спикер
🔗 Упомянутые сайты и проекты
📖 Термины
Post-training
Этап доработки ИИ-модели после основного обучения для улучшения её точности, безопасности и специализации.
Inference compute
Вычислительные мощности, затрачиваемые моделью непосредственно в момент генерации ответа на запрос пользователя.
Mastery learning
Образовательная методика, при которой ученик переходит к новой теме только после полного усвоения текущей.
📊 Цифры
🗓 Хронология
  1. Ноябрь 2023 Увольнение Сэма Альтмана из OpenAI и его возвращение через 3 дня.
  2. Октябрь 2024 Мира Мурати покидает пост CTO OpenAI и начинает формирование собственной команды.
⚖️ Другая сторона
Стартапы и бизнес Mira Murati OpenAI Miana Chen post-training o1 reasoning models