Мира Мурати о ChatGPT: «Это началось как исследование безопасности, а не продукт»

a16z (Andreessen Horowitz) 224 тыс. 25 мин 5 мин 25.09.2023
Главное

В условиях стремительной гонки нейросетевых архитектур фокус индустрии смещается с простой тренировки моделей на создание готовых и безопасных продуктов. В интервью для Andreessen Horowitz Мира Мурати (Mira Murati), бывший технический директор OpenAI, рассказывает о пути компании от фундаментальных исследований к глобальному успеху ChatGPT, объясняет роль математического бэкграунда в ИИ и делится видением будущего, где ИИ превращается из инструмента в автономного коллегу.

🇦🇱 От посткоммунистической Албании до систем управления Tesla 0:45

Путь Миры Мурати в мир высоких технологий начался в Албании сразу после падения коммунистического режима. По её словам, в изолированной стране того времени гуманитарные науки, такие как история или социология, были политизированы, а достоверность информации в них оставалась сомнительной. Это подтолкнуло её к изучению точных наук — математики и физики, где истина была абсолютной и не зависела от идеологии.

Карьера Мурати развивалась по пути усложнения инженерных систем:

В 2018 году Мира присоединилась к OpenAI, привлечённая миссией компании по созданию безопасного общего искусственного интеллекта (AGI). Как утверждает Мурати, на тот момент её убежденность в успехе была ниже, чем сейчас, но она видела в повышении коллективного интеллекта человечества самую вдохновляющую задачу современности.


🧠 Почему ИИ — это дисциплина для физиков и математиков 4:40

Ведущий отметил интересную закономерность: большинство ключевых фигур в современной ИИ-индустрии имеют бэкграунд в физике или математике, а не в классическом Computer Science. Мира Мурати связывает это с особым типом мышления, который формируют точные науки.

По мнению Мурати, работа с математическими проблемами требует:

  1. Интеллектуальной выносливости: Способности долго «сидеть» с проблемой, не получая мгновенного вознаграждения.
  2. Дисциплины и веры: Умения доверять своей интуиции в процессе поиска решения, который может занимать недели.
  3. Выбора правильных задач: Формирования чутья на то, какая проблема действительно заслуживает усилий.

На вопрос о том, является ли ИИ сейчас больше инженерной задачей или всё ещё научной, Мурати отвечает, что оба аспекта критически важны. Системные и инженерные вызовы стали масштабными по мере развёртывания технологий для миллионов пользователей, однако фундаментальные научные открытия по-прежнему необходимы для достижения следующего уровня способностей моделей.


🛠️ Технология как продукт: от API к «напарнику» в ChatGPT 6:50

Одним из самых ярких выводов OpenAI стало различие в восприятии одной и той же технологии через разные интерфейсы. Базовая модель GPT, доступная через API, и ChatGPT — это фактически одна и та же нейросеть (с добавлением RLHF), но реакция публики на них была несопоставимой.

Мурати выделяет два вектора развития взаимодействия с ИИ:

По мнению Мурати, мы находимся в точке перелома, когда переопределяется само понятие взаимодействия с цифровой информацией. Она предполагает, что в будущем у нас может быть несколько специализированных ИИ-агентов или одна общая система, которая сопровождает пользователя повсюду, зная его цели и задачи.


🛡️ Безопасность как двигатель инноваций: как родился ChatGPT 11:08

Вопреки расхожему мнению, ChatGPT не планировался как отдельный продукт. Его корни уходят в исследования безопасности, начатые более пяти лет назад. Команда OpenAI искала способ согласовать (align) ИИ с человеческими ценностями, не заставляя людей писать сложные математические целевые функции.

Процесс создания «послушных» моделей:

  1. Разработка RLHF: Метод обучения с подкреплением на основе отзывов людей (Reinforcement Learning from Human Feedback).
  2. Инструкции (Instruction Following): Использование данных от контракторов для обучения модели следовать намерениям пользователя.
  3. Борьба с галлюцинациями: Исследования WebGPT, который использовал поиск в сети и цитирование источников, стали предтечей диалогового интерфейса.

Мира Мурати подчеркивает, что именно диалог был выбран как ключевой формат, так как он позволяет пользователю уточнять запросы, исправлять ошибки модели и достигать «глубинной истины» через взаимодействие. Когда ChatGPT был готов к выпуску, внутри OpenAI уже была обучена GPT-4, и компания потратила шесть месяцев исключительно на её доработку с точки зрения безопасности и предотвращения злонамеренного использования.


📈 Законы масштабирования и путь к AGI 17:28

В индустрии ведутся споры о том, не достигли ли мы плато в развитии нейросетей. Однако Мира Мурати утверждает, что на данный момент нет никаких доказательств замедления: модели продолжают становиться умнее по мере увеличения объёмов данных и вычислительных мощностей.

Основные тезисы Мурати об AGI и надежности:


🚀 Будущее: мультимодальность и сверхалайнмент 23:14

В ближайшие 3–5 лет OpenAI планирует развивать модели в сторону полной мультимодальности. Мир не состоит только из текста, поэтому ИИ должен понимать видео и изображения так же глубоко, как человек.

Основные приоритеты развития:

  1. Надежность вывода: Решение проблемы галлюцинаций через интеграцию поиска и проверки фактов.
  2. Экосистема агентов: Переход от чат-бота к коллекции агентов, способных выполнять сложные действия.
  3. Супервыравнивание (Superalignment): Технический вызов по контролю над сверхразумными системами, для решения которого в OpenAI создана отдельная команда.

В завершение беседы на вопрос о том, считает ли она себя «думером» (пессимистом) или акселерационистом, Мира Мурати ответила, что выбирает «нечто иное», предпочитая прагматичный подход к созданию технологий, которые служат человечеству.

💬 Цитаты

«Построение хороших продуктов на базе этих моделей — невероятно сложная задача.»

Мира Мурати 00:00

«Мы хотим, чтобы модель делала именно то, что мы просим, и чтобы это было надежно.»

Мира Мурати 24:09

«Диалог позволяет задавать вопросы, исправлять собеседника и приходить к более глубокой истине.»

Мира Мурати 14:03
👥 Спикеры
🔗 Упомянутые сайты и проекты
📖 Термины
RLHF
Метод обучения ИИ, при котором люди оценивают ответы модели, помогая ей стать более полезной и безопасной.
AGI
Общий искусственный интеллект, способный выполнять любую интеллектуальную задачу на уровне человека или выше.
Галлюцинации
Эффект, при котором нейросеть уверенно выдает вымышленную или фактически неверную информацию.
Мультимодальность
Способность модели работать с разными типами данных одновременно: текст, изображения, аудио и видео.
Супервыравнивание (Superalignment)
Научная задача по обеспечению безопасности и контроля над ИИ, который превосходит человеческий интеллект.
📊 Цифры
🗓 Хронология
  1. 1990-е Детство Миры Мурати в посткоммунистической Албании.
  2. 2013-2016 Работа в Tesla над программами Model S и Model X.
  3. 2018 Присоединение к команде OpenAI.
  4. 2022 Запуск ChatGPT, ставший культурным феноменом.
  5. 2023 Выпуск GPT-4 после полугодовой проверки безопасности.
⚖️ Другая сторона
Искусственный интеллект OpenAI Mira Murati ChatGPT RLHF AGI