# Мира Мурати о ChatGPT: «Это началось как исследование безопасности, а не продукт» Источник: https://www.youtube.com/watch?v=KpWNCQnHg20 Канал: a16z (Andreessen Horowitz) Опубликовано: 25.09.2023 --- В условиях стремительной гонки нейросетевых архитектур фокус индустрии смещается с простой тренировки моделей на создание готовых и безопасных продуктов. В интервью для Andreessen Horowitz Мира Мурати (Mira Murati), бывший технический директор OpenAI, рассказывает о пути компании от фундаментальных исследований к глобальному успеху ChatGPT, объясняет роль математического бэкграунда в ИИ и делится видением будущего, где ИИ превращается из инструмента в автономного коллегу. ## 🇦🇱 От посткоммунистической Албании до систем управления Tesla [[JUMP:00:45]] Путь Миры Мурати в мир высоких технологий начался в Албании сразу после падения коммунистического режима. По её словам, в изолированной стране того времени гуманитарные науки, такие как история или социология, были политизированы, а достоверность информации в них оставалась сомнительной. Это подтолкнуло её к изучению точных наук — математики и физики, где истина была абсолютной и не зависела от идеологии. Карьера Мурати развивалась по пути усложнения инженерных систем: * **Аэрокосмическая отрасль:** Начало профессиональной деятельности в качестве инженера. * **Tesla:** Работа над Model S и Model X, где она в конечном итоге возглавила программу запуска. Именно в Tesla, работая над автопилотом, Мурати впервые глубоко заинтересовалась практическим применением искусственного интеллекта и компьютерного зрения. * **Дополненная и виртуальная реальность (AR/VR):** Попытка исследовать пространственные вычисления, которая, по признанию Мурати, на тот момент оказалась преждевременной из-за ограничений технологий того времени. В 2018 году Мира присоединилась к OpenAI, привлечённая миссией компании по созданию безопасного общего искусственного интеллекта (AGI). Как утверждает Мурати, на тот момент её убежденность в успехе была ниже, чем сейчас, но она видела в повышении коллективного интеллекта человечества самую вдохновляющую задачу современности. --- ## 🧠 Почему ИИ — это дисциплина для физиков и математиков [[JUMP:04:40]] Ведущий отметил интересную закономерность: большинство ключевых фигур в современной ИИ-индустрии имеют бэкграунд в физике или математике, а не в классическом Computer Science. Мира Мурати связывает это с особым типом мышления, который формируют точные науки. По мнению Мурати, работа с математическими проблемами требует: 1. **Интеллектуальной выносливости:** Способности долго «сидеть» с проблемой, не получая мгновенного вознаграждения. 2. **Дисциплины и веры:** Умения доверять своей интуиции в процессе поиска решения, который может занимать недели. 3. **Выбора правильных задач:** Формирования чутья на то, какая проблема действительно заслуживает усилий. На вопрос о том, является ли ИИ сейчас больше инженерной задачей или всё ещё научной, Мурати отвечает, что оба аспекта критически важны. Системные и инженерные вызовы стали масштабными по мере развёртывания технологий для миллионов пользователей, однако фундаментальные научные открытия по-прежнему необходимы для достижения следующего уровня способностей моделей. --- ## 🛠️ Технология как продукт: от API к «напарнику» в ChatGPT [[JUMP:06:50]] Одним из самых ярких выводов OpenAI стало различие в восприятии одной и той же технологии через разные интерфейсы. Базовая модель GPT, доступная через API, и ChatGPT — это фактически одна и та же нейросеть (с добавлением RLHF), но реакция публики на них была несопоставимой. Мурати выделяет два вектора развития взаимодействия с ИИ: * **Программирование на естественном языке:** Сделать создание ПО доступным для всех, убрав барьер в виде синтаксиса языков программирования. * **Сотрудничество (Collaboration):** Использование модели как напарника, коллеги или коуча, который понимает контекст вашей жизни и работы. По мнению Мурати, мы находимся в точке перелома, когда переопределяется само понятие взаимодействия с цифровой информацией. Она предполагает, что в будущем у нас может быть несколько специализированных ИИ-агентов или одна общая система, которая сопровождает пользователя повсюду, зная его цели и задачи. --- ## 🛡️ Безопасность как двигатель инноваций: как родился ChatGPT [[JUMP:11:08]] Вопреки расхожему мнению, ChatGPT не планировался как отдельный продукт. Его корни уходят в исследования безопасности, начатые более пяти лет назад. Команда OpenAI искала способ согласовать (align) ИИ с человеческими ценностями, не заставляя людей писать сложные математические целевые функции. **Процесс создания «послушных» моделей:** 1. **Разработка RLHF:** Метод обучения с подкреплением на основе отзывов людей (Reinforcement Learning from Human Feedback). 2. **Инструкции (Instruction Following):** Использование данных от контракторов для обучения модели следовать намерениям пользователя. 3. **Борьба с галлюцинациями:** Исследования WebGPT, который использовал поиск в сети и цитирование источников, стали предтечей диалогового интерфейса. Мира Мурати подчеркивает, что именно диалог был выбран как ключевой формат, так как он позволяет пользователю уточнять запросы, исправлять ошибки модели и достигать «глубинной истины» через взаимодействие. Когда ChatGPT был готов к выпуску, внутри OpenAI уже была обучена GPT-4, и компания потратила шесть месяцев исключительно на её доработку с точки зрения безопасности и предотвращения злонамеренного использования. --- ## 📈 Законы масштабирования и путь к AGI [[JUMP:17:28]] В индустрии ведутся споры о том, не достигли ли мы плато в развитии нейросетей. Однако Мира Мурати утверждает, что на данный момент нет никаких доказательств замедления: модели продолжают становиться умнее по мере увеличения объёмов данных и вычислительных мощностей. Основные тезисы Мурати об AGI и надежности: * **Определение AGI:** Система, способная автономно выполнять большинство видов интеллектуального труда. * **Текущий уровень:** Мурати сравнивает современные модели с «интернами» — они талантливы, но им не хватает надежности. * **Совет разработчикам:** Даже если сейчас функции ИИ кажутся нестабильными, важно строить продукты с учетом их будущей надежности, так как прогресс в этой области происходит скачкообразно. --- ## 🚀 Будущее: мультимодальность и сверхалайнмент [[JUMP:23:14]] В ближайшие 3–5 лет OpenAI планирует развивать модели в сторону полной мультимодальности. Мир не состоит только из текста, поэтому ИИ должен понимать видео и изображения так же глубоко, как человек. Основные приоритеты развития: 1. **Надежность вывода:** Решение проблемы галлюцинаций через интеграцию поиска и проверки фактов. 2. **Экосистема агентов:** Переход от чат-бота к коллекции агентов, способных выполнять сложные действия. 3. **Супервыравнивание (Superalignment):** Технический вызов по контролю над сверхразумными системами, для решения которого в OpenAI создана отдельная команда. В завершение беседы на вопрос о том, считает ли она себя «думером» (пессимистом) или акселерационистом, Мира Мурати ответила, что выбирает «нечто иное», предпочитая прагматичный подход к созданию технологий, которые служат человечеству.