Аравинд Сринивас: «Магия ИИ — в универсальности, а не в специализации»

20VC (Harry Stebbings) 15 тыс. 1 ч 3 мин 5 мин 05.06.2024
Главное

Аравинд Сринивас, основатель и генеральный директор Perplexity AI, в большом интервью для подкаста 20VC подробно разобрал текущее состояние индустрии искусственного интеллекта. Основной темой беседы стало противостояние между «моделями-основаниями» (foundation models) и прикладным уровнем, а также вопрос о том, наступил ли предел эффективности простого наращивания вычислительных мощностей.

🧠 Путь от алгоритмов к смыслу: как Аравинд Сринивас пришел в ИИ 0:43

Карьера Аравинда Сриниваса в области ИИ началась, по его собственному признанию, почти случайно . Будучи студентом факультета компьютерных наук в Индии, он принял участие в конкурсе по машинному обучению только потому, что нуждался в деньгах и не был уверен в получении летней стажировки . Не зная на тот момент теории — таких терминов, как «случайные леса» или «деревья решений», — он использовал библиотеку scikit-learn и интуитивный перебор параметров, что позволило ему занять первое место .

Этот успех придал ему уверенности. Аравинд Сринивас вспоминает совет Сэма Альтмана: «Ищи то, что тебе дается легко, а другим кажется сложным» . Позже он углубился в изучение обучения с подкреплением (Reinforcement Learning), вдохновившись успехами DeepMind в играх Atari . Он вспоминает, как заимствовал игровые видеокарты у коллег по лаборатории, чтобы обучать нейросети, что заложило фундамент для его будущей работы в OpenAI и DeepMind, а затем и создания Perplexity AI .

📉 Закон убывающей доходности в обучении моделей 5:43

Одной из самых обсуждаемых тем в индустрии стал вопрос о том, дает ли простое увеличение объема вычислений пропорциональный прирост качества моделей. По мнению Аравинда Сриниваса, ответ неоднозначен: «грубая сила» (brute force) всё еще работает, но её эффективность снижается .

Ключевые тезисы Аравинда о производительности моделей:

🏗️ Миф о вертикализации и магия универсальных моделей 8:30

Многие инвесторы, включая Рида Хоффмана, предсказывают вертикализацию ИИ — создание специализированных моделей для медицины, финансов или юриспруденции. Аравинд Сринивас с этим не согласен .

Он приводит в пример проект BloombergGPT. Несмотря на огромные ресурсы и доступ к закрытым данным, эта специализированная финансовая модель проигрывает универсальной GPT-4 на финансовых бенчмарках . По мнению главы Perplexity AI, «магия» современных систем заключается в эмерджентных (внезапно проявляющихся) способностях, которые возникают только при обучении на максимально разнообразных данных . Универсальный интеллект (general IQ) позволяет модели находить закономерности там, где узкоспециализированная система оказывается бессильна .

🧩 На пороге «эры настоящего рассуждения» 11:36

Сегодняшние модели Аравинд оценивает как «крепких середнячков» среди старшеклассников в плане логики, но они всё еще далеки от уровня Эйнштейна или Фарадея . Однако он предвидит фундаментальный сдвиг в способе работы ИИ.

Сравнение текущего и будущего подходов к рассуждению:

  1. Сегодня: Модель просто выдает следующий токен (слово), основываясь на вероятности .
  2. Завтра: Модель будет выдавать черновик ответа, проверять его логику, получать обратную связь от внешнего мира, корректировать свои рассуждения и итерировать до тех пор, пока не придет к верному решению .

Аравинд Сринивас отмечает, что такие проекты, как Q* от OpenAI или STAR (Self-Taught Reasoner), направлены именно на это: обучение модели объяснять свои выводы и учиться на собственных ошибках . Это потребует огромных вычислительных затрат на этапе вывода (inference compute), что дает колоссальное преимущество компаниям с большим капиталом .

📦 Коммодитизация ИИ: кто останется в выигрыше? 20:52

Существует мнение, что модели-основания превращаются в биржевой товар (commodity), теряя свою уникальность. Аравинд Сринивас считает, что это верно только для моделей «второго эшелона» (уровня GPT-3.5 или ранней GPT-4) .

На рынке наметился раскол:

Главными бенефициарами коммодитизации Аравинд называет компании прикладного уровня (application layer), такие как Perplexity AI . Если базовый интеллект становится дешевле и доступнее, выигрывают те, кто напрямую владеет отношениями с пользователем и предлагает лучший интерфейс и опыт (UX) .

💰 Модель бизнеса: почему $20 в месяц — это тупик 34:36

Несмотря на то, что Perplexity AI зарабатывает на подписках (Pro-версия за $20/мес), Аравинд Сринивас не считает эту модель идеальной . Для достижения маржинальности уровня Google (80%) подписки недостаточно .

В Perplexity AI планируют развивать рекламную модель, но с учетом ошибок Google:

🏢 Битва за Enterprise: почему стартапы могут победить гигантов 40:31

Многие опасаются, что Microsoft и Google «задушат» ИИ-стартапы в корпоративном секторе. Однако Аравинд Сринивас утверждает, что рынок еще слишком молод для формирования лояльности .

Преимущества Perplexity в сегменте Enterprise:

🚀 Будущее интерфейсов: смерть браузера и рождение ИИ-ОС 57:46

Аравинд Сринивас предсказывает радикальную трансформацию того, как мы взаимодействуем с компьютерами:

💬 Цитаты

«Текущие модели дают вам результат сразу. Завтрашние модели будут начинать с результата, рассуждать, получать обратную связь и улучшать ответ до тех пор, пока он не станет идеальным.»

Аравинд Сринивас 16:43

«Стартапы не убивают конкуренты. Стартапы убивают сами себя отсутствием фокуса или медлительностью.»

Аравинд Сринивас 1:01:05
👥 Спикеры
📚 Упомянутые книги
🎬 Упомянутые фильмы и сериалы
🔗 Упомянутые сайты и проекты
📖 Термины
Chinchilla Optimality
Принцип оптимального соотношения размера модели и объема обучающих данных для максимизации производительности.
Mixture of Experts (MoE)
Архитектура нейросети, где для выполнения конкретной задачи активируется только часть параметров (экспертов), что экономит вычислительные ресурсы.
Inference Compute
Вычислительные мощности, необходимые для работы уже обученной модели при ответе на запросы пользователей.
📊 Цифры
🗓 Хронология
  1. 2022 Основание Perplexity AI.
  2. 2024 Запуск Perplexity Enterprise Pro.
  3. 2034 Горизонт планирования Аравинда, в котором Perplexity должна стать главным ИИ-помощником по фактам.
⚖️ Другая сторона
Искусственный интеллект Perplexity AI OpenAI Аравинд Сринивас Foundation models LLM