Джордж Сивулка: «RAG не работает, будущее за Scaling at Inference»

20VC (Harry Stebbings) 14,3 тыс. 1 ч 8 мин 6 мин 22.01.2025
Главное

В новом выпуске подкаста 20VC Джордж Сивулка (George Sivulka), сооснователь и CEO компании Hebbia, рассказывает о пути от жизни в шкафу во время учебы в Стэнфорде до создания одного из самых перспективных ИИ-стартапов современности. В центре дискуссии — радикальный переход от традиционного поиска (RAG) к «масштабированию вычислений при выводе» (scaling at inference) и амбициозный прогноз о создании дополнительной стоимости в 100 триллионов долларов благодаря ИИ-агентам.

🧬 Психология основателя: три архетипа великих лидеров 0:00

Джордж Сивулка выдвигает провокационную теорию о том, что выдающихся основателей компаний можно разделить на три категории в зависимости от их жизненного бэкграунда . По его наблюдениям, чаще всего это люди:

Сивулка полагает, что подобные ранние жизненные опыты формируют глубокую внутреннюю страсть и желание доказать свою ценность миру . Гарри Стеббингс соглашается с этим тезисом, признаваясь, что сам долгое время чувствовал себя «разочарованием» для семьи по сравнению с более талантливым братом .

Сам Джордж описывает себя как «математического ребенка» из семьи спортсменов на Статен-Айленде . Его отец — иммигрант из Словакии, выросший за «железным занавесом», а мать — успешный сейлз-менеджер. Сивулка утверждает, что всегда чувствовал несоответствие между тем, кем он был (замкнутым гиком), и тем, кем его хотели видеть родители . Это сформировало у него тот самый «chip on the shoulder» (затаенную обиду или амбиции), ставший топливом для его карьеры .

🚀 Путь в NASA и Стэнфорд: упорство на грани безумия 5:28

Одним из ключевых моментов формирования характера Джорджа стала история его попадания на стажировку в NASA в 15 лет. После пяти отказов он приехал к офису Института космических исследований имени Годдарда в Нью-Йорке в костюме и с распечатанным резюме . Охранник выставил его на мороз, и мальчик в слезах позвонил матери.

По словам Сивулки, мать дала ему жесткий совет: «Никуда не уходи, садись и обзванивай каждый номер в этом здании, какой только найдешь в Google» . В итоге кто-то поднял трубку, Джордж прорвался на интервью, которое сначала провалил из-за незнания физики, но на следующий день вернулся, вызубрив названия всех научных работ профессора на стенах . Это упорство позволило ему опубликовать международное исследование и позже поступить в Стэнфорд .

Сивулка уверен, что основатель может «проломить» любую стену грубой силой. По его мнению, даже ларек с лимонадом можно довести до выручки в $100 млн, если обладать достаточной одержимостью .

🛋️ Рождение Hebbia: из шкафа к миллионам 10:03

Джордж стал одним из самых молодых студентов PhD в истории своего факультета в Стэнфорде, занимаясь мета-обучением (машины, которые учатся учиться) . Однако выход GPT-3 в июне 2020 года заставил его пересмотреть планы. Он осознал, что OpenAI уже создали технологию, и его задача — создать на её основе «самый важный продукт» .

Первые шаги Hebbia сопровождались экстремальным аскетизмом:

Интересно, что первые два раунда финансирования он привлек, сидя в этой самой кладовке. Во время звонка с партнерами фонда Index Ventures на фоне Сивулки висела его одежда . Инвесторов это не смутило, а скорее убедило в его фанатичной преданности делу .

Первые инвестиции Hebbia:

🧩 Почему RAG не работает и что такое Scaling at Inference 20:28

Hebbia была одной из первых компаний, внедривших технологию RAG (Retrieval-Augmented Generation — генерация с дополнением данных из поиска) в 2020 году . Однако сегодня Сивулка утверждает: «RAG не работает» .

По мнению гостя, главная проблема RAG заключается в следующем:

  1. Пользователи редко спрашивают факты, которые явно прописаны в документах (например, «что сказал CEO»).
  2. 90% запросов в корпоративной среде требуют анализа над данными (например, «какова концентрация клиентов?» или «есть ли несоответствия в этих контрактах?») .
  3. Системы RAG часто выдают поверхностные ответы, неспособные заменить аналитическую работу человека .

Вместо этого Hebbia разработала продукт Matrix, который использует концепцию Scaling at Inference (масштабирование при выводе). Вместо того чтобы обучать всё более крупные модели (scaling at training), Hebbia запускает сотни или тысячи параллельных вызовов моделей для обработки одного запроса .

Сивулка сравнивает это с автомобилем Tesla: вместо одного огромного двигателя вы используете множество маленьких эффективных электромоторов, которые вместе дают огромный крутящий момент . По его утверждению, это позволяет достичь беспрецедентной точности в анализе документов на 800+ страниц, находя скрытые риски и условия дефолта .

💰 Экономика ИИ: прогноз на $100 триллионов 28:19

Джордж Сивулка делает смелое предсказание: в ближайшие десятилетия ИИ создаст дополнительную стоимость в размере $100 триллионов в мировой экономике . Он считает, что более 50% мирового ВВП будет создаваться «агентскими приложениями» .

Ключевые тезисы Сивулки об индустрии:

Гарри Стеббингс выражает опасение, что из-за автоматизации исчезнет «путь обучения» для младших сотрудников, которые раньше осваивали бизнес, делая черновую работу вручную . Сивулка возражает: ИИ-инструменты позволят младшим аналитикам оперировать данными сотен сделок, превращая их в лучших инвесторов быстрее, чем раньше .

🔌 Рынок моделей и чипов: xAI против всех 43:11

Сивулка считает, что слой базовых моделей (LLM) станет биржевым товаром (commoditized), и ценность будет накапливаться либо на уровне «железа», либо на уровне приложений (агентов) .

Его оценки ключевых игроков:

🎨 Личная жизнь: религия, молитвы и 10-футовые полотна 59:22

В конце беседы Джордж раскрывает неожиданные стороны своей личности. Несмотря на работу в глубоко атеистичной индустрии, он является верующим человеком.

Относительно будущего управления ИИ-агентами, Джордж считает, что главной проблемой станет не технология, а «менеджмент» . Нам придется управлять армиями из тысяч агентов, и для этого потребуются новые, человеко-ориентированные интерфейсы, над которыми и работает Hebbia .

💬 Цитаты

«Вы можете довести даже ларек с лимонадом до выручки в $100 млн, если будете достаточно настойчивы.»

Джордж Сивулка 09:09

«Стоимость интеллекта упадет до нуля.»

Джордж Сивулка 42:16

«Финансы — это самый медлительный левиафан, пока вы не предложите им реальную альфу. Тогда они двигаются быстрее всех.»

Джордж Сивулка 31:23
👥 Спикеры
🔗 Упомянутые сайты и проекты
📖 Термины
RAG (Retrieval-Augmented Generation)
Метод, при котором ИИ сначала ищет информацию в базе данных, а затем генерирует ответ на её основе.
Scaling at Inference
Подход, увеличивающий точность ИИ за счет выделения большего количества вычислительных мощностей в момент выдачи ответа, а не при обучении.
Hebbia Matrix
Продукт компании Hebbia, позволяющий анализировать тысячи документов одновременно, имитируя работу армии аналитиков.
📊 Цифры
🗓 Хронология
  1. Июнь 2020 Выход GPT-3, побудивший Сивулку уйти из Стэнфорда и основать Hebbia.
  2. 2020 Привлечение pre-seed раунда от Питера Тиля и начало жизни в кладовке.
  3. 2021-2022 Выход на выручку в $1 млн и привлечение раунда Series A на $30 млн.
⚖️ Другая сторона
Искусственный интеллект George Sivulka Hebbia Scaling at Inference RAG xAI