В эпоху стремительного развития генеративного искусственного интеллекта компания Databricks, оцениваемая более чем в 50 миллиардов долларов, занимает уникальное положение на стыке обработки данных и машинного обучения . В детальном разговоре с ведущим Логаном Бартлеттом генеральный директор и сооснователь компании Али Годси раскрывает, почему индустрия движется к разочарованию в концепции «супер-AGI», как устроен переход к сложным многоагентным системам (Compound AI) и какие жесткие управленческие уроки помогли его стартапу выжить в период кризиса 2015 года. Этот глубокий бизнес-анализ показывает изнанку Кремниевой долины, где прагматичный подход к данным побеждает масштабные обещания технологических гигантов.
🤖 Эволюция искусственного интеллекта: от академических ниш к «эффекту iPhone» 0:57
Академические корни Databricks уходят в 2009 год, когда исследовательская группа из Университета Беркли (University of California, Berkeley) начала разработку движка Apache Spark . Исходной целью проекта было участие в знаменитом конкурсе Netflix Prize по созданию наиболее эффективной рекомендательной системы фильмов . Команда Али Годси разделила первое место по качеству алгоритма с другой группой исследователей .
Как вспоминает Али Годси, в 2014 году внутри молодой компании велись ожесточенные споры о позиционировании: он настаивал на использовании термина «искусственный интеллект» (AI), тогда как коллеги считали это «неаутентичным» и требовали называть технологию «машинным обучением» (ML), ассоциируя AI исключительно с робототехникой . По его мнению, уже тогда было очевидно, что при выходе технологии в мейнстрим термин «машинное обучение» окажется слишком сложным для массового рынка .
Долгое время технологии машинного обучения применялись в основном в сфере рекламных технологий (AdTech) для оптимизации кликов по баннерам . Переломный момент, по словам Годси, наступил в 2014–2015 годах, когда крупные предприятия начали внедрять ML для решения более сложных задач:
- Сервис Expedia применил алгоритмы ранжирования отелей, что привело к резкому росту выручки .
- Биотехнологическая корпорация Regeneron использовала платформу для поиска генетических маркеров заболеваний в ДНК, что ускорило разработку новых лекарственных препаратов .
- К 2018–2019 годам, с выходом модели gpt2 от OpenAI, технологический прорыв в обработке естественного языка (NLP) сделал неизбежным прохождение теста Тьюринга в ближайшие годы .
Генеральный директор Databricks сравнивает появление ChatGPT в ноябре 2022 года с «моментом iPhone» . По его мнению, подобно тому как в 2007 году компании бросились создавать собственные мобильные приложения (зачастую бесполезные, вроде приложений-фонариков, которые позже стали частью самой iOS), в 2023 году бизнес начал массово создавать простейшие чат-боты, например, для поиска по кадровым документам . Али Годси считает, что разработка таких изолированных ботов силами самих компаний бессмысленна: со временем эти функции будут стандартизированы в рамках готовых SaaS-решений, а рынку потребуются глубоко кастомизированные приложения, созданные на основе уникальных внутренних данных .
📉 Реальность масштабирования: почему супер-AGI откладывается 7:35
Индустрия искусственного интеллекта, по мнению Али Годси, сейчас находится на пике ожиданий и вскоре неизбежно столкнется с фазой разочарования (trough of disillusionment) . Он прогнозирует появление волны критических публикаций о том, что технологии ИИ переоценены, а качество моделей не соответствует заявленному уровню . Однако сразу за этим спадом начнется создание по-настоящему революционных прикладных систем .
Основным препятствием на пути к созданию полноценного сильного искусственного интеллекта (Super AGI) Годси считает физические ограничения законов масштабирования (scaling laws). Логарифмический характер этих законов означает, что каждый следующий шаг требует экспоненциального роста ресурсов при затухающей отдаче . Али Годси приводит следующие аргументы:
- Ограничение по вычислительным мощностям: за последние 11 лет объем вычислений, направляемых на обучение ИИ, увеличился в 100 миллионов раз . Повторить аналогичный рывок в ближайшие годы невозможно из-за дефицита электроэнергии и лимитов полупроводниковой инфраструктуры .
- Дефицит качественных данных: модель Llama 3 от Meta обучалась на 15 триллионах токенов, что примерно в 10 раз превышает объем качественного англоязычного интернета . Дальнейшее кратное увеличение объемов данных сопряжено с колоссальными затратами .
- Отсутствие автономного улучшения: Годси не верит в реализуемость сценария рекурсивного самосовершенствования моделей (recursive self-improvement) без участия человека . Создание каждой новой флагманской модели становится все более дорогим процессом, требующим жесткого контроля со стороны разработчиков . Обучение происходит не за секунды и доллары, а требует строительства специализированных дата-центров и месяцев работы сотен инженеров .
По оценке руководителя Databricks, экономика создания моделей стоимостью 50 миллиардов долларов пока выглядит сомнительно . Прежде чем создатели успевают окупить гигантские затраты на обучение супермодели, на рынке появляется её более дешевый или открытый аналог, что приводит к быстрой коммодитизации базовых технологий .
🧩 Концепция Compound AI: эра специализированных агентов 8:42
В качестве альтернативы бесконечному наращиванию параметров единой нейросети Databricks продвигает концепцию «компонентных систем ИИ» (Compound AI Systems), подробный научный отчет о которых сооснователь компании Матей Захария опубликовал в первой половине 2024 года .
Суть концепции Compound AI, по словам Годси, заключается в объединении множества специализированных агентов, инструментов и классических алгоритмов машинного обучения в единый контур для решения конкретной прикладной задачи .
Преимущества такого подхода:
- Точность в узких задачах: корпоративным клиентам не нужен универсальный интеллект, умеющий сдавать медицинские экзамены; им требуется стопроцентная точность в узких операциях (например, ответы на вопросы сотрудников по внутреннему регламенту HR) .
- Интеграция классического ML: традиционные методы машинного обучения гораздо лучше справляются с вычислениями и прогнозированием числовых данных, выполняя роль надежного «калькулятора» внутри системы .
- Возможность отладки: если большая монолитная модель совершает ошибку, инженер не может понять ее причину из-за миллиардов перемножаемых матриц в слоях внимания . В компонентной системе можно пошагово отследить, какой именно агент совершил логическую ошибку, и точечно скорректировать его работу .
Внутренняя статистика использования платформы Databricks подтверждает этот тренд. Несмотря на доступность гигантских открытых моделей класса Llama с 405 миллиардами параметров, совокупную наибольшую выручку компании приносят микро-модели . Клиенты предпочитают брать базовые модели, дистиллировать их до минимально возможного размера под конкретную задачу и запускать в эксплуатацию с минимальными затратами на инфраструктуру (inference) .
Другим важным и неочевидным инсайдом Годси называет соотношение чтения и генерации информации моделями в реальном секторе. Нагрузка на чтение и анализ документов превосходит генерацию текста в пропорции от 10:1 до 100:1 . Бизнес использует ИИ в первую очередь для быстрого извлечения смыслов из гигантских массивов неструктурированных данных, а не для написания длинных текстов .
🛠️ Практика внедрения: как бизнесу построить правильную AI-стратегию 22:43
Консультируя топ-менеджмент крупнейших мировых корпораций, Али Годси выделяет три ключевых правила для успешной интеграции искусственного интеллекта в бизнес-процессы.
Во-первых, критически важно выстроить правильную стратегию работы с данными (data strategy) . Многие генеральные директора компаний из списка Fortune 500 под влиянием хайпа пытаются перескочить этот этап и сразу внедрять генеративный ИИ . Однако без наведения порядка в базах данных, устранения изолированных хранилищ (silos) и настройки разграничения прав доступа любые попытки развернуть эффективный ИИ обречены на провал .
Во-вторых, внедрение ИИ должно опираться исключительно на зоны, в которых компания обладает уникальным преимуществом в данных (data advantage) . Годси признается, что иногда отговаривает клиентов от дорогостоящих проектов, если видит, что их задумку проще и дешевле решить покупкой стандартного отраслевого SaaS-решения .
В-третьих, необходимо преодолеть внутренние организационные барьеры. В крупных компаниях часто разгораются политические войны за право «владеть темой AI» между различными департаментами . Для успешного движения вперед Годси рекомендует:
- Централизовать принятие решений по ИИ в руках одного топ-менеджера, выступающего в роли «агента изменений» (change agent) .
- Наделить этого лидера полномочиями принимать непопулярные решения, стандартизировать процессы безопасности и конфиденциальности данных .
- Обеспечить защиту проектов от бюрократического застревания на стыке ИТ-безопасности и юридических департаментов .
В противостоянии стартапов и технологических гигантов Али Годси склонен делать ставку на небольшие маневренные команды . Крупные игроки обладают колоссальным преимуществом в виде накопленных исторических данных , но двигаются слишком медленно. Если стартап успевает создать качественный продукт, он быстро запускает собственный маховик сбора пользовательских данных (data flywheel) и уходит в отрыв прежде, чем корпорации успевают среагировать .
🚀 История Databricks: асимметричные ставки и отказ от $20 млн 28:22
В начале своего пути основатели Databricks не планировали строить крупный бизнес. Али Годси вспоминает, что в 2009–2010 годах они видели, как технологические гиганты Кремниевой долины совершают прорыв в области ИИ, в то время как традиционный корпоративный сектор был сосредоточен на базовой ретроспективной бизнес-аналитике (BI) . Попытки бесплатно передать разработанные ими технологии открытого кода крупным вендорам провалились, так как вся индустрия была увлечена экосистемой Hadoop (так называемые Hadoop Wars) .
Решение о создании коммерческой компании Databricks в 2013 году во многом принималось от безысходности . Один из первых клиентов напрямую заявил основателям, что не может внедрить бесплатное open-source решение и требует выставить ему счет, чтобы за продуктом стояло юридическое лицо, несущее корпоративную ответственность .
В самом начале пути основатели стартапа имели крайне скромные ожидания. Обсуждая за столом возможные варианты успешного выхода (exit), они мечтали о продаже компании за 150, 200 или в лучшем случае 250 миллионов долларов . Ситуацию изменил известный венчурный инвестор Бен Хоровиц (Andreessen Horowitz), который настоял на проведении полноценного раунда серии А на 14 миллионов долларов (крупная сумма по меркам 2013 года) и заставил команду мыслить масштабами сотен миллиардов долларов , .
Одним из ключевых стратегических решений компании стал категорический отказ от разработки локального серверного софта (on-premise) в пользу исключительно облачной инфраструктуры . В 2016 году, спустя месяц после назначения Али Годси на пост генерального директора, один из крупнейших мировых банков предложил Databricks контракт на установку ПО на собственных серверах . Сумма предложения последовательно росла в ходе беседы:
- Первоначальное предложение банка составляло $5 млн .
- После первого отказа сумму подняли до $10 млн .
- Финальное предложение составило $20 млн единовременно .
На тот момент годовая выручка всей Databricks составляла около 10 миллионов долларов , и согласие на сделку удвоило бы показатели бизнеса. Тем не менее Годси ответил отказом . По его мнению, уход в локальную инфраструктуру превратил бы компанию в традиционного вендора, обреченного на поражение в борьбе с крупными конкурентами . Компании требовалась асимметричная ставка на облачные технологии и открытый код, которую конкуренты не могли быстро скопировать .
Еще один важный совет основатели получили в 2017 году от Марка Андриссена . На жалобу о невозможности конкурировать за лучшие инженерные кадры с Google и Facebook (FANG) из-за их финансовых возможностей, Андриссен лаконично ответил, что Databricks должна просто добавить себя в этот список и изменить подход к найму . Компания пересчитала экономику, подняла компенсации инженерам до 90-го процентиля рынка и начала предлагать щедрые опционные пакеты . Это позволило резко увеличить скорость разработки продуктов и оторваться от конкурентов .
🔄 Смена вектора в 2016-м: уход от PLG и пересборка команды 37:06
Первые годы существования Databricks Али Годси возглавлял разработку продукта и инженерный департамент . В 2015 году компания столкнулась с глубоким кризисом: открытая технология Spark пользовалась колоссальной популярностью в мире, но монетизация отсутствовала . Выручка по итогам 2015 года составила скромные 1,6 миллиона долларов . Внутри команды начались серьезные разногласия, приведшие к кадровым перестановкам.
В начале 2016 года Али Годси занял пост генерального директора . Как он со смехом вспоминает сейчас, изначально совет директоров проводил тайные собеседования с внешними кандидатами, и Годси около года фактически проработал в статусе временного CEO (interim) без изменения компенсации, проходя негласный испытательный срок .
Для спасения бизнеса Годси осуществил три радикальные реформы:
- Отказ от чистой модели PLG (Product-Led Growth): попытки продавать сложную платформу для обработки конфиденциальных данных через привязку кредитных карт на сайте не работали . Крупный бизнес требовал классических корпоративных продаж (Enterprise Sales) с длительным циклом согласования безопасности .
- Полное обновление топ-менеджмента: Али Годси заменил всю команду руководителей направлений . Вместо умных ученых и докторов наук (PhD) ключевые посты заняли опытные рыночные практики . Например, на пост руководителя отдела маркетинга пришел выходец из корпорации Oracle .
- Гибридная модель интеллектуальной собственности: компания прекратила отдавать абсолютно все разработки в open-source, оставив часть наиболее ценных и сложных технологий закрытыми и проприетарными, чтобы защитить бизнес от копирования облачными провайдерами (hyperscalers) .
Годси описывал это состояние сотрудникам через жесткую аналогию: «У нас в пистолете остался один единственный патрон. Мы не можем стрелять в разные стороны, мы должны прицелиться и попасть точно в мишень, иначе компания прекратит свое существование» . Полная прозрачность перед коллективом позволила быстро мобилизовать инженеров на поиск коммерчески ценных продуктовых дифференциаторов .
🏛️ Управление масштабом: автономные стартапы внутри корпорации и культура «поиска истины» 44:33
По мере роста организации (сегодня в Databricks работает около 8000 сотрудников ) сохранение высокой скорости инноваций становится сложнейшей задачей. По оценке Али Годси, даже в эффективных крупных компаниях процессы согласования, юридические проверки и необходимость поддерживать совместимость для тысяч действующих клиентов замедляют разработку новых продуктов с нуля (zero-to-one) в 3–4 раза по сравнению с небольшими стартапами , .
Для решения этой проблемы Databricks использует метод «внутренних стартапов». При разработке нового революционного продукта (такого как Databricks Genie — интеллектуального интерфейса для работы с базами данных на естественном языке) процесс выстраивается следующим образом:
- Выделяется небольшая изолированная группа разработчиков во главе с ярким лидером-инноватором .
- Команда полностью освобождается от корпоративных требований по безопасности и интеграции с основной кодовой базой .
- Разработка и итерации ведутся на максимальной скорости в отдельном репозитории на GitHub .
- Только после достижения продуктового соответствия рынку (product-market fit) продукт аккуратно интегрируется в основную систему Databricks .
В вопросах управления Али Годси признает баланс между жестким микроменеджментом в критических точках и широким делегированием полномочий . Роль генерального директора, по его словам, часто сводится к «разрешению споров» (tie-breaking), когда пересекающиеся продуктовые команды не могут самостоятельно договориться о слиянии или закрытии дублирующих проектов .
Кроме того, Годси считает важнейшей обязанностью руководителя монотонное повторение базовых ценностей и целей компании . По его наблюдениям, люди часто пропускают информацию мимо ушей с первого раза из-за повседневной рутины и внутренних проблем , поэтому лидер должен уметь преподносить одну и ту же ключевую мысль под разными углами, используя свежие клиентские примеры и новые форматы презентаций .
🔍 Радикальный наём: отказ от классических интервью и 15 кругов «backdoor-референсов» 53:15
Одной из главных ценностей компании является «поиск истины» (truth seeking) . Али Годси признается, что при найме сотрудников они целенаправленно ищут людей с «уязвленным самолюбием» (a chip on their shoulder) — тех, кому есть что доказывать миру и кто готов ради этого предельно тяжело работать , . Годси открыто заявляет соискателям, что Databricks — это не место для идеального баланса между работой и личной жизнью (work-life balance); компания ставит перед собой сверхсложные задачи и требует максимальной самоотдачи, хотя и стремится делать эту нагрузку устойчивой в долгосрочной перспективе , .
Сам процесс найма топ-менеджеров в Databricks построен на уникальных принципах:
- Полный отказ от веры в классические собеседования: Годси считает стандартные интервью крайне неэффективным каналом с высоким уровнем шума, где хорошо подготовленные кандидаты легко обходят более талантливых, но менее разговорчивых специалистов .
- Тестовое выполнение реальной работы: вместо абстрактных вопросов кандидату на роль вице-президента по маркетингу предлагают прямо в ходе процесса найма подключиться к решению реальной острой проблемы компании — например, скорректировать позиционирование продукта на сайте . Постоянные звонки утром и вечером в рабочем режиме позволяют быстро понять совместимость с кандидатом .
- Приоритет неофициальных рекомендаций (backdoor references): Годси никогда не полагается на список контактов, предоставленный самим соискателем . Сбор отзывов начинается до первой личной встречи . Опрашиваются бывшие руководители, коллеги и подчиненные кандидата. При найме ключевых топ-менеджеров Годси лично проводит до 15 глубоких «backdoor-интервью», заставляя респондентов детально ранжировать кандидата среди других известных им специалистов , .
Ярким примером такого скрупулезного подхода стал наём легендарного руководителя отдела продаж Рона Джиско (Ron Gisco) . Поиск идеального кандидата занял у Али Годси целый год . Годси искал «умного единорога» с инженерным образованием, способного говорить на одном языке с разработчиками , но при этом обладающего классической харизмой лидера продаж , мыслящего масштабами контрактов на десятки миллионов долларов . Под руководством Джиско выручка Databricks выросла практически с нуля до более чем $2 млрд ARR (Annual Recurring Revenue) .
💾 Будущее IT: AI-база данных как основа технологического стека 1:10:42
Заглядывая в будущее на ближайшие пять лет, Али Годси прогнозирует глубокую трансформацию архитектуры корпоративного программного обеспечения . В предыдущие десятилетия фундаментом любой крупной прикладной системы выступали реляционные базы данных (например, Oracle), поверх которых надстраивались пользовательские интерфейсы (UI) и логика рабочих процессов .
В новую эпоху, по мнению Годси, центральным элементом ИТ-архитектуры любого предприятия станет так называемая «ИИ-база данных» (AI Database) . Она должна объединять в рамках единой безопасной платформы:
- Транзакционные данные компании в реальном времени .
- Историческую сквозную аналитику .
- Интегрированные модели искусственного интеллекта разного масштаба .
В качестве ключевых прикладных зон, которые первыми перейдут на новую архитектуру, Годси выделяет сферы кибербезопасности (моментальное обнаружение атак нулевого дня через анализ терабайтов системных логов) , ИТ-мониторинг и наблюдаемость (observability) систем , а также построение комплексных аналитических платформ для понимания клиентского поведения (Customer 360) .
Генеральный директор Databricks видит миссию своей компании в том, чтобы стать главным инфраструктурным фундаментом («ИИ-базой данных под капотом») для тысяч специализированных прикладных приложений будущего, которые перевернут привычный ландшафт мировой экономики , .
