Эпоха ИИ-агентов: как Databricks и JPMorgan меняют технологии

В ближайшие пару лет до 99% всех баз данных будут создаваться не разработчиками-людьми, а автономными ИИ-агентами. Пока индустрия совершает этот тектонический сдвиг, банки уровня JPMorgan тратят миллиарды долларов на ИИ-инфраструктуру и киберзащиту. Но главная битва разворачивается не вокруг умных моделей, а вокруг архитектуры данных и готовности лидеров жестко отстаивать свои принципы ради эффективности команд.

🚀 Десятилетие инноваций: Путь Databricks от Spark до Data Intelligence 0:19

История Databricks — это десятилетняя летопись трансформации, начавшаяся с амбициозной цели упростить работу с «большими данными». Ровно десять лет назад на сцене Moscone Center компания делала первые шаги, фокусируясь исключительно на инженерии данных и масштабировании Apache Spark [0:19–0:47]. С тех пор масштаб влияния платформы вырос экспоненциально: конференция, когда-то собиравшая 3 000 человек, сегодня стала крупнейшим в мире событием в области данных и ИИ, объединяющим 22 000 участников очно и 65 000 онлайн из 150 стран мира [1:41–2:12].

Эволюция платформы отражает сдвиг парадигмы в индустрии: если на заре становления фокус был смещен в сторону простых вычислений, то сегодня Databricks — это комплексная экосистема, объединяющая data engineering, машинное обучение и генеративный ИИ. Важнейшим фундаментом этого роста остается open source: такие проекты, как Apache Spark, Delta Lake, Iceberg и MLflow, достигли миллиардных отметок по количеству скачиваний, создав открытую базу для всей современной индустрии данных [2:38–3:04]. Миссия компании остается неизменной: демократизация данных и ИИ, обеспечивающая доступность этих технологий для каждого пользователя на планете.

🛡️ Единое управление данными через Unity Catalog 11:11

В условиях, когда современные организации вынуждены работать с разрозненными стеками технологий, критически важной задачей становится преодоление сложности архитектуры. Генеральный директор Databricks Ари Годси подчеркивает, что большинство компаний десятилетиями накапливали «лоскутные» инфраструктуры, страдающие от отсутствия прозрачности, высоких затрат и жесткой привязки к конкретным вендорам [6:24–7:54]. Ответ на этот вызов — переход к архитектуре Lakehouse с централизованным управлением.

Ключевым инструментом здесь выступает Unity Catalog, реализующий концепцию «единого управления» (Unified Governance). В отличие от точечных решений, которые часто ограничиваются лишь контролем доступа к структурированным таблицам, Unity Catalog обеспечивает комплексную защиту:

• Все типы активов: Управление охватывает не только структурированные данные, но и неструктурированные массивы, модели ИИ и аналитические дашборды.
• Сквозная прозрачность: Отслеживание происхождения данных (lineage) позволяет понимать путь от «сырых» файлов до итоговых бизнес-отчетов, предотвращая утечки и ошибки.
• Бизнес-семантика и качество: Система помогает находить «авторитетные» источники данных, снижая количество споров внутри команд по поводу расхождений в цифрах, а также поддерживает мониторинг качества и контроль затрат [13:10–13:49].

Сегодня Databricks гарантирует 100% поддержку форматов Delta Lake и Iceberg, делая Unity Catalog универсальным каталогом, который позволяет читать и записывать данные из любой системы, сохраняя при этом максимальную производительность и открытость [14:16–15:22].

🤖 Демократизация через ИИ: Платформа Genie 16:16

Следующий этап развития платформы — это внедрение концепции «Data Intelligence» (интеллекта данных), суть которой заключается в повсеместном использовании ИИ для взаимодействия с корпоративными базами знаний. В прошлом для извлечения ценности из данных требовалось глубокое знание языков программирования, таких как Python, Scala или SQL. Теперь же барьер входа кардинально снижается: благодаря инструменту Genie любой сотрудник может обращаться к данным на обычном разговорном языке.

Genie использует ансамбли агентов, которые анализируют запрос пользователя, составляют план действий, пишут необходимый код и исполняют его, возвращая результат [17:44–17:57]. Кроме того, встроенный ИИ-ассистент Databricks, которым пользуются 98% клиентов, глубоко интегрирован в платформу: он понимает контекст организации, помогает диагностировать ошибки и писать код, значительно повышая продуктивность даже профессиональных разработчиков [18:37–19:18].

🎓 Доступное образование и Databricks Free Edition 19:30

Осознавая масштаб влияния технологий ИИ на мировой рынок труда, Databricks берет на себя обязательство по обучению следующего поколения специалистов. Компания анонсировала запуск Databricks Free Edition — версии платформы, не требующей ввода данных кредитной карты или использования корпоративной почты [20:36–20:52].

Помимо предоставления бесплатного вычислительного ресурса для обучения и экспериментов, Databricks инвестирует 100 миллионов долларов в образовательные программы. Весь массив авторских материалов для самообучения, охватывающий темы от построения рекомендательных систем до продвинутого прогнозирования и создания надежных конвейеров данных, теперь открыт и доступен любому желающему бесплатно [21:39–21:52].

🌐 Преодоление 40-летнего застоя: анонс архитектуры Lakebase 28:24

Искусственный интеллект стремительно трансформирует все категории современного программного обеспечения — от CRM до ERP-систем. Однако фундамент, на котором строятся эти приложения, а именно традиционные транзакционные базы данных (OLTP), десятилетиями оставался неизменным. Как отметил сооснователь Databricks Али Годси, технологии в СУБД вроде Oracle, Microsoft SQL Server, MySQL или Postgres принципиально не менялись последние 40 лет. В академической и инженерной среде до сих пор ориентируются на исследовательскую работу System R, опубликованную IBM еще в 1970-х годах, — почти 90% идей в современных базах данных взяты именно оттуда.

Главной причиной подобного застоя является колоссальная «липкость» данных: однажды выбрав транзакционную базу, компания оказывается в ловушке жесткой привязки к поставщику (vendor lock-in). В результате клиенты годами переплачивают за громоздкие, неэластичные «черные ящики», созданные в эпоху до появления облаков и ИИ. Чтобы разрушить эту устаревшую парадигму, Databricks анонсировала Lakebase — принципиально новую архитектуру транзакционных баз данных, которая разделяет вычисления и хранение, перемещая данные в дешевые открытые озера данных.

Трехуровневая архитектура и открытые стандарты 31:17

Главная сложность при разделении вычислений и хранения в OLTP-системах всегда заключалась в жестких требованиях к задержке. Если для аналитического Лейкхауса задержка в 100 миллисекунд считается приемлемой, то для транзакционных нагрузок ИИ-приложений будущего необходим однозначный одноразрядный миллисекундный отклик. База данных Lakebase работает на основе открытого стандарта Postgres, ставшего общепризнанным лингва-франка в мире СУБД, и предлагает инновационную трехуровневую структуру:

• Нижний уровень: физические данные хранятся в облачных объектных хранилищах (data lakes) — самом дешевом и надежном медиуме на рынке. При этом данные записываются не в закрытом проприетарном формате, а в виде стандартных страниц Postgres.

• Средний уровень: промежуточный слой хранения с «мягким состоянием» (soft state), работающий как сквозной кэш (write-through cache) для обеспечения минимального времени отклика и мгновенной фиксации логов упреждающей записи (WAL).

• Верхний уровень: эфемерные вычислительные узлы — экземпляры Postgres, которые динамически считывают и записывают данные, обеспечивая миллионы запросов в секунду.

Эта технология создавалась Databricks в рамках многолетнего партнерства, которое, как будет подробно описано в следующей главе, недавно увенчалось закрытием сделки по поглощению СУБД-стартапа Neon. В отличие от гибридных облачных решений конкурентов, Lakebase полностью исключает риски блокировки данных благодаря использованию ванильных страниц Postgres и открытых форматов.

Бессерверная магия и мгновенное ветвление баз данных 41:06

Традиционные базы данных всегда ассоциировались со сложным ручным обслуживанием и долгим развертыванием. Lakebase кардинально меняет этот опыт благодаря двум возможностям: True Serverless и мгновенному ветвлению (Branching). В режиме автомасштабирования (autoscaling) создание новой базы данных занимает менее одной секунды. Система способна автоматически масштабироваться до нуля, когда нагрузка отсутствует (например, после окончания рабочего дня), благодаря чему клиенты платят исключительно за время чистых вычислений.

Функция ветвления, реализованная через механизм копирования при записи (copy-on-write), позволяет клонировать производственную базу данных со всей схемой и данными менее чем за секунду. При этом дополнительная плата за хранение не взимается до тех пор, пока в тестовую ветку не начнут вноситься изменения. Сооснователь Databricks Рейнольд Шин подчеркнул, что это полностью меняет привычный рабочий процесс разработчиков:

«Каждый раз, когда вы выполняете команду git checkout -b, система должна автоматически создавать изолированную ветку базы данных».

Это критически важно в эпоху автономных ИИ-агентов. Проводя эксперименты на кодовой базе, тысячи виртуальных инженеров могут мгновенно получать собственные копии баз данных практически бесплатно. По завершении работы ненужные ветки и базы просто уничтожаются, не оставляя лишних инфраструктурных расходов.

Практический тест: 19 000 запросов в секунду в реальном времени 46:16

Возможности новой архитектуры продемонстрировала на сцене Холли Смит на примере управления запасами ИТ-системы компании по производству напитков. В рамках демонстрации новое безопасное решение Databricks Apps (которое станет центральной темой следующей главы) отправляло живые некэшированные запросы напрямую в Postgres-бэкенд.

Для тестирования была развернута изолированная ветка разработки «dev», работающая на Postgres версии 16.6. Запущенная прямо со сцены симуляция экстремально высокой нагрузки показала впечатляющие результаты производительности:

• Пиковая пропускная способность достигла почти 19 000 запросов в секунду (QPS).
• Медианная задержка составила всего 4,56 миллисекунды.
• Задержка на уровне 95-го процентиля не превысила 5,6 миллисекунды.

Кроме того, Холли показала бесшовную двустороннюю синхронизацию данных. Пользователи могут в паруclicks опубликовать таблицы из аналитического Лейкхауса в Lakebase для обслуживания в реальном времени или настроить автоматическую репликацию транзакционных данных обратно в озеро под единым управлением Unity Catalog (инструмента, о котором шла речь в первой главе).

🚀 Слияние транзакций и приложений: от мгновенных баз данных Neon до безопасной экосистемы Databricks Apps 52:43

Технология Neon: революция серверного Postgres и базы данных для ИИ-агентов 52:43

Развитие новой архитектуры транзакционных баз данных Lakebase, концепцию которой компания подробно представила на саммите, получило мощный импульс благодаря стратегическому поглощению стартапа Neon. На сцену поднялся сооснователь и генеральный директор Neon Никита Шамгунов, чтобы подробнее рассказать о технологическом прорыве, совершенном его командой за последние четыре года. В условиях жесткой конкуренции на рынке ключевой инновацией Neon стало полное разделение хранения и вычислений (separation of storage and compute) для классической СУБД Postgres. Это позволило хранить данные в открытых форматах внутри наиболее экономичных облачных объектных хранилищ.

Благодаря такому подходу база данных фактически превратилась в простую веб-ссылку (URL), с которой бесшовно взаимодействует приложение. База способна автоматически масштабироваться в зависимости от реальной нагрузки и даже полностью сжиматься до нуля (scale to zero) при отсутствии запросов, избавляя инженеров от ручного планирования мощностей и позволяя платить строго за использованные ресурсы. Другим важнейшим новшеством стало мгновенное ветвление (branching) как схем, так и самих данных. Используя оптимизированный механизм копирования при записи (copy-on-write), разработчики получили возможность создавать изолированные среды за доли секунды.

Никита Шамгунов поделился поразительной статистикой внутренней платформы neon.com: если в прошлом году лишь 30% баз данных создавались ИИ-агентами, то сегодня этот показатель достиг 80%. Глава Neon озвучил смелый прогноз: через пару лет 99% всех баз данных на платформе будут разворачиваться искусственным интеллектом. В эпоху лавинообразного роста ИИ-разработки инженеры активно используют передовые инструменты вроде Cursor, Windsurf и Microsoft Copilot, а автономные платформы-партнеры вроде Replit и Lovable способны генерировать готовые веб-приложения по одному текстовому промпту. Поскольку каждому приложению требуется база данных, а ИИ-системы склонны совершать ошибки, возможность мгновенно развернуть безопасную изолированную ветку через URL стала критически важным фактором для индустрии. Вхождение команды из более чем 100 экспертов по Postgres в состав Databricks призвано объединить аналитический и транзакционный миры в рамках единой платформы.

Databricks Apps: безопасная доставка приложений к сердцу корпоративных данных 57:59

Следующим фундаментальным анонсом стало объявление о выходе в общую доступность (General Availability) платформы Databricks Apps. Генеральный директор Databricks Али Годси иронично признался, что на этапе зарождения идеи несколько лет назад он был главным скептиком внутри команды. Ему казалось, что создание подобного контура потребует слишком много ресурсов, а в первый год систему внедрят от силы сто организаций. Однако реальность полностью опровергла эти сомнения: с момента запуска публичного превью в ноябре 2024 года платформу взяли на вооружение более 2500 клиентов.

Вице-президент Databricks Джастин де Брант подчеркнул, что сегодня написать визуальный фронтенд с помощью ИИ-подсказок (так называемый vibe coding) стало предельно просто. Настоящий вызов заключается в выводе этих систем в промышленную эксплуатацию: подключении к данным, интеграции с SSO и корпоративной аутентификацией, настройке сетевых политик VPC, логировании и аудите. Databricks Apps кардинально меняет парадигму, предлагая важный архитектурный сдвиг: теперь само приложение переносится непосредственно к данным и моделям ИИ, а не наоборот.

Платформа разворачивается в полностью управляемых контейнерах Databricks, избавляя инженеров от администрирования инфраструктуры. Контроль безопасности и прав пользователей на уровне отдельных ресурсов осуществляется через Unity Catalog, сквозные принципы которого детально разбирались в первой главе статьи. Важной новинкой релиза стала интеграция с Lakebase в один клик, позволяющая мгновенно привязать базу данных для хранения состояния приложения или агента. Следуя философии открытых стандартов, Databricks Apps изначально поддерживает популярные Python-фреймворки (Streamlit, Gradio, Dash, Shiny, FastAPI, Flask), а теперь к ним добавилась и официальная поддержка экосистемы JavaScript через Node.js и React, подкрепленная более чем 20 предустановленными open-source пакетами. С показателем в 20 000 созданных приложений Databricks Apps стал самым быстрорастущим превью-продуктом за всю историю компании.

Практические кейсы и бесшовная разработка в экосистеме App Builder 1:05:03

Эффективность Databricks Apps подтверждается реальным опытом крупных корпораций. Так, компания Bridgestone использует платформу для операционализации больших языковых моделей, реализуя кэширование промптов, сохранение истории и контроль токенов для сотен внутренних пользователей еженедельно. Финансовая компания Addepar создала кастомные интерфейсы, позволившие нетехническим сотрудникам самостоятельно конфигурировать пайплайны и запускать инжестию данных, что разгрузило дата-инженеров от рутины. Фармацевтический гигант Takeda применяет приложения для обработки неструктурированных отчетов расследований, автоматически извлекая ключевые факты и генерируя структурированные сводки с помощью ML-моделей.

Для ускорения создания таких интерфейсов Databricks представила партнерскую экосистему App Builder, объединяющую визуальное редактирование, генеративный ИИ и классическое программирование. В ходе демонстрации Джастин де Брант совместно с платформой Superblocks показал процесс генерации административной панели поставок для бренда BrickHouse Brands прямо из текстового промпта. ИИ мгновенно сформировал интерфейс и API-интеграции, объединив агрегированные запросы из Databricks SQL, интерактивные панели AI BI, а также оперативные данные в реальном времени из Lakebase для отслеживания истории отгрузок конкретных позиций. Прогнозные метрики рисков и задержек подтягивались через эндпоинты моделей, развернутых с помощью MLflow.

Разработчик может на лету переключаться между визуальным drag-and-drop редактором и прямой правкой кода на React. Функционал приложения также включает в себя SQL-запросы со встроенным ИИ для экспресс-анализа причин задержек и интерактивное окно ИИ-помощника Genie, принципы работы которого обсуждались ранее в первой главе разговора. Финальный деплой приложения в рабочее пространство Databricks занимает считанные секунды: система автоматически прописывает URL, привязывает ресурсы (SQL-склады, эндпоинты моделей) и позволяет в один клик поделиться готовым решением с логистической командой через защищенный контур корпоративной авторизации.

🤖 Эволюция ИИ-агентов: от Claude 4 до специализированных Agent Bricks 1:15:19

Будущее виртуальных коллабораторов и возможности Claude 4 1:15:19

В контексте обсуждения новой архитектуры баз данных Lakebase, затронутой спикерами ранее в разговоре, Databricks делает масштабный шаг в сторону ИИ. Специальным гостем этой сессии стал Дарио Амодеи, глава компании Anthropic, который подключился к трансляции прямо со свадьбы своего друга. Он отметил взрывной «клюшкообразный» рост популярности моделей Anthropic в корпоративном сегменте. Одним из самых ярких примеров стал опыт компании Block (ранее Square), создавшей внутреннего ИИ-помощника Goose на базе моделей Claude. Изначально инструмент создавался для генерации кода и привлек 75% инженеров Block, однако вскоре превратился в универсального координатора данных, которым сегодня пользуются около 40% всех сотрудников компании. Продукт доказал свою эффективность и внутри самой Databricks, где Goose ежедневно используют более 2000 специалистов.

Дарио Амодеи подробно описал грядущую эволюцию ИИ-помощников на основе концепций, изложенных в известной статье Стива Йегге «Месть младшего разработчика». По его словам, индустрия стремительно движется от простого автодополнения кода к «интерактивному программированию» на лету (термин Андрея Карпатого). Следующим этапом станут «флоты агентов» (agent fleets), где человек выступает менеджером группы цифровых сотрудников, а затем и «рои агентов» (agent swarms), в которых ИИ-агенты будут самостоятельно разворачивать подсистемы для выполнения масштабных бизнес-задач. Для безопасного управления такими автономными структурами Амодеи предложил использовать проверенные подходы к управлению правами доступа и внедрять агентов непосредственно в существующие корпоративные контуры безопасности данных.

В современной практике выделяются три ключевых направления использования корпоративного интеллекта:

• Поиск контекста и извлечение базовых знаний компании (продвинутый RAG).

• Автоматизация рутинных процессов с глубоким пониманием бизнес-операций и сохранением контроля со стороны человека.

• Автономный анализ данных, проведение исследований, создание отчетов и оптимизация маркетинговых стратегий.

Развитие этих паттернов стало возможным благодаря новому поколению моделей — Claude Opus 4 и Sonnet 4. Создание этих систем потребовало комплексного подхода: увеличения объемов вычислений, интеграции новых алгоритмических идей и продвинутых техник обучения. Модель Opus 4 демонстрирует беспрецедентные результаты в написании кода и сложных рассуждениях, в то время как Sonnet 4 сохраняет оптимальный баланс высокой скорости работы и доступной стоимости. В четвертой версии инженерам Anthropic удалось значительно улучшить точность следования инструкциям и минимизировать проблему ложных оптимизаций («reward hacking»). В ближайшем будущем Anthropic планирует развивать функции полноценного использования компьютера (computer use), что позволит агентам взаимодействовать с любыми цифровыми интерфейсами наравне с людьми.

Преодоление барьеров внедрения: запуск Agent Bricks 1:28:45

Несмотря на повсеместный ажиотаж вокруг ИИ, реальный вывод автономных систем в промышленную эксплуатацию (production) сопряжен с серьезными трудностями. Али Гобси выделил три фундаментальные проблемы, с которыми крупный бизнес сталкивался последние 12 месяцев при попытках развертывания надежных агентов. Во-первых, это отсутствие прозрачной оценки качества работы ИИ. В качестве примера Гобси привел случай с известным автопроизводителем: их внутренний агент при вопросе о выборе машины начал рекомендовать автомобили прямого конкурента, а иногда и вовсе заявлял, что актуальных моделей нет в каталоге. Бизнесу не нужны абстрактные бенчмарки уровня математических олимпиад или соревнований по программированию; компаниям необходимы точные метрики работы ИИ с их собственными закрытыми данными.

Вторая проблема заключается в стремительном устаревании технологий, из-за чего инженеры испытывают усталость от постоянной смены подходов. Третий барьер — это необходимость соблюдения жесткого баланса между стоимостью инфраструктуры и качеством работы моделей.

Для комплексного решения этих вызовов Databricks представила новую платформу — Agent Bricks. Это готовые, автоматически оптимизируемые блоки ИИ-агентов, ориентированные на конкретные прикладные задачи предприятия. Работа с Agent Bricks начинается с верхнеуровневого описания бизнес-проблемы и подключения необходимых баз данных.

Система автоматически разворачивает три ключевых процесса:

• Создание кастомных LLM-судей (LLM judges) для проверки качества ответов конкретного агента. Подход основан на принципе, что языковые модели оценивают контент гораздо лучше, чем создают его. При этом архитектура предусматривает обязательное участие человека (human-in-the-loop) для корректировки спорных сценариев.

• Автоматическая оптимизация системы силами выделенной команды исследователей и PhD-специалистов Databricks. Платформа сама перебирает доступные методы, включая файнтюнинг, промпт-инжиниринг, векторный поиск и сложные агентские паттерны.

• Визуализация интерактивного графика соотношения стоимости и качества, дополненная технологией непрерывного обучения (agent learning) для дообучения системы на поступающих в реальном времени данных.

Архитектура и практические сценарии Agent Bricks 1:36:52

Подробнее о внутренней архитектуре решения рассказала Ханин Танг, директор по технологиям нейронных сетей в Databricks. Она подчеркнула, что Agent Bricks кардинально упрощает процесс создания ИИ-помощников: пользователю достаточно задать текстовое описание задачи и прикрепить документы. Система автоматически генерирует уникальные метрики оценки под заданный контекст. Например, если агент обрабатывает транскрипты службы поддержки, Agent Bricks создаст специализированных судей для оценки рисков оттока клиентов (customer churn).

Внутренний движок платформы берет на себя всю рутину по подбору оптимальной конфигурации. Он тестирует и комбинирует различные методы оптимизации: от базовой настройки промптов до сложного обучения с подкреплением (RL). Такой подход гарантирует создание систем более высокого качества и с меньшей стоимостью владения по сравнению со стандартным ручным написанием промптов к базовым LLM.

На момент запуска платформа поддерживает четыре ключевых типа специализированных задач:

• Извлечение информации (Information extraction) — автоматизированные конвейеры для получения инсайтов из неструктурированной документации.

• Ассистент знаний (Knowledge assistant) — диалоговые агенты для ответов на вопросы по закрытым корпоративным источникам.

• Супервизор мультиагентных систем (Multi-agent supervisor) — инструмент для оркестровки нескольких агентов, MCP-серверов и систем Genie в рамках единого контура.

• Кастомные LLM (Custom LLM) — гибкая настройка под специфические сценарии, такие как техническая поддержка в телекоме.

Согласно внутренним тестам Databricks, на стандартных бенчмарках ответов на вопросы решения на базе Agent Bricks демонстрируют в среднем 76% точности. Этот показатель существенно превосходит аналогичные автоматизированные продукты от двух ведущих облачных провайдеров, а благодаря механизмам непрерывного обучения качество работы агентов продолжает расти в процессе эксплуатации.

🤖 Эволюция ИИ-агентов: обучение через обратную связь и эпоха MLflow 3.0 1:40:19

Обучение агентов по обратной связи: технология ALHF 1:42:30

Одной из главных проблем при развертывании сложных ИИ-агентов в реальном производстве является их управляемость (steerability). Традиционный подход заставляет разработчиков заниматься ручным наполнением контекста (prompt stuffing), пытаясь уместить все бизнес-правила и инструкции в один гигантский промпт объемом до 40 000 токенов . Этот метод хрупок, дорог и труден в поддержке, особенно когда система состоит из множества взаимосвязанных компонентов, а не одного LLM. Более того, обратная связь от пользователей в продакшене чаще всего ограничивается простыми оценками «нравится/не нравится» , которые лишены глубокого контекста для точечной настройки.

Для решения этой проблемы была представлена технология Agent Learning from Human Feedback (ALHF) . В отличие от классического обучения с подкреплением (RLHF), где модель выдает результат, получает численный балл и обновляет веса через обратное распространение ошибки , ALHF работает на уровне естественного языка. Разработчик или пользователь может дать агенту прямую текстовую подсказку, например: «Игнорируй все данные, созданные до мая 1990 года» .

Система ALHF автоматически понимает, какие именно параметры, векторные индексы или текстовые описания инструментов нужно скорректировать для выполнения этого требования . Она может самостоятельно исключить устаревшие данные из базы знаний, добавить дополнительного ИИ-судью для проверки вывода или переписать системный промпт . Практическое применение технологии уже демонстрирует отличные результаты у первых клиентов: медицинская платформа Flow Health удвоила точность своих агентов , а компания Experian отметила огромную ценность возможности непрерывно улучшать качество системы с течением времени .

Эффективность ALHF была наглядно продемонстрирована Кейси во время живой презентации на примере создания ИИ-ассистента для отдела исследований и разработок (R&D) компании по производству энергетических напитков . На тестовый запрос о том, превышает ли новый рецепт лимит сахара (так называемый surge sugar cap) , агент изначально выдал некорректный ответ, так как этот термин является узкоспециализированным сленгом, отсутствующим в загруженных рецептах .

Вместо сложного перепрограммирования системы разработчик перешел во вкладку улучшения качества и добавил простое текстовое правило, объясняющее суть термина . ALHF самостоятельно перевела это требование в техническую оптимизацию (изменение параметров извлечения, фильтрации и промптов) . При повторном запросе агент мгновенно перестроил логику рассуждений и выдал абсолютно правильный ответ .

Ранее в разговоре спикеры детально обсудили концепцию специализированных агентов Agent Bricks, возможности которых легли в основу демонстрации новых технологий обратной связи .

MLflow 3.0: Инструменты трассировки и оценки качества в эпоху генеративного ИИ 1:58:29

Для мониторинга, трассировки и обеспечения наблюдаемости ИИ-систем Databricks анонсировала масштабное обновление популярной библиотеки с открытым исходным кодом — MLflow 3.0 . Новая версия была полностью переработана под требования эпохи генеративного ИИ и позволяет настраивать сквозное отслеживание работы приложений в режиме реального времени, даже если они развернуты за пределами платформы Databricks .

Ключевым нововведением стала глубокая интеграция с реестром промптов (Prompt Registry), который теперь позволяет версионировать, отслеживать и развертывать текстовые инструкции напрямую через общую систему каталогов данных . Также в MLflow 3.0 появился специализированный набор инструментов для автоматической оценки качества работы моделей и агентов . Система автоматически перехватывает каждый входящий запрос, исходящий ответ и промежуточные вызовы между агентами . На основе собранных данных инструменты MLflow формируют индивидуальные метрики качества и выдают инсайты без необходимости привлекать экспертов к ручной проверке каждой итерации .

Параллельно с релизом MLflow 3.0 Databricks объявила о поддержке открытого протокола Model Context Protocol (MCP) . Теперь разработчики могут разворачивать собственные MCP-серверы, интегрировать их в тестовую среду в качестве готовых инструментов и бесшовно связывать с ключевыми сервисами платформы, включая векторный поиск .

Для ускорения вычислений в бета-версию serverless-инфраструктуры были добавлены графические процессоры GPU (в частности, ускорители A10) . Это позволило таким клиентам, как Rivian и FactSet, существенно оптимизировать и ускорить процессы обучения мультимодальных моделей . Кроме того, глубокой модернизации подвергся движок векторного поиска: обновленная архитектура теперь способна масштабироваться до миллиардов векторов при снижении затрат до 7 раз .

А сразу после анонса новых инструментов на сцену поднялся представитель Mastercard, чтобы рассказать о практических результатах работы своей команды — подробный разбор этой дискуссии будет представлен в следующей главе статьи.

🛡️ От финансовых агентов до кибервойн: стратегия ИИ-лидерства 2:02:43

Практическая реализация искусственного интеллекта в глобальных масштабах требует не только вычислительных мощностей, но и полной перестройки операционных моделей. Опыт крупнейших финансовых институтов мира показывает, что переход от экспериментов к промышленному внедрению ИИ — это прежде всего работа с данными и структурой управления. Ранее в обсуждении уже затрагивались возможности новых инструментов вроде Agent Bricks, однако именно на примере Mastercard и JP Morgan Chase становится ясно, как эти технологии меняют правила игры в реальном секторе.

Mastercard: Эволюция коммерции через ИИ-агентов 2:02:43

Для Mastercard путь к генеративному ИИ начался с фундаментальной очистки данных. Как отметил руководитель по ИИ компании, они обрабатывают колоссальный объем — 159 миллиардов транзакций в год. Чтобы превратить этот массив в интеллектуальный актив, компания совместно с Databricks внедрила архитектуру «data mesh» и «медальонную» структуру данных.

Одним из наиболее успешных кейсов стала агентная платформа для онбординга клиентов. Использование специализированных ИИ-агентов позволило ускорить процесс подключения новых партнеров на 30%, автоматизировав первичную обработку большинства типовых запросов. Но амбиции компании выходят за рамки внутренней эффективности. Mastercard выделяет четыре ключевых направления:

• Укрепление организации: использование агентов для управления знаниями и поддержки инженеров.
• Безопасность экосистемы: интеграция GenAI в существующие модели борьбы с фродом для повышения их точности.
• Умные платежи: платформы для оптимизации портфелей клиентов в мире открытых финансов.
• Персонализация коммерции: создание решений, позволяющих ритейлерам предлагать товары на основе глубокого анализа предпочтений.

Особое внимание уделяется концепции «агентной коммерции». Шопинг эволюционирует: потребители переходят от простого поиска к использованию ИИ-платформ, которые должны не просто советовать, но и совершать транзакции. Для этого была запущена система Mastercard Agent Pay. Она решает критическую проблему идентификации: старые правила фрода часто помечали нечеловеческие транзакции как подозрительные. Теперь же компания создает инфраструктуру, где агент может легально и прозрачно платить за своего владельца.

JP Morgan: 18 миллиардов долларов на алтарь технологий 2:10:16

Глава JP Morgan Chase Джейми Даймон, управляющий организацией с штатом в 300 000 человек, подчеркивает, что масштаб их технологических амбиций подкреплен бюджетом в 18 миллиардов долларов в год. В компании работают 55 000 программистов, а AI-проекты пронизывают каждое подразделение — от кредитных карт до продаж и трейдинга.

Даймон применил радикальный подход к управлению: он вывел направление ИИ и данных из-под прямого подчинения ИТ-департаменту, сделав его частью общекорпоративного менеджмента. Теперь руководитель по ИИ отчитывается напрямую генеральному директору и президенту банка.

«Я никогда не видел, чтобы технологии двигались так быстро. Не останется ни одной работы, ни одного процесса или функции, на которые бы не повлиял ИИ», — утверждает Джейми Даймон.

На текущий момент в JP Morgan внедрено около 600 реальных кейсов использования ИИ, и Даймон ожидает, что в следующем году это число удвоится или утроится. Банк тратит около 2 миллиардов долларов в год только на ИИ-направления. Одним из ключевых внутренних проектов стал «Brie» — система на базе технологий Databricks, которая автоматизирует движение денег по всему миру, выбирая оптимальную валюту, цену и место назначения в режиме реального времени.

Фундамент из данных и внутренние LLM 2:16:12

По мнению Даймона, самая сложная часть внедрения ИИ — это не сами модели, а данные. JP Morgan — это результат множества слияний, из-за чего данные были разбросаны по разным форматам: от реляционных баз до неструктурированных записей колл-центров. Работа по приведению этого «хаоса» в пригодный для ИИ вид заняла годы, но именно она позволяет банку сегодня двигаться быстрее конкурентов.

Внутри банка уже развернуты собственные LLM на внутренней инфраструктуре. Более 200 000 сотрудников используют их для анализа документов и работы с электронной почтой, не опасаясь утечки конфиденциальной информации во внешнюю сеть. Это позволяет анализировать паттерны трат и путешествий клиентов, обеспечивая беспрецедентную точность рекомендаций без нарушения приватности.

Кибербезопасность как «полицейское государство» 2:22:12

Обратной стороной медали является беспрецедентный рост угроз. Джейми Даймон прямо называет режим кибербезопасности в банке «полицейским государством». Ежегодно банк тратит 1 миллиард долларов на защиту.

Основное опасение Даймона связано с тем, что «плохие парни» уже начали использовать изощренных ИИ-агентов для попыток проникновения в системы крупнейших корпораций. Он отмечает, что правительственные регуляторы защищены гораздо хуже, чем частные банки.

«Если крупный банк упадет из-за кибератаки и данные будут потеряны, единственным выходом станут банковские каникулы, объявленные президентом», — предупреждает Даймон.

Банк сотрудничает с ФБР и АНБ, часто обнаруживая активность северокорейских или китайских хакеров раньше, чем государственные органы.

Технологическое лидерство США и глобальное соперничество 2:26:40

В завершение Даймон перешел к геополитическому контексту, подчеркнув, что технологическое превосходство США — это «зонтик», который обеспечивает стабильность всему демократическому миру. Он выразил обеспокоенность зависимостью от Китая в критических сферах, таких как производство пенициллина или редкоземельных металлов.

В области ИИ Даймон призывает не ограничивать экспорт технологий, но жестко контролировать передачу передовых чипов (2 нм), которые могут усилить военный потенциал Китая, например, в создании сверхзвуковых ракет. Он также указал на неповоротливость американского ВПК: в случае конфликта запас ракет может исчерпаться за семь дней, а на запуск второго завода уйдут годы. Для исправления ситуации JP Morgan планирует запустить «Оборонный форум действий» (Defense Action Forum), чтобы помочь правительству внедрять инновации быстрее, используя гибкость бизнеса.

🏛️ Регулирование финансовой индустрии и философия жесткого лидерства от Джейми Даймона 2:34:19

Уроки банковского кризиса: почему рухнули SVB и First Republic 2:34:19

В марте 2023 года финансовый мир потряс внезапный крах Silicon Valley Bank (SVB), за которым последовало падение еще одного крупного игрока — First Republic Bank . Глава крупнейшего американского банка JPMorgan Chase Джейми Даймон прямо называет действия руководства этих институтов безответственными . Главной причиной их краха стала катастрофически несбалансированная модель управления рисками, а именно — критическая незащищенность портфелей перед резким ростом процентных ставок .

После экстренного поглощения активов First Republic команде JPMorgan Chase пришлось провести колоссальную интеграционную работу. Даймон отмечает, что сложнейшая часть сделки заключалась в переводе около 10 000 сотрудников с перспективных долгосрочных проектов на рутинные задачи бэк-офиса . Всего за один год банк полностью консолидировал все разрозненные системы: от HR и финансов до баз данных, облачной инфраструктуры и юридических платформ .

Ранее JPMorgan столь же успешно ассимилировал другой проблемный актив — Washington Mutual (WaMu) , благодаря чему стал крупнейшим розничным, коммерческим и частным банком в Калифорнии . Сегодня в Пало-Альто открыт новый современный кампус банка, где 500 специалистов работают исключительно с инновационным сектором экономики .

Несмотря на устойчивость системы в целом, Даймон выражает крайний скептицизм по поводу современных методов финансового надзора. По его словам, регулирование превратилось в бесконечную и хаотичную игру «бей крота» (whack-a-mole) с постоянным нагромождением новых стандартов, таких как G-SIB, SLR, Базель II, III и IV . Избыточное регулирование имеет серьезные побочные эффекты, выталкивая выдачу классических ипотечных кредитов и левериджированное финансирование за пределы традиционной банковской системы в нерегулируемый сектор частного капитала .

Другим тревожным следствием перерегулирования Даймон считает драматическое сокращение публичного рынка США. За последние 30 лет число публичных компаний в стране сократилось вдвое — с 8 000 до 4 000, в то время как здоровая и растущая экономика должна была продемонстрировать рост как минимум до 16 000 эмитентов .

Процесс выхода на биржу (IPO) стал чрезмерно дорогим, юридически перегруженным и бюрократизированным, навязывающим компаниям шаблонные советы директоров и одинаковые системы компенсаций . В качестве примера эффективной альтернативы Даймон приводит Швецию, где созданы условия для легкого выхода на биржу компаний с капитализацией около полумиллиарда долларов, обеспечивающие им доступ к капиталу при минимальных регуляторных издержках .

Макроэкономический реализм и «тектонические плиты» геополитики 2:39:32

Говоря о макроэкономических прогнозах, инфляции и процентных ставках, Джейми Даймон призывает бизнес к предельной осторожности. Сегодняшние попытки управлять экономикой с помощью точечных стимулов и изменения ключевых ставок напоминают ему средневековое кровопускание . Финансовый рынок выглядит излишне оптимистичным, закладывая в цены сценарий долгосрочной «мягкой посадки», однако глава JPMorgan видит множество дестабилизирующих факторов, которые он называет движением «тектонических плит» :

• Масштабные геополитические конфликты, включая события на Украине и обострение ситуации на Ближнем Востоке .

• Рекордные дефициты бюджетов и беспрецедентный уровень государственного долга во всем мире, превышающий показатели периода после Второй мировой войны .

• Фрагментация глобального рынка, введение жестких торговых тарифов и вынужденное перевооружение стран Азии и Европы .

Даймон убежден, что при оценке рисков нельзя полагаться на официальные прогнозы регуляторов. Федеральная резервная система США заставляет банки проходить лишь один официальный стресс-тест в год, в то время как JPMorgan Chase самостоятельно проводит около 100 внутренних стресс-тестов в неделю . Финансовый гигант готовит свои модели к экстремальным сценариям — например, к росту процентных ставок до 8-9%, что позволяет ему сохранять абсолютную устойчивость при любых потрясениях .

Философия лидерства: дисциплина, честность и искоренение токсичности 2:43:08

Когда речь заходит об управлении многотысячной корпорацией, Джейми Даймон делает ставку на предельную внутреннюю честность, дисциплину и личную вовлеченность. Комментируя широко обсуждавшуюся в СМИ утечку своей аудиозаписи о необходимости возвращения сотрудников в офисы , глава JPMorgan подтвердил свою жесткую позицию против удаленной работы.

Он сравнивает видеозвонки с телевизионным шоу «Hollywood Squares» и отмечает, что такой формат разрушает культуру глубокого вовлечения . Во время онлайн-встреч сотрудники постоянно отвлекаются на всплывающие уведомления на смартфонах и планшетах, тогда как личное общение требует абсолютной концентрации внимания .

Основные управленческие принципы Даймона включают в себя несколько фундаментальных правил:

• Постоянный аудит и честность перед собой. Руководитель должен досконально понимать структуру доходов и расходов каждого бизнес-подразделения , а также регулярно анализировать отзывы клиентов и действия конкурентов . Двенадцать лет назад Даймон лично отправил команду топ-менеджеров потребительского направления в Китай только для того, чтобы они изучили опыт Tencent, Alipay и Alibaba и «открыли глаза» на скорость развития азиатских технологий .

• Интеллектуальное смирение. Топ-менеджер не может знать абсолютно все. Чтобы разобраться в архитектуре «озер данных» или особенностях валютного трейдинга в Индонезии, Даймон напрямую обращается к профильным экспертам внутри компании, не стесняясь задавать вопросы .

• Нулевая терпимость к токсичности. Руководитель JPMorgan призывает незамедлительно избавляться от сотрудников-мерзавцев, разрушающих рабочую атмосферу в коллективе . Более того, Даймон готов идти на крайние меры ради защиты команды: «Я увольнял клиентов, потому что они вели себя по-хамски по отношению к нашим сотрудникам» . Если руководство позволяет унижать своих подчиненных, это мгновенно разрушает внутреннее доверие и вовлеченность.

• Спортивная дисциплина и упорство. Лидеры бизнеса должны работать так же упорно, как выдающиеся спортсмены вроде Тома Брэди или Симоны Байлз . Успех складывается не в день игры, а в процессе изнурительных тренировок, разбора записей матчей и постоянной работы над ошибками . Если руководитель не готов отдавать делу все свои силы, ему пора уступить свое место .

В завершение пленарного дня организаторы кратко резюмировали ключевые анонсы мероприятия (о которых подробно шла речь в предыдущих главах), включая инновационную архитектуру баз данных Lakebase , платформу Databricks Apps для безопасной интеграции приложений , оптимизированных ИИ-агентов Agent Bricks и масштабные инвестиции в бесплатное обучение разработчиков .