🚀 Путь к инновациям: история Databricks и будущее ИИ 0:00
История компании Databricks берет свое начало в академических стенах Калифорнийского университета в Беркли. Основатели работали над масштабным проектом под названием Mesos, целью которого была оптимизация планирования задач в крупных дата-центрах. Apache Spark изначально не планировался как полноценный продукт; он был создан «на коленке» — как хак для хакатона — чтобы наглядно продемонстрировать возможности планирования Mesos.
🛠 Рождение из гнева и первые инвестиции 1:08
Первоначальный прототип Spark состоял всего из 5 000 строк кода, но быстро перерос исходный проект. Несмотря на успех внутри сообщества, коммерческие компании того времени отказывались внедрять технологию, ссылаясь на то, что разработчики — всего лишь аспиранты Беркли, которые скоро выпустятся и забросят поддержку софта.
- Переломный момент: столкнувшись с недоверием бизнеса, команда решила основать компанию, чтобы доказать правоту своей технологии.
- Первое финансирование: при выборе инвесторов команда изначально скептически относилась к Бену Горовицу, так как он не был программистом.
- Сделка: когда Горовиц пришел на переговоры, он поставил жесткое условие: одна цифра — либо «да», либо «нет» без торгов. Он предложил оценку в $47 млн, на что команда согласилась.
🤖 Эра агентов и текущий этап Databricks 3:05
Сегодня Databricks — один из самых высокооцененных ИИ-стартапов в мире с оценкой в $100 млрд. Али Годси отмечает, что компания фокусируется на том, чтобы сделать ИИ-агентов полезными в реальной корпоративной среде.
По мнению Годси, классическое машинное обучение отлично справляется с прогнозированием, но генеративный ИИ и агенты пока не стали массовым «сотрудником» в компаниях, где 95% задач выполняли бы автоматизированные агенты. Чтобы изменить это, была создана платформа Agent Bricks, которая помогает компаниям автоматизировать рабочие процессы, используя их собственные защищенные данные.
🎓 Советы новому поколению строителей ИИ 4:46
Али Годси убежден, что сейчас лучшее время для молодых специалистов, чтобы начать карьеру в ИИ, называя нынешнюю эпоху «ренессансом», сравнимым с появлением первых компьютеров в 1940-х годах.
- Найм: Databricks планирует утроить количество наймов новых выпускников (NCG) в этом году, так как они более органично используют современные ИИ-инструменты в работе, в отличие от более опытных коллег, которые зачастую сопротивляются изменениям.
- Практические советы: 1. Начинайте с простых, «глупых» идей: именно из них рождаются крупнейшие проекты, такие как Spark.
- Игнорируйте шум и хайп: сосредоточьтесь на создании полезных инструментов.
- Не бойтесь неудач: развитие Apache Spark заняло около 6 лет до того, как он стал вирусным, и еще 2 года потребовалось на коммерческий успех.
⚖️ Три парадигмы развития ИИ 8:49
Али Годси выделяет три направления, существующих в индустрии сегодня:
- Гонка за суперинтеллектом: Лаборатории (OpenAI, Anthropic, DeepMind) инвестируют огромные средства в масштабирование моделей, чтобы достичь искусственного суперинтеллекта.
- Биологически вдохновленный подход: Исследователи, такие как Ян Лекун, скептически относятся к текущей гонке и считают, что истинный интеллект потребует еще 10–20 лет разработки.
- Прагматичное внедрение (позиция Годси): По мнению спикера, мы уже обладаем достаточным уровнем ИИ (AGI) для решения повседневных задач, и успех бизнеса будет зависеть от того, насколько эффективно мы применим этот интеллект для автоматизации реальных процессов.
🗄 Технологическая архитектура будущего: Lakebase 15:03
Databricks адаптирует свои продукты под новую реальность, где базы данных все чаще создаются агентами, а не администраторами. В 2024 году 81% баз данных на платформе были созданы агентами, и Годси ожидает, что в ближайший год этот показатель достигнет 99%.
- Особенности архитектуры: Агенты работают параллельно, экспериментируют и часто совершают ошибки. Поэтому система поддерживает мгновенное клонирование петабайтов данных (copy-on-write), масштабирование до нуля при простое и автоматический откат к снимкам (snapshots) при сбоях.
