Сооснователь Anthropic Джаред Каплан в подкасте Y Combinator «The Light Cone» делится инсайдами о внутреннем устройстве одной из самых дорогих ИИ-компаний мира. В центре дискуссии — эволюция продукта от Slack-бота до Claude 3.5 Sonnet, технические вызовы при масштабировании моделей и новая парадигма разработки инструментов, где основным «пользователем» становится сама нейросеть.
🐺 От «собаки» к «волку»: путь в стартапы через Y Combinator 0:51
Джаред Каплан начал карьеру в 2009 году, сразу после окончания MIT. Его путь в индустрию начался с работы в компаниях выпускников Y Combinator, что сформировало его предпринимательское мышление .
По мнению Джареда Каплана, работа в крупном тех-гиганте приучает инженера быть «домашним псом», который просто ждет, когда ему положат еду в миску (поставят задачу). В стартапе же на ранних стадиях приходится быть «волком», который должен охотиться сам, иначе компания погибнет . Именно этот сдвиг в мышлении гость считает самым ценным уроком своей карьеры .
Его профессиональный трек включал:
- Первый сотрудник в стартапе Linked (2009 год) .
- Первый инженер в MoPub (платформа мобильной рекламы) .
- Основатель стартапа SolidStage (зима 2012, YC) — попытка создать более гибкий аналог Heroku еще до появления Docker .
- Работа в Grouper (дейтинг-приложение) .
Интересный факт: Джаред Каплан и Грег Брокман (будущий сооснователь OpenAI) познакомились именно в Grouper, где Грег был одним из самых активных пользователей сервиса .
🧪 Переход в AI: самообучение и «B-» по линейной алгебре 5:40
Джаред Каплан признается, что переход в сферу ИИ-исследований в 2014-2015 годах был сопряжен с огромной неуверенностью. В то время AI-безопасность и глубокое обучение казались многим его друзьям чем-то несерьезным, сравнимым с «проблемой перенаселения на Марсе» .
Ключевые моменты его «ретулинга» (переобучения):
- У Джареда была оценка B- (или даже C++) по линейной алгебре в колледже, что заставляло его сомневаться, сможет ли он стать топовым исследователем .
- Он взял 6 месяцев на самостоятельное изучение Machine Learning, чтобы «не быть обузой» для команд в DeepMind или Google Brain .
- Его план обучения в 2015 году включал курсы Coursera, проекты на Kaggle и чтение учебника «Linear Algebra Done Right» .
- Для вычислений он использовал гранты YC, арендуя GPU и подключаясь к ним через SSH .
В OpenAI Джаред Каплан попал благодаря Грегу Брокману, заявив, что готов «мыть полы», лишь бы помогать проекту . Его первым заданием была разработка среды для игры в Starcraft, и в течение первых 9 месяцев он вообще не занимался непосредственно машинным обучением .
📉 Законы масштабирования: эпоха GPT-3 12:44
Одним из важнейших этапов в карьере Джареда Каплана стала работа над GPT-3 в 2018–2019 годах. Он был среди тех, кто увидел фундаментальную закономерность:Scaling Laws (законы масштабирования) .
По словам Джареда Каплана, график, показывающий прямую линию зависимости качества модели от объема вычислений на протяжении 12 порядков, стал для него шоком . Это убедило его полностью сфокусироваться на масштабировании систем.
В тот период научное сообщество часто критиковало такой подход. Джаред Каплан вспоминает, что многие считали масштабирование «неэлегантным грубым методом» и бессмысленной тратой денег на GPU . Однако внутри команды сформировался девиз: «Делай глупую вещь, которая работает» (Do the stupid thing that works) .
🚀 Основание Anthropic: миссия против политики 15:46
Anthropic отделилась от OpenAI, когда группа из семи сооснователей (включая Дарио и Даниэлу Амодеи) решила создать институт, способный выдержать «вес» создания трансформирующего ИИ .
Особенности раннего этапа Anthropic:
- Команда ушла из OpenAI, несмотря на их статус и миллиардное финансирование .
- Первое время у компании не было четкого понимания, каким будет конечный продукт .
- Джаред Каплан считает, что отсутствие политических интриг в компании, где сейчас работает более 2000 человек, обусловлено тем, что первые 100 сотрудников пришли исключительно ради миссии .
- В первый год работы Джаред Каплан занимался созданием инфраструктуры обучения и закупкой вычислительных мощностей, а также бытовыми задачами вроде открытия счета в Brex .
💻 Claude 3.5 Sonnet и феномен «кодинга» 20:43
Долгое время Anthropic оставалась в тени OpenAI. Ситуация изменилась в 2024 году с выходом Claude 3.5 Sonnet, который стал стандартом де-факто для программирования среди стартапов YC .
Джаред Каплан отмечает следующие аспекты успеха:
- Игнорирование тестов: Anthropic не создает команды для «подгонки» моделей под бенчмарки (teaching to the test). По мнению гостя, это создает плохие стимулы, и реальное качество Claude в работе оказывается выше, чем у конкурентов с аналогичными баллами .
- Собачья еда (Dogfooding): Ускорение собственных инженеров Anthropic с помощью Claude является приоритетом №1 .
- Эмпатия к модели: Успех Claude Code и протокола MCP (Model Context Protocol) Джаред Каплан связывает со сдвигом парадигмы: разработчики начали смотреть на Claude не просто как на инструмент, а как на пользователя .
Джаред Каплан приводит пример «агентских» возможностей: одна из его знакомых с помощью Claude смогла декомпилировать бинарный файл, разобрать ассемблерный код и превратить его в читаемый C-код с понятными именами переменных за 10 минут — задача, на которую у человека ушло бы несколько дней .
🏗️ Инфраструктура: крупнейшая стройка в истории человечества 31:04
Джаред Каплан, отвечающий за всю вычислительную инфраструктуру Anthropic, утверждает, что человечество находится в процессе величайшего строительства в истории .
Ключевые показатели инфраструктурного бума:
- Затраты на вычисления для AGI растут примерно в 3 раза ежегодно .
- В следующем году этот проект обгонит по масштабам программу «Аполлон» и Манхэттенский проект .
- Главным «бутылочным горлышком» Джаред Каплан называет электроэнергию, особенно в США . Компании приходится бороться за разрешения на строительство дата-центров и доступ к мощностям.
Стратегическое преимущество Anthropic заключается в гибкости: это единственная крупная лаборатория, использующая чипы трех разных производителей — NVIDIA (GPU), Google (TPU) и AWS (Trainium) . Это требует огромных усилий от команды инженеров по производительности, но позволяет использовать лучшие чипы для конкретных задач (обучение или инференс) и обходить дефицит поставок .
🎓 Советы новому поколению: «будьте менее внешними» 34:40
В завершение беседы Джаред Каплан дал совет молодым инженерам и студентам, которые сомневаются, стоит ли им заканчивать колледж в эпоху ИИ :
- Рискуйте больше. Сейчас время, когда традиционные пути (работа в FAANG, получение дипломов ради «корочки») становятся менее актуальными .
- Ищите внутреннюю гордость. Работайте над тем, чем будет гордиться ваша «идеализированная версия себя», а не тем, что просто выглядит престижно в глазах окружающих .
