На переднем крае кремниевой долины венчурные инвестиции перестали быть просто вопросом оценки финансовых показателей. Сегодня это глубокая работа по коммерциализации фундаментальной науки. В новом эпизоде подкаста Eye on AI Ан Малайети (Anjney Midha), генеральный партнер фонда a16z (Andreessen Horowitz), рассказал о своем пути от биоинформатики в Стэнфорде до запуска крупнейших AI-лабораторий мира, таких как Anthropic, Mistral и Black Forest Labs.
🎓 Путь от академической науки к венчурному капиталу 1:47
Ан Малайети начал свою карьеру в машинном обучении (ML) еще в 2011–2012 годах в Стэнфорде, работая с клиническими данными в области здравоохранения . Его академический путь изменился после летней стажировки в легендарной фирме Kleiner Perkins. На фоне бума глубокого обучения компании отчаянно нуждались в инженерах, способных развертывать пайплайны на GPU, которые только начали появляться в облаках .
После работы инвестором в Kleiner Perkins, Малайети основал собственный стартап Ubiquity 6, специализирующийся на высокоточном 3D-картировании с помощью смартфонов . Продукт оказался востребован разработчиками дополненной реальности (AR), включая создателей Pokémon Go .
- В разгар пандемии 2020 года бизнес был продан компании Discord.
- Инфраструктура Ubiquity 6 для сетевого взаимодействия сотен людей в реальном времени легла в основу платформы активности Discord .
- В Discord Малайети руководил платформенным бизнесом и курировал запуск Midjourney, который стал одним из первых «убийственных приложений» (killer apps) на платформе, быстро достигнув многомиллионной выручки .
🦁 Рождение Anthropic и вера в «законы масштабирования» 6:11
Работа в Discord свела Малайети с ключевыми исследователями OpenAI. В начале 2021 года Том Браун (один из авторов GPT-3) сообщил ему о намерении группы ученых уйти и основать собственную лабораторию — Anthropic . Малайети стал их первым бизнес-консультантом и ангельским инвестором, помогая Дарио Амодеи (CEO Anthropic) структурировать проект.
По воспоминаниям инвестора, первая встреча по сбору средств была шокирующей:
- Дарио Амодеи изначально запросил скромную сумму, но быстро уточнил, что для реализации видения требуется не менее $500 миллионов .
- На тот момент (начало 2021 года) это была «абсурдная» сумма для посевного раунда в глазах рынка.
- Из 22 венчурных инвесторов Sand Hill Road 21 ответил отказом, называя проект «змеиным маслом» (snake oil) .
Малайети утверждает, что его убедила концепция «compute multipliers» (множители вычислений), позволяющая обучать модели в 6 раз эффективнее, чем это делало первое поколение . К концу 2021 года он осознал, что Scaling Laws (законы масштабирования), работающие для текста, неизбежно сработают для видео и изображений .
🏗️ Проблемы архитектуры: Горький урок и эпоха «трансфузии» 13:10
Обсуждая будущее технологий, Малайети придерживается концепции «Bitter Lesson» (Горький урок) Ричарда Саттона. Суть её в том, что грубая вычислительная сила и масштабирование общего алгоритма всегда побеждают специализированные, «хитрые» архитектуры, созданные человеком под конкретные задачи .
Тем не менее, он выделяет несколько ключевых трендов:
- Гибридные модели (Transfusion): Мы переходим от чистых трансформеров к гибридам. Малайети предсказывает эру «трансфузии», где авторегрессионные трансформеры объединяются с диффузионными моделями для повышения качества генерации изображений .
- Специфическая «последняя миля»: Общие модели побеждают, но на финальном этапе они будут дополняться специализированными архитектурами типа LSTM или SSM (Mamba) для эффективности в конкретных сценариях .
- Интерпретируемость как инженерия: Вместо того чтобы менять архитектуру на более понятную, но менее мощную, отрасль учится «препарировать» трансформеры. Малайети упоминает метод circuit tracing (трассировка схем), который позволяет видеть, какие узлы активируются при решении задач. По его мнению, это похоже на переход от биолаборатории к редактированию генов: сначала мы создали микроскоп, скоро начнем целенаправленно «рулить» моделью .
📈 Новая эра оценки: Почему MMLU больше не работает 18:37
По мнению Малайети, фундаментальная проблема AI сегодня — это оценка (evaluation). Статические академические бенчмарки (вроде MMLU) изжили себя. Согласно закону Гудхарта, когда мера становится целью, она перестает быть хорошей мерой — компании просто обучают модели проходить тесты .
Будущее оценки за:
- Краудсорсингом: Такие проекты, как LMSYS Chatbot Arena, где живые люди сравнивают ответы вслепую, дают гораздо более реальную картину надежности .
- Реальными сценариями: Надежность в критических областях (медицина, оборона, финансы) нельзя проверить в лаборатории. Нужны циклы обратной связи от специалистов-практиков .
🤖 Агенты — от слов к действиям 28:35
Малайети считает, что мы находимся в самом центре перехода от моделей, предсказывающих следующее слово, к моделям, предсказывающим следующее действие .
- Где это работает: В программировании. Код легко верифицировать с помощью автоматических тестов (unit tests), поэтому агентные системы в кодинге развиваются быстрее всего .
- Где это буксует: Общий веб-браузинг. По мнению гостя, создание агента, который может самостоятельно забронировать сложную поездку, пока остается «хрупким» сценарием. Человеку все еще быстрее сделать это самому .
- Технический барьер: Современный интернет не предназначен для ботов (капчи, двухфакторная аутентификация). Малайети видит огромный потенциал в развитии систем верификации личности агентов, которые позволят банкам или магазинам обмениваться токенами доступа напрямую с AI .
💼 Инвестиционная стратегия a16z: «Одна компания в год» 37:32
Метод Малайети в a16z напоминает венчур 1970-х годов, когда инвесторы (бывшие инженеры Intel или Fairchild) буквально помогали ученым вывозить оборудование из лабораторий .
«Тренировка нейросети сегодня больше похожа на разработку нового лекарства в биотехе, чем на традиционное создание софта», — утверждает инвестор .
Его подход включает:
- Глубокое погружение: Малайети помогает основателям еще до регистрации юридического лица. Например, для Black Forest Labs он помогал закупать кластеры H100 до того, как компания была формально создана .
- Темп: Он инвестирует максимум в одну компанию в год, так как стадия выхода из лаборатории требует тотальной вовлеченности .
- Модели vs Продукты: По убеждению Малайети, «модель — это не продукт». Это компонент, как транзистор. Побеждают те, кто строит решения (например, как Mistral со своей платформой La Plateforme или Anthropic с фокусом на ИИ-кодинг) .
Малайети подчеркивает, что секрет успеха ИИ-стартапа сегодня — это сочетание научной группы мирового уровня и продуктового видения, способного превратить абстрактный интеллект в ценность для конкретной индустрии .
