В новом выпуске подкаста венчурного фонда a16z сооснователь компании Anthropic Дарио Амодеи делится своим видением будущего индустрии искусственного интеллекта и перспектив масштабирования больших языковых моделей. Эксперт подробно описывает эволюцию подходов к обучению ИИ, объясняет уникальный метод «конституционного ИИ» и анализирует грядущие финансовые и инфраструктурные вызовы отрасли. В центре дискуссии — баланс между технологическим прорывом и необходимостью жесткого контроля безопасности ИИ-систем.
🎓 От физики к искусственному интеллекту: карьерный путь Дарио Амодеи 1:09
Дарио Амодеи начинал свой академический путь в области физики, стремясь на базовом уровне понять устройство Вселенной. Искусственный интеллект в те годы казался ему исключительно областью научной фантастики. Однако ближе к концу обучения в бакалавриате Амодеи начал внимательно анализировать закон Мура и ознакомился с трудами футуролога Рэймонда Курцвейла. Это заставило его поверить, что технологии ИИ способны на подлинный прорыв.
Поскольку доминировавший в то время метод опорных векторов (SVM) не выглядел многообещающим для создания сильного интеллекта, Амодеи принял решение уйти в аспирантуру по нейробиологии. По его признанию, это была ближайшая к реальному интеллекту структура, которую можно было изучать экспериментально. На исходе аспирантуры Амодеи обратил внимание на первые успехи глубокого обучения — нейросеть AlexNet и проекты исследователя Куока Ле. Осознав, что технология наконец начинает работать, он последовательно сменил несколько ключевых ИИ-лабораторий:
- Присоединился к исследовательской группе Эндрю Эна в компании Baidu, где занимался системами распознавания речи.
- Перешел в команду Google Brain, где проработал один год.
- Стал одним из первых сотрудников лаборатории OpenAI, посвятив ей около пяти лет жизни перед тем, как основать Anthropic.
📈 Вера в законы масштабирования: от GPT-2 к GPT-3 2:31
Отрезвляющий опыт GPT-2 2:43
По мнению Дарио Амодеи, моментом истинного прозрения и обретения уверенности в законах масштабирования (scaling laws) стал выпуск модели GPT-2 в 2019 году. В то время в ИИ-сообществе сформировалось два противоположных взгляда на эту технологию. Скептики указывали на то, что команда OpenAI создала бота, который переводит тексты хуже карманного словаря.
Однако Дарио Амодеи и его единомышленники придерживались принципиально иной позиции. Их поразило то, что если модели предоставить всего пять примеров перевода с английского на французский, на шестом предложении она самостоятельно улавливала паттерн и начинала переводить. Как утверждает спикер, сам факт распознавания сложнейшего языкового контекста без явного программирования доказал: задача предсказания следующего слова невероятно богата, а потенциал ее масштабирования практически безграничен.
Прорывное программирование на Python в GPT-3 4:03
Разработка GPT-3 подтвердила эти ожидания, продемонстрировав резкий скачок возможностей за счет увеличения объема вычислений. Самым неожиданным открытием для команды Амодеи стала способность модели писать код на языке Python. В то время в индустрии доминировало мнение, что нейросети принципиально не способны к логическому мышлению (reasoning).
Дарио Амодеи вспоминает, что GPT-3 успешно справлялась с простыми задачами по программированию и находила решения в новых ситуациях, которых заведомо не было в репозиториях GitHub. Самым сильным сигналом послужил тот факт, что разработчики никак не калибровали и не отбирали код целенаправленно — данные на Python составляли ничтожную долю (от 0,1% до 1%) во всем массиве некурированной информации, скачанной из интернета. По словам гостя, это привело команду к очевидному выводу: если ничтожно малая доля хаотичных данных дает такой результат, то целенаправленное увеличение бюджетов, вычислительных мощностей и объемов качественного кода способно совершить революцию в логическом мышлении моделей.
💰 Миллиардные бюджеты и экономика ИИ будущего 5:59
Прогноз затрат на обучение до 2025 года 6:27
По оценке Дарио Амодеи, ключевыми факторами развития технологий ИИ на ближайшие 24–36 месяцев остаются три элемента:
- Объемы доступных данных.
- Вычислительные мощности (compute).
- Алгоритмические усовершенствования.
Спикер убежден, что законы масштабирования продолжат эффективно работать, даже если индустрия не создаст никаких новых алгоритмических улучшений, а просто увеличит масштабы существующих систем. Главным драйвером прогресса Амодеи называет приток беспрецедентных финансовых ресурсов. По его подсчетам, создание самых дорогих современных моделей обходится примерно в 100 миллионов долларов (плюс-минус в два раза).
Однако гость прогнозирует стремительный рост бюджетов уже в ближайшие годы. По мнению Амодеи, вскоре сразу несколько игроков представят модели стоимостью около 1 миллиарда долларов, а к 2025 году индустрия шагнет к системам за несколько миллиардов или даже 10 миллиардов долларов. Стократное увеличение финансовых вложений в инфраструктуру вкупе с ростом производительности чипов уровня NVIDIA H100 (благодаря переходу на вычисления более низкой точности) должно обеспечить колоссальный скачок в способностях ИИ.
Стоимость инференса и математика масштабирования 7:32
Несмотря на астрономические затраты на обучение, Дарио Амодеи полагает, что стоимость инференса (эксплуатации готовых моделей) не будет расти столь же пугающими темпами. Он объясняет это базовой математической логикой законов масштабирования: если вы увеличиваете объем вычислений для обучения модели в $N$ раз, то требования к объему данных и физическому размеру самой модели увеличиваются пропорционально лишь как $\sqrt{N}$.
Благодаря этому правилу квадратного корня, сама нейросеть не разрастается до неуправляемых размеров, а параллельно развивающееся аппаратное обеспечение становится быстрее. По прогнозам сооснователя Anthropic, существующие архитектуры останутся экономически жизнеспособными и пригодными для обслуживания клиентов в течение следующих 3–4 лет, а неизбежные архитектурные инновации сделают инференс еще дешевле.
🧠 Феномен физиков в ИИ и управление плотностью таланта 8:41
Почему универсалы побеждают экспертов 8:53
Примечательным фактом в истории Anthropic является то, что четыре из первых семи сооснователей компании имели за плечами академический бэкграунд в области физики, а не классического машинного обучения. Дарио Амодеи объясняет это своей концепцией разделения научных дисциплин на два типа:
- Зрелые области со столетней историей и огромным массивом накопленных знаний (например, биология). По мнению спикера, в биологии невозможно сделать фундаментальное открытие или претендовать на Нобелевскую премию, проработав в индустрии всего шесть месяцев.
- Молодые и сверхдинамичные сферы (такие как ИИ). В подобных индустриях правила игры постоянно меняются, из-за чего глубокие академические знания старых подходов могут стать скорее недостатком.
Как утверждает Амодеи, в быстрорастущих технологиях талантливые ученые-универсалы (generalists) без профильного опыта зачастую демонстрируют более высокие результаты, чем ветераны индустрии, за счет гибкости мышления и высокого уровня чистого интеллекта. Эта кадровая гипотеза Anthropic полностью подтвердилась внутренней корпоративной статистикой нанимаемых сотрудников.
Дилемма роста: Плотность против Массы 10:37
При преодолении стартапом отметки в 100 штатных сотрудников операционные процессы начинают усложняться. Философия Anthropic, по словам ее лидера, всегда базировалась на убеждении, что плотность таланта (talent density) неизменно побеждает его общую массу (talent mass). Тем не менее, коммерческое масштабирование бизнеса диктует свои условия.
Дарио Амодеи признает, что в отличие от чисто исследовательских подразделений, коммерческий департамент сталкивается с линейной необходимостью расширения штата: под каждого крупного клиента и под каждую востребованную рынком функцию требуется выделять отдельных инженеров и менеджеров. Удержание высочайшей планки требований к кадрам в условиях агрессивного роста бизнеса создает перманентное напряжение внутри руководства компании, однако до сих пор Anthropic удавалось успешно балансировать на этом стыке.
📜 Конституционный ИИ: новый подход к безопасности и ценностям 11:43
Отказ от классического человеческого фидбека (RLHF) 11:58
Долгое время доминирующим методом настройки поведения и ценностных ориентиров нейросетей оставалось обучение с подкреплением на основе отзывов людей (RLHF). Дарио Амодеи стоял у истоков этой технологии в OpenAI, где она впоследствии легла в основу безопасности ChatGPT. Метод RLHF строится на том, что люди-асессоры вручную оценивают ответы модели, указывая, какие из них предпочтительнее, а нейросеть постепенно учится подражать ожиданиям человека.
Anthropic предложила принципиально иную концепцию под названием «конституционный ИИ» (Constitutional AI), в которой процесс человеческой оценки заменяется автоматическим фидбеком от самой ИИ-системы. Технология работает по следующему алгоритму:
- Разработчики создают базовый документ — Конституцию (у Anthropic это пятистраничный текст, который регулярно дополняется).
- При обучении нейросети выдается задача (например, написать эссе или высказать мнение по спорному вопросу).
- Вторая копия этой же ИИ-системы берет сгенерированный ответ, сопоставляет его с текстом Конституции и выносит вердикт, нарушает ли ответ зафиксированные принципы.
- Модель циклически переобучается, используя этот внутренний компас в качестве главного ориентира.
Проблема навязывания ценностей и краудсорсинг 13:25
Подобный метод неизбежно сталкивается с критикой: критики резонно отмечают, что создатели ИИ-систем навязывают свои субъективные взгляды через текст Конституции. Дарио Амодеи подчеркивает, что при формировании первой версии они постарались сделать ее максимально нейтральной и «ванильной». В нее были включены формулировки из Всеобщей декларации прав человека ООН, базовые правила ведения цивилизованной дискуссии и коммерческие стандарты безопасности, заимствованные из условий обслуживания компании Apple (например, запрет контента, вредного для детей).
В будущем Anthropic планирует развивать эту технологию в двух направлениях:
- Дифференциация под задачи: Амодеи считает, что универсальной «моноконституции» существовать не должно. Поведение ИИ-психотерапевта должно кардинально отличаться от поведения ИИ-юриста, что требует создания специализированных кодексов.
- Демократический краудсорсинг: Компания исследует модели широкого общественного обсуждения, в рамках которых обычные люди из разных слоев общества смогут совместно проектировать и утверждать принципы ИИ-конституций.
🔒 Парадокс безопасности и концепция безопасного масштабирования 14:47
Почему безопасный ИИ невозможно создать без мощного ИИ 15:12
Позиция Anthropic часто кажется сторонним наблюдателям парадоксальной: компания активно развивает технологии и защищает законы масштабирования, но одновременно выступает главным публичным адвокатом осторожности и замедления темпов разработки. Дарио Амодеи объясняет этот парадокс эмпирическим наблюдением: как показывает практика, наиболее эффективные решения в области безопасности ИИ создаются с помощью самого ИИ.
По оценке гостя, деятельность обособленного сообщества теоретиков, пытающихся разрабатывать методы безопасности ИИ в отрыве от реального обучения больших моделей, оказалась малоэффективной. По мере роста мощности нейросети она начинает лучше справляться с любыми когнитивными задачами, включая аудит безопасности других ИИ-систем. Этот же рекурсивный принцип работает в сфере интерпретируемости (interpretability): исследовать внутреннюю структуру и связи между нейронами в слабых моделях инженерам помогают их более мощные и продвинутые версии.
Риски бюрократии и авторитарная угроза 16:49
В качестве регуляторной рамки Anthropic продвигает концепцию «безопасного масштабирования» или чекпоинтов (safe scaling / checkpointing). Ее суть заключается в чередовании шагов: разработчики продвигают модель на новый уровень возможностей, но перед тем как перейти к следующему этапу, обязаны пройти через условные «ворота безопасности» (gates), строго доказав отсутствие у системы опасных или неконтролируемых свойств.
При этом Дарио Амодеи признает наличие серьезного компромисса при внедрении подобных барьеров. По его мнению, регуляторам необходимо избегать бессмысленной бумажной бюрократии:
«Если разработчиков заставят заполнять тысячи страниц отчетов и получать по пятнадцать лицензий в разных ведомствах для создания одной ИИ-системы, это парализует западные инновации. В таком сценарии авторитарные государства и геополитические соперники мгновенно вырвутся вперед, чего мы не можем допустить».
В качестве позитивного примера Амодеи приводит регулирование безопасности в гражданской авиации и автомобильной промышленности. В этих отраслях государству удалось выстроить жесткие стандарты контроля, которые минимизируют человеческие жертвы, но при этом позволяют технологическому прогрессу двигаться дальше.
🚀 Сверхдлинный контекст Claude и новая эра работы с данными 18:09
Обсуждая практическое применение современных моделей (включая Claude 2), Дарио Амодеи рекомендует основателям стартапов переосмыслить подход к интеграции ИИ в бизнес-процессы. Одним из главных, но все еще недооцененных рынком преимуществ продуктов Anthropic спикер называет сверхдлинные контекстные окна (объемом в 100 тысяч токенов).
Большинство пользователей и разработчиков до сих пор мыслят в рамках старой парадигмы простого чат-бота, работающего по сценарию «короткий вопрос — короткий ответ». Однако внедрение длинного контекста в сочетании с продвинутыми технологиями поиска и извлечения информации (retrieval) кардинально меняет правила игры. Модели способны напрямую взаимодействовать с огромными массивами коммерческих данных. Дарио Амодеи приводит примеры сценариев, которые доступны бизнесу уже сегодня:
- Загрузка комплексных юридических контрактов с целью автоматического поиска пяти наиболее нестандартных или потенциально опасных пунктов.
- Скормление ИИ объемных финансовых отчетов корпораций для мгновенного анализа текущего положения дел компании и сопоставления этих данных со свежей аналитикой двухнедельной давности.
Такие операции по манипулированию знаниями и анализу неструктурированного текста, на которые у квалифицированного сотрудника уходят часы монотонного чтения, ИИ выполняет за секунды.
Отвечая на вопрос о перспективах появления «бесконечных» контекстных окон, Дарио Амодеи отмечает фундаментальное ограничение: по мере удлинения контекста на его обработку начинает уходить львиная доля всей вычислительной мощности. Рано или поздно инференс становится экономически нецелесообразным и чрезмерно дорогим. Тем не менее, Anthropic намерена продолжать планомерное расширение лимитов контекста и создание альтернативных интерфейсов для бесшовной работы ИИ с колоссальными объемами информации.
