В новом выпуске подкаста 20VC Гарри Стеббингс обсуждает с профессором Принстона Арвиндом Нараянаном текущее состояние индустрии искусственного интеллекта. В центре дискуссии — конец эпохи «масштабирования любой ценой», дефицит качественных данных и переход от создания мифического AGI к разработке реальных продуктов.
📉 Мифы масштабирования: почему больше не значит лучше 4:21
Традиционно считалось, что увеличение объема вычислений (compute) напрямую ведет к росту производительности моделей. Арвинд Нараянан утверждает, что этот подход близок к исчерпанию своего потенциала . По его мнению, качественный скачок между GPT-3.5 и GPT-4 был обусловлен десятикратным увеличением параметров, но ожидать аналогичного рывка от GPT-5 не стоит .
Основным препятствием становится «информационный голод»:
- Дефицит данных: Компании уже обучили модели практически на всех доступных массивах текстов из интернета .
- Иллюзия YouTube: Гарри Стеббингс замечает, что в распоряжении разработчиков есть миллиарды часов видео, но Нараянан парирует: если извлечь из видео текст, объем токенов окажется на порядок меньше, чем в уже использованных наборах данных .
- Предел эмерджентности: Исследователь считает, что эффект внезапного появления новых навыков (как это было с изучением языков в ранних GPT) практически исчерпан .
Профессор выражает глубокий скептицизм в отношении синтетических данных . Он называет попытки обучать модели на данных, созданных другими моделями, «змеёй, кусающей себя за хвост» . По мнению Нараянана, качество данных сегодня критически важнее их количества.
🔋 Экономика ИИ: парадокс Джевонса и маленькие модели 12:08
Вопреки ожиданиям, индустрия ИИ движется не в сторону гигантских монолитов, а в сторону оптимизации. Арвинд Нараянан выделяет тренд на уменьшение моделей при сохранении их способностей . Это продиктовано не только стоимостью инфраструктуры, но и требованиями приватности: локальные модели на смартфонах позволяют обрабатывать данные пользователя, не отправляя их в облако .
Однако удешевление вычислений не обязательно приведет к снижению общих затрат компаний. Нараянан приводит в пример парадокс Джевонса :
- В XVIII веке удешевление добычи угля привело не к экономии, а к взрывному росту его потребления.
- В случае с ИИ, как полагает гость, дешевизна моделей заставит бизнес использовать их повсеместно — для фонового сканирования всей почты или миллионов попыток генерации кода, что в итоге только увеличит счета за инференс (исполнение моделей) .
Арвинд Нараянан также разделяет затраты на обучение и инференс . Чтобы создать маленькую эффективную модель, её нужно обучать дольше и дороже, но в долгосрочной перспективе, при миллиардах пользователей, экономия на эксплуатации перекрывает эти вложения .
🏔️ Призрачный AGI и ошибки CEO 20:00
Нараянан критикует руководителей крупнейших ИИ-лабораторий за их прогнозы о скором достижении сильного ИИ (AGI). Он определяет AGI прагматично: как систему, способную автоматизировать большинство экономически значимых задач .
Исследователь сравнивает путь к AGI с восхождением на гору: с каждой новой высоты кажется, что до вершины один шаг, но затем открывается новый слой сложности . Он утверждает, что разработчики ИИ допустили стратегическую ошибку в последние два года:
- Они решили, что ИИ настолько особенный, что обычные правила бизнеса (поиск Product-Market Fit) к нему не применимы .
- OpenAI выпустила ChatGPT без мобильного приложения, полагая, что это лишь демонстрация технологии, а не продукт .
- Компании были так ослеплены идеей AGI, что игнорировали базовые потребности пользователей .
Нараянан отмечает намечающийся раскол: OpenAI всё больше уходит в создание продуктов, в то время как Anthropic концентрируется на исследованиях супер-интеллекта .
🛡️ Безопасность и «Дивиденд лжеца» 29:10
Обсуждая риски, Нараянан призывает различать реальные угрозы и медийный шум. Он считает, что опасность дезинформации, созданной ИИ, преувеличена . Проблема не в том, что ИИ создает фейки (это можно сделать и в Photoshop), а в том, как социальные сети их распространяют .
Ключевой риск исследователь видит в «дивиденде лжеца» (liar's dividend): ситуации, когда из-за обилия подделок люди перестают верить даже правдивым новостям . Это ведет к тому, что ценность крупных брендов с проверенной репутацией (например, New York Times) будет только расти .
Среди других насущных проблем профессор выделяет:
- Дипфейк-порно: Реальная угроза, разрушающая жизни, которой политики уделили внимание только после инцидента с Тейлор Свифт .
- Кризис образования: Необходимость пересматривать методы оценки знаний, так как отличить эссе, написанное ИИ, от человеческого становится невозможно .
В вопросах кибербезопасности и обороны Нараянан выступает против закрытия исходного кода моделей . Он утверждает, что «плохие парни» всё равно получат доступ к ИИ, поэтому единственный путь — использовать ИИ для защиты инфраструктуры и поиска уязвимостей быстрее, чем это сделают хакеры .
🎓 Влияние на социальные институты: медицина и школа 36:00
Гарри Стеббингс выражает скепсис по поводу «терапевта в кармане», указывая на то, что врач должен физически осматривать пациента . Нараянан соглашается, называя идеи о замене врачей чат-ботами «технологическим пластырем» для систем здравоохранения с длинными очередями . Он считает, что ИИ должен быть интегрирован в существующую систему (например, для анализа снимков или суммаризации записей), а не пытаться заменить её .
В образовании Нараянан делит учеников на две группы:
- Самомотивированные одиночки: Те, кто (как и сам Арвинд в детстве в Индии) способны учиться самостоятельно . Для них ИИ — невероятный инструмент.
- Большинство: Ученики, для которых социальный аспект обучения и личные отношения с учителем являются критическими . Для этой группы ИИ-тьюторы вряд ли станут полноценной заменой человеку.
Завершая беседу, Арвинд Нараянан признает, что 18 месяцев назад сам был обманут скоростью прогресса между GPT-3.5 и GPT-4 . Сегодня он видит замедление качественного роста и считает, что для дальнейшего движения вперед индустрии нужны принципиально новые научные идеи, а не просто больше графических процессоров (GPU) .
