Арвинд Нараянан: «ИИ-компании ошиблись, ожидая, что правила рынка на них не действуют»

20VC (Harry Stebbings) 19,2 тыс. 50 мин 5 мин 28.08.2024
Главное

В новом выпуске подкаста 20VC Гарри Стеббингс беседует с профессором Принстонского университета Арвиндом Нараянаном о текущем кризисе ожиданий в индустрии искусственного интеллекта. Исследователь объясняет, почему эпоха «слепого масштабирования» подходит к концу, в какие ловушки попали лидеры рынка и почему будущее за компактными моделями и узкоспециализированными продуктами, а не за мифическим «Богом из машины».

📉 ИИ против Криптовалют: Уроки разочарования 1:16

Арвинд Нараянан провел годы, изучая блокчейн и децентрализацию, надеясь, что эти технологии реформируют общественные институты, включая науку и банковское дело . Однако к 2018 году исследователь разочаровался в криптоиндустрии. Его основные претензии заключались в следующем:

Сравнивая текущий ажиотаж вокруг ИИ с криптобумом, гость отмечает существенное различие: несмотря на риски, ИИ уже приносит чистую пользу обществу (net positive), чего нельзя сказать о биткоине . Тем не менее, по мнению Арвинда Нараянана, ИИ-компании совершили критическую ошибку в последние два года. Они поверили, что их продукт настолько уникален, что обычные правила бизнеса — поиск Product-Market Fit и создание удобных интерфейсов — к ним не относятся . Разработчики ожидали, что пользователи сами придумают, что делать с моделями, вместо того чтобы создавать готовые решения .

🧱 Тупик масштабирования и дефицит данных 3:54

Главный вопрос индустрии сегодня: ведет ли простое увеличение вычислительных мощностей (compute) к росту производительности? Кевин Скотт из Microsoft утверждает, что потенциал роста огромен, но Арвинд Нараянан настроен скептически .

Основные тезисы Арвинда о «потолке» развития:

  1. Замедление прогресса: Разрыв между GPT-3.5 и GPT-4 был огромным благодаря увеличению параметров и данных, но Арвинд сомневается, что GPT-5 совершит аналогичный рывок .
  2. Информационный голод: Модели уже обучены практически на всех доступных человечеству качественных данных .
  3. Иллюзия YouTube: Гарри Стеббингс предположил, что 150 миллиардов часов видео на YouTube — это огромный резерв . Арвинд возражает: если извлечь из видео текст (токены), объем окажется на порядок меньше, чем уже использованные наборы данных .
  4. Проблема синтетических данных: Идея обучать модели на данных, созданных другими моделями, кажется Арвинду «змеей, кусающей себя за хвост» . В ИИ качество данных критически важнее их количества. Синтетика может помочь в специфических задачах (математика, редкие языки), но не создаст новых фундаментальных возможностей .

📱 Тренд на малые модели и «Парадокс Джевонса» 12:08

По мнению Арвинда Нараянана, внедрение ИИ сегодня тормозится не отсутствием способностей у моделей, а их стоимостью и сложностью интеграции . Это порождает тренд на уменьшение моделей.

Преимущества маленьких моделей:

Однако здесь вступает в силу парадокс Джевонса: когда ресурс (вычисления) становится дешевле и эффективнее, его суммарное потребление растет, а не падает . По прогнозу гостя, компании будут тратить сэкономленные деньги на то, чтобы заставлять модель переделывать одну и ту же задачу миллионы раз для выбора идеального результата (например, при написании кода), что в итоге только увеличит спрос на чипы .

🧠 Мифы об AGI и «галлюцинации» CEO 18:12

Арвинд Нараянан считает современные бенчмарки (тесты производительности) «минным полем» . Разработчики намеренно или случайно оптимизируют модели под тесты, что создает иллюзию прогресса. Когда OpenAI заявляла, что GPT-4 сдала экзамен на адвоката, это не значило, что модель может работать юристом, так как работа юриста не состоит из ответов на тесты .

Относительно прогнозов Сэма Альтмана и Илона Маска о скором достижении AGI (общего искусственного интеллекта), Арвинд приводит историческую аналогию:

Арвинд отмечает раскол в индустрии: OpenAI все больше уходит в сторону коммерческих продуктов, в то время как Anthropic переманивает таланты, сфокусированные на долгосрочных исследованиях супер-интеллекта .

⚖️ Регулирование: глубокие фейки и «дивиденд лжеца» 27:11

Арвинд Нараянан утверждает, что термин «регулирование ИИ» часто вводит в заблуждение. На самом деле нужно регулировать вредную деятельность, а не саму технологию . Например, FTC в США запретила фальшивые отзывы — и неважно, написаны они человеком или ИИ .

Ключевые угрозы и мнения по безопасности:

🏥 Медицина, образование и рабочие места 36:10

Гость и ведущий сошлись в скептическом отношении к идее «терапевта в кармане» . Гарри Стеббингс справедливо замечает, что ИИ не может физически осмотреть пациента или заглянуть ему в нос . По мнению Арвинда, ИИ в медицине — это лишь «технологический пластырь» для стран с плохим доступом к врачам. В развитых системах он должен помогать врачам (анализ снимков, резюме записей), а не заменять их .

Аналогично в образовании: социальный аспект обучения (желание впечатлить учителя, личный контакт) критически важен для большинства студентов. Арвинд, который сам является самоучкой, признает, что для таких как он ИИ — невероятный инструмент, но для основной массы учеников он не заменит человеческого наставника .

В вопросе замещения рабочих мест Арвинд сохраняет оптимизм. Он приводит пример банковских кассиров: после появления банкоматов (ATM) количество кассиров в США выросло, так как открытие филиалов стало дешевле, а люди переключились на более сложные задачи, которые автомат выполнить не мог . ИИ автоматизирует задачи, а не профессии целиком .

🛡️ Оборона и будущее открытых моделей 41:50

Алекс Ванг из Scale AI ранее утверждал, что ИИ — это оружие мощнее ядерного. Арвинд Нараянан считает это «категориальной ошибкой» . Ядерная бомба — это конкретный объект, а ИИ — это технология двойного назначения, которая уже работает на личных устройствах.

Арвинд выступает за открытость моделей по двум причинам:

  1. Невозможность запрета: Если одна страна закроет модели, другие — нет. «Плохие парни» все равно получат доступ .
  2. Защита через нападение: Сообщество должно использовать ИИ для обнаружения и исправления уязвимостей быстрее, чем их найдут злоумышленники. В кибербезопасности автоматизация уже 20 лет помогает защитникам .

В завершение Арвинд Нараянан признается, что год назад он был более оптимистичен в отношении скорости прогресса, будучи обманутым быстрым выходом GPT-4 . Сейчас он понимает, что для следующего шага нужны не новые дата-центры, а фундаментальные научные идеи .

💬 Цитаты

«Каждая экспонента — это замаскированная сигмоида. В какой-то момент рост неизбежно должен замедлиться.»

Арвинд Нараянан 17:32

«ИИ автоматизирует задачи, а не профессии. Профессия — это набор из десятков задач, и ИИ вряд ли заберет их все сразу.»

Арвинд Нараянан 41:24

«Если ваша стратегия безопасности ИИ строится на том, чтобы 'плохие парни' не получили доступ к моделям — вы уже проиграли.»

Арвинд Нараянан 43:11
👥 Спикеры
🎬 Упомянутые фильмы и сериалы
🔗 Упомянутые сайты и проекты
📖 Термины
Парадокс Джевонса
Экономический эффект, при котором повышение эффективности использования ресурса ведет к росту спроса на него.
Дивиденд лжеца
Ситуация, когда существование дипфейков позволяет людям отрицать подлинность реальных компрометирующих материалов.
Инференс
Процесс работы уже обученной нейросети при ответе на конкретный запрос пользователя.
📊 Цифры
🗓 Хронология
  1. 2018 Арвинд Нараянан разочаровывается в криптоиндустрии как инструменте социальных реформ.
  2. Ноябрь 2022 Релиз ChatGPT, вызвавший шок в индустрии и начало текущего хайп-цикла.
  3. Март 2023 Релиз GPT-4 через очень короткий промежуток после GPT-3.5.
⚖️ Другая сторона
Искусственный интеллект Арвинд Нараянан OpenAI GPT-4 Scaling Laws Jevons Paradox