В новом выпуске подкаста 20VC Гарри Стеббингс беседует с Джоэль Пино, директором по ИИ (CAIO) компании Cohere. Джоэль, за плечами которой шесть лет руководства фундаментальными исследованиями в Meta, делится уникальным взглядом на то, почему законы масштабирования ИИ остаются незыблемыми, как эффективно строить команды из «звезд» индустрии и почему страхи перед «восстанием машин» лишены научной строгости.
🧠 Путь от фундаментальной науки к корпоративным продуктам 1:08
Джоэль Пино перешла в Cohere после работы в Meta (с 2017 по 2024 год), где она наблюдала трансформацию ИИ из академической дисциплины в доминирующую технологическую силу . По её мнению, несмотря на кажущуюся «молниеносную» скорость индустрии, многим гипотезам требуются годы, чтобы созреть и получить необходимое количество вычислительных мощностей и данных .
Сегодняшний ажиотаж вокруг ИИ-агентов Джоэль воспринимает сдержанно. Она отмечает, что:
- Идеи обучения с подкреплением (RL), которые она изучает более 20 лет, только сейчас входят в мейнстрим благодаря моделям рассуждения (reasoning models) .
- Прогресс часто идет нелинейно: алгоритмические инновации, такие как архитектура Transformer или оптимизатор Adam, создают качественные скачки, которые невозможно предсказать простым накоплением ресурсов .
- Ожидание того, что RL «из коробки» даст нам общий искусственный интеллект (AGI), по мнению Пино, преждевременно из-за крайне низкой эффективности обучения .
📉 Проблема эффективности обучения с подкреплением (RL) 3:59
Гарри Стеббингс поднимает вопрос о том, почему RL считается «ужасным» и дорогим методом. Джоэль объясняет это фундаментальной природой последовательного принятия решений:
- Накопление ошибок: Каждое неверное действие в цепочке уводит модель всё дальше от правильного пути, что требует огромного количества попыток для нахождения верного решения .
- Необходимость действий: В отличие от обучения на статических текстах, RL требует активного взаимодействия с миром. Для этого нужны симуляторы или синтетическая среда, создание которых обходится очень дорого .
Пино подчеркивает, что RL отлично работает там, где есть четкая математическая функция вознаграждения (игры, математика), но пока пасует перед социальными взаимодействиями . По её словам, научить ИИ быть «социальным существом» так же сложно, как воспитывать ребенка: невозможно прописать все нюансы математически .
🚀 Законы масштабирования и алгоритмическая магия 11:52
Вопрос о том, достаточно ли просто «заливать задачи деньгами» и вычислительными мощностями, остается одним из самых спорных. По мнению Джоэль Пино, законы масштабирования (Scaling Laws) продемонстрировали невероятную устойчивость .
Ключевые факторы прогресса в её интерпретации:
- Вычисления и данные: Имеют более линейный эффект. Больше ГПУ и данных обычно дают предсказуемо лучший результат .
- Алгоритмы: Дают нелинейный скачок. Новая идея может годами лежать в открытом доступе, пока её не применят в правильном масштабе и с нужной комбинацией гиперпараметров .
- Сложность инноваций: Алгоритмы — это самая творческая и фрустрирующая часть работы, так как исследователь никогда не знает, сработает ли идея, пока не дойдет до конца пути .
🏢 ИИ в энтерпрайзе: 10-кратный рост вместо увольнений 13:52
В Cohere Джоэль сфокусирована на внедрении ИИ в бизнес-процессы. Она считает, что реальный сигнал о полезности технологии можно получить только при продаже её компаниям, а не через академические бенчмарки .
Прогнозы Пино относительно рынка труда:
- Рост продуктивности: Она не верит в массовую замену 5% «худших» сотрудников. Вместо этого Джоэль прогнозирует, что большинство работников смогут выполнять в 10 раз больше задач с помощью ИИ .
- Реальные примеры: В переводе текстов или создании видео голливудского качества эффективность уже выросла с недель до секунд .
- Роль человека: Люди остаются критически важными для формулирования задач, проверки фактов и внесения дизайнерских правок. «Намерение» (intent) и «критика» — функции, которые ИИ пока не может забрать себе .
Одной из главных преград для бизнеса Пино называет интеграцию с существующими десятилетиями информационными системами и вопросы безопасности данных . Именно поэтому Cohere делает ставку на установку моделей на собственных серверах клиентов (on-premise) .
🛡️ Безопасность и угрозы: от галлюцинаций к «самозванству» 22:02
С переходом к ИИ-агентам ландшафт угроз меняется. Если для чат-ботов главной проблемой были галлюцинации, то для агентов основной риск — это «имперсонация» (impersonation) .
Джоэль предупреждает: агенты могут выдавать себя за сущности, которыми они не являются, чтобы проникать в банковские системы или совершать действия от лица компаний. По её мнению, это станет игрой в «кошки-мышки», требующей постоянной бдительности и разработки новых стандартов безопасности .
Пино выразила умеренный оптимизм относительно роли государства:
- Правительства хорошо справляются с установкой долгосрочных стандартов (как в авиации) .
- Однако регуляция не должна опережать технологию; сначала нужно дать пространство для творчества и извлечь уроки из реального использования .
🤝 Команда мечты: стоит ли нанимать «Галактикос»? 28:30
На вопрос Гарри о том, нужно ли тратить миллиарды на покупку «суперзвезд» (как это делают Microsoft или Google), Джоэль отвечает отрицательно. Она считает, что для успеха важен баланс талантов, а не просто ростер знаменитостей .
Идеальный состав ИИ-команды по версии Пино:
- Визионеры (1-3 человека): Задают вектор и понимают, что можно создать в пространстве бесконечных инноваций .
- Машины исполнения: Технические специалисты с жесткой дисциплиной, которым не важно, чья это идея — они просто строят и тестируют систему .
- «Социальный клей»: Люди, которые поддерживают командную динамику и понимают потребности коллег .
Джоэль убеждена: баланс между талантом и вычислительными мощностями критичен. Если нанять слишком много гениев, но не дать им ГПУ, их время будет потрачено впустую .
🧪 Синтетические данные и риск «генетического вырождения» 33:07
Поскольку простые данные (маркировка кошек и собак) уже освоены, индустрия переходит к специализированным задачам. Это делает данные дороже, так как для их подготовки нужны эксперты .
Джоэль Пино описывает проблему «коллапса распределения» при использовании синтетических данных:
- Если модели учатся только на данных друг друга без притока нового разнообразия, они начинают «вырождаться», подобно популяции на изолированном острове .
- В закрытых мирах (шахматы, го) это не проблема, так как правила стабильны .
- В программировании (кодинге) можно избежать деградации, если грамотно «инъектировать» разнообразие, смешивая репозитории и трансформируя их .
Пино предсказывает, что через 10 лет качество генерируемого кода станет безупречным, как это произошло с изображениями с 2015 года . Роль программиста трансформируется в роль «главного куратора», который выбирает лучшее из огромного объема сгенерированных вариантов .
🚫 Почему «экзистенциальный риск» — плохой термин 44:59
Джоэль Пино признается, что как ученый не обладает терпением к экстремальным сценариям в духе «ИИ станет нашим повелителем» . Она считает такие обсуждения лишенными научной строгости и напоминающими научную фантастику .
Главные тезисы Пино о будущем и обществе:
- Экзистенциальный риск: Джоэль бы запретила этот термин, так как он парализует людей страхом, а страх — плохой помощник в принятии решений .
- Дети и технологии: Пино ограничивает экранное время своих детей (телефоны только после 14-15 лет) и обсуждает с ними настройки приватности в соцсетях .
- Открытость: Она считает закрытие систем и ограничение доступа к идеям глубокой ошибкой, которая мешает инновациям .
В финале беседы Джоэль подчеркивает, что больше всего её вдохновляет потенциал ИИ в научных открытиях и медицине, а также создание максимально эффективных моделей, способных работать всего на паре ГПУ, а не на огромных кластерах .
