# OpenAI против Google и Meta: эпоха API, утечек LLaMA и чтения мыслей Источник: https://www.youtube.com/watch?v=yR4hNBNS6yc Канал: Yannic Kilcher Опубликовано: 11.03.2023 --- В новом выпуске ML News Янник Килчер (Yannic Kilcher) анализирует агрессивную коммерциализацию OpenAI, утечку весов модели LLaMA от Meta и прорывные японские исследования в области реконструкции визуальных образов из человеческого мозга. Завершает выпуск эксклюзивное интервью с Брайаном Катанзаро, вице-президентом NVIDIA, о стратегии компании в эпоху господства трансформеров. ## 💰 Коммерческий поворот OpenAI: API для ChatGPT и Whisper [[JUMP:01:49]] OpenAI переходит от стадии исследовательских превью к полноценному предоставлению ИИ-услуг для бизнеса. Главной новостью стало открытие API для ChatGPT и модели распознавания речи Whisper [01:54]. Ключевые параметры нового API: * **Цена:** Модель `gpt-3.5-turbo` стоит в 10 раз дешевле, чем существующие модели DaVinci (всего 10% от их стоимости) [02:24]. * **Эффективность:** Низкая цена может свидетельствовать либо о меньшем размере модели, либо о значительной оптимизации инфраструктуры [02:16]. * **Простота:** Сторонние разработчики демонстрируют, что создание полноценного чат-бота на Python теперь занимает всего 16 строк кода [03:51]. Янник Килчер отмечает, что OpenAI радикально меняет политику конфиденциальности: теперь данные, передаваемые через API, не используются для обучения моделей по умолчанию, а срок хранения данных ограничен 30 днями [04:54]. Также запущена платформа **OpenAI Foundry**, предлагающая выделенные вычислительные мощности для крупных корпораций. По слухам, годовой контракт на использование модели DaVinci с контекстным окном в 32 000 токенов может стоить около $1,5 млн [05:49]. ## 🤝 Альянс с консалтингом и критика «закрытости» [[JUMP:06:12]] OpenAI объявила о стратегическом партнерстве с консалтинговым гигантом **Bain & Company**. Первым крупным клиентом в рамках этого сотрудничества стала Coca-Cola, которая планирует использовать ChatGPT и DALL-E для создания гиперперсонализированной рекламы и улучшения потребительского опыта [06:27]. Янник Килчер критикует недавний манифест OpenAI «Planning for AGI and beyond», называя его «оправдательным документом» [07:24]. По мнению ведущего, компания полностью отошла от своих истоков: 1. **Отказ от некоммерческой модели:** Объясняется невозможностью привлечь достаточно средств для масштабирования [07:51]. 2. **Смена курса на закрытость:** OpenAI больше не публикует детали архитектуры, обучающих данных и механизмов фильтрации контента, мотивируя это требованиями безопасности [08:18]. 3. **Мнение Янника:** Ведущий считает «удобным» оправдывать сокрытие технологий и максимизацию прибыли заботой о безопасности перед лицом AGI, хотя признает, что в Кремниевой долине многие могут искренне верить в близость сверхразума [09:36]. ## 🧬 Чтение мыслей и «умственные» способности моделей [[JUMP:15:46]] Исследователи из Японии представили на конференции CVPR работу, которая буквально позволяет «читать мысли» [15:58]. С помощью фМРТ-сканирования мозга человека, смотрящего на изображение, система реконструирует этот образ. Технические детали эксперимента: * Используется модель **Stable Diffusion** [16:37]. * Исследователи не обучали нейросеть с нуля, а создали «маппинг» (отображение) сигналов мозга в латентное пространство (latent space) готовой модели [16:49]. * Результаты демонстрируют поразительное семантическое сходство: если человек видит башню с часами, ИИ реконструирует именно башню с часами, хотя визуальные детали могут отличаться [16:10]. Янник Килчер делает из этого философский вывод: успех подобных интерфейсов доказывает, что современные ИИ-модели по структуре представления информации могут быть не так уж далеки от биологического мозга [18:09]. По мнению автора, люди склонны переоценивать свою уникальность, в то время как человеческое мышление также может быть формой статистической интерполяции накопленного опыта [18:35]. ## 🦙 Утечка LLaMA и неудачи робототехники Alphabet [[JUMP:13:31]] В индустрии произошел курьезный случай: веса новой модели **LLaMA** от Meta, которые должны были выдаваться только исследователям по запросу, были опубликованы в виде торрент-ссылки прямо в Pull Request на GitHub [13:56]. Сообщество встретило это с юмором, массово «одобряя» изменения в коде, содержащем нелегальную ссылку. Янник предупреждает, что скачивание весов из сторонних источников опасно из-за возможности встраивания исполняемого вредоносного кода в файлы моделей [14:24]. В то же время в аппаратном секторе наблюдаются трудности: * **Everyday Robots**, проект внутри Alphabet (Google), закрывается как самостоятельное подразделение [20:20]. * Роботы, предназначенные для сортировки мусора и уборки столов, оказались слишком сложными и дорогостоящими в поддержке для текущих рыночных условий [20:47]. * Часть команды и технологий будет поглощена подразделением Google Research [21:00]. ## 🎙️ Интервью с Брайаном Катанзаро (NVIDIA) [[JUMP:26:02]] Янник Килчер побеседовал с Брайаном Катанзаро, определяющим вектор развития аппаратного обеспечения NVIDIA. ### Зачем производителю чипов свои исследования? Брайан утверждает, что NVIDIA — это не просто компания по производству видеокарт, а компания «ускоренных вычислений» [26:45]. Исследования необходимы для понимания того, какие алгоритмы будут доминировать через 5–10 лет, чтобы заранее адаптировать под них архитектуру процессоров, компиляторов и сетевого оборудования. Катанзаро вспоминает, что в 2008 году он был единственным человеком в NVIDIA, занимавшимся ИИ [28:30]. ### Будущее трансформеров и AGI По словам Катанзаро, трансформеры — это «невероятная удача» для индустрии [34:20]. Он считает, что в ближайшие 5 лет они останутся доминирующей архитектурой, но станут гораздо сложнее: * Появятся гибридные системы, использующие внешние инструменты (поиск в вебе, исполнение кода) [36:18]. * ИИ станет мультимодальным и иерархическим, предсказывая события на разных временных шкалах [19:41]. Относительно страхов перед ИИ (AGI) Брайан придерживается умеренной позиции: интеллект многогранен, и появление машин, превосходящих человека в тестах, не лишает человеческую жизнь смысла [39:51]. Он сравнивает ИИ-революцию с промышленной: как сельское хозяйство стало автоматизированным, позволив людям заняться наукой и искусством, так и ИИ автоматизирует интеллектуальный труд, делая цивилизацию продуктивнее [42:34].