Новости машинного обучения: от прорывов Groq до скандалов Air Canada 🚀 0:00
Последние две недели в сфере искусственного интеллекта прошли под знаком интенсивного развития аппаратного обеспечения, споров об этике генерации изображений и законодательных инициатив. Ведущий Янник Килчер (Yannic Kilcher) в своем аналитическом обзоре рассматривает ключевые события: релиз компактных моделей Gemma от Google, феноменальную скорость работы чипов Groq, успехи модели Sora от OpenAI и прецедентное решение суда по делу Air Canada.
🤖 Модели и архитектуры: Gemma, Sora и Gemini 0:12
Google представила семейство открытых моделей Gemma — это 2-миллиардные и 7-миллиардные модели, которые, по мнению Килчера, превосходят аналогичные модели Llama 2. Хотя Google позиционирует их как «открытые», Килчер считает это маркетинговым ходом: контекстное окно составляет всего 8 000 токенов, а архитектура во многом схожа с моделями Llama.
Тем временем Sora от OpenAI продолжает удерживать внимание общественности:
- Модель генерирует видеоролики продолжительностью до одной минуты.
- Демонстрации возможностей включают изменение стиля (анимация, угольный рисунок) и окружающей среды при сохранении общей динамики.
- По наблюдению Килчера, процесс генерации является итеративным, а качество существенно растет при увеличении вычислительных мощностей, хотя конкретные параметры этих «базовых» мощностей OpenAI скрывает.
Gemini 1.5 Pro привлекает пользователей своим огромным контекстным окном в 1 миллион токенов. Пользователи уже загружают в модель целые кодовые базы и даже 44-минутные видео, используя визуальные токены для анализа. Килчер отмечает появление сопутствующей научной работы «World model on million length video and language with ring attention», предлагающей метод приближенного внимания, что является перспективным направлением для масштабирования.
⚡️ Железо: скорость Groq и масштаб Nvidia 3:42
Компания Groq привлекла внимание индустрии своими специализированными процессорами — LPU (Language Processing Unit).
- Производительность: Скорость генерации для модели Mixtral 8x7B достигает 532 токенов в секунду.
- Технический компромисс: Каждая карта обладает малым объемом памяти (около 200 МБ SRAM), поэтому для работы одной крупной модели, такой как Llama 70B, требуются сотни таких карт, что оценивается примерно в $10 млн за серверную стойку.
В противовес этому Nvidia представила суперкомпьютер, состоящий из 576 систем DGX H100, что в сумме дает 4 608 GPU H100. Эта система достигает производительности 18,4 эксафлопс и занимает девятое место в списке 500 мощнейших суперкомпьютеров мира.
Также на рынке наблюдается рост сервисов аренды мощностей, таких как GPU list, который Килчер сравнивает с Craigslist для GPU, отмечая при этом сопутствующие риски безопасности при работе на «чужом железе».
⚖️ Правовое поле: Air Canada и регулирование AI 18:39
Ключевым юридическим прецедентом стало решение суда по иску жителя Британской Колумбии к Air Canada. Чат-бот авиакомпании предоставил клиенту ложную информацию о правилах возврата билетов в связи с трауром, и суд обязал авиакомпанию выполнить обещания бота.
- Позиция Air Canada: Компания пыталась доказать, что чат-бот является отдельной юридической сущностью, ответственной за свои действия.
- Реакция Килчера: Он называет эту аргументацию абсурдной, подчеркивая, что компания, внедрившая программный продукт на свой сайт, несет полную ответственность за его поведение, независимо от того, использует ли она нейросеть или обычный код.
Что касается EU AI Act (закона ЕС об ИИ), Килчер скептически относится к установленным порогам регулирования, в частности к ограничению в $10^{25}$ флопс. По его мнению, это произвольная цифра, а подобные законы скорее затруднят вход на рынок для новичков, способствуя монополизации крупными игроками.
💡 Исследования и тренды 23:30
- Giant Rat Balls: В рецензируемом научном журнале была опубликована статья с нелепыми иллюстрациями, сгенерированными Midjourney. Килчер указывает, что редакторы не проконтролировали выполнение требований рецензентов о правке изображений.
- OS Co-pilot: Исследование по внедрению агентов, способных взаимодействовать с интерфейсом операционной системы. Килчер считает такой подход — выполнение задач через визуальное управление — более перспективным, чем голосовые команды.
- Медицина: Новая система на базе ML помогает прогнозировать взаимодействие лекарственных препаратов при всасывании в кишечнике, сочетая машинное обучение с экспертными моделями биологических процессов.
