Последние новости ИИ: французский Cedille, поиск YOU и поиск «мемных» токенов 1:44
В очередном выпуске ML News Янник Килчер (Yannic Kilcher) рассказал о ключевых событиях в мире искусственного интеллекта. В фокусе внимания оказались новые языковые модели, инновации в поиске, развитие доступности веб-контента для людей с нарушениями зрения и эксперименты с автоматизацией инвестиций в криптовалюты.
🇫🇷 Языковая модель Cedille: французский язык в центре внимания 1:57
Исследователи из Швейцарии представили Cedille — языковую модель на базе GPT-J с 6 миллиардами параметров, специализированную для работы с французским языком.
- Функциональность: Модель выполняет задачи, аналогичные GPT-3, но с лучшей перплексией на французских текстах, меньшей токсичностью и качественным переводом.
- Название: Имя модели отсылает к символу «cedille» (ç), который часто вызывает трудности при наборе на французской клавиатуре, что, по ироничному замечанию Янника Килчера, делает его отличным именем для модели.
- Доступность: Проект имеет открытый исходный код, а также предоставляет веб-интерфейс для тестирования модели прямо в браузере.
В дополнение к этому, Facebook AI анонсировала первую мультиязычную модель, победившую в соревновании WMT, обойдя специализированные двуязычные системы. Как отмечает ведущий, успех модели объясняется её способностью обучаться на данных из множества языков, что позволяет качественнее обрабатывать переводы даже для языков с низкими ресурсами.
🔍 YOU Search Engine: вызов Google или работа над ошибками? 5:44
Новая поисковая система YOU, запущенная Ричардом Сокером (бывшим главой отдела ИИ в Salesforce), позиционируется как конкурент Google с акцентом на приватность и «обобщение» результатов веб-поиска.
- Приватность: Сервис обещает не продавать данные пользователей и не использовать таргетированную рекламу. Однако Янник Килчер выразил скепсис относительно этих заявлений, указывая на то, что компания сразу предлагает установить расширение для браузера.
- Обобщение контента: Одной из главных функций заявлено «обобщение веба» для пользователя. По мнению ведущего, на практике поисковик просто группирует результаты по категориям (новости, reddit, wikipedia) и предлагает сторонние приложения, которые разработчики могут интегрировать в поиск.
- Инструменты для программистов: Система показывает хорошие результаты при поиске кода, предоставляя фрагменты из Stack Overflow и W3Schools в виде удобных карточек, а также предлагает автодополнение кода.
🎨 Визуальные нейросети DeepMind 10:32
DeepMind выпустила с открытым кодом Arnheim — систему, использующую «визуальную грамматику» для генерации картин.
- Принцип работы: Вместо использования стандартных GAN или диффузионных моделей, система опирается на композицию визуальных примитивов (например, мазков кисти), которые оптимизируются для достижения соответствия текстовому описанию через модель CLIP.
- Творческие эксперименты: Ведущий упомянул проект, где для создания изображений вместо кистей использовались цифры из набора данных MNIST.
⚖️ ИИ и доступность: скандал вокруг автоматизированных решений 12:07
Обсуждалась статья о компании, на которую подали в суд из-за несоответствия сайта стандартам доступности (W3C) для людей с ограниченными возможностями. Компания пыталась использовать ИИ-инструмент для автоматической адаптации сайта, что привело к юридическим последствиям.
- Суть проблемы: Карл Гровс (Carl Groves), основатель компании Tenant.io, провел глубокий анализ таких ИИ-инструментов, обнаружив тысячи нарушений стандартов доступности.
- Мнение ведущего: Янник Килчер считает проблему сложной. Хотя ИИ-инструменты действительно могут работать хуже, чем экспертная ручная настройка, по его мнению, использование «хотя бы какого-то» автоматизированного решения лучше, чем отсутствие адаптации вовсе. Он также критически отозвался о методах самого Гровса, посчитав их предвзятыми.
📈 Новости бизнеса и инфраструктуры 18:08
- Alibaba M6: Академия DAMO представила модель M6 с триллионами параметров, используя архитектуру Mixture of Experts (MoE) для повышения эффективности обучения. Ведущий предостерёг от слепой веры в сравнения параметра с нейронами человеческого мозга, назвав это маркетинговым преувеличением.
- Landing AI: Компания Эндрю Ына (Andrew Ng) привлекла $57 млн для развития инструментов «data-centric AI», направленных на улучшение качества данных в производстве.
- Cerebras: Стартап привлек $250 млн при оценке в $4 млрд, продолжая разработку специализированных огромных чипов для ИИ-вычислений, создавая конкуренцию NVIDIA и AMD.
- AMD Instinct MI200: AMD представила новое семейство ускорителей, оптимизированных для работы с ЦП и ГП в рамках единой архитектуры памяти.
