# Эйдан Гомес о будущем ИИ: «Мы стоим на пороге трансформации продуктов» Источник: https://www.youtube.com/watch?v=-xobW4jh66U Канал: Eye on AI Опубликовано: 24.05.2023 --- ## Архитектор будущего: Эйдан Гомес о том, как нейросети меняют наш мир [[JUMP:0:00]] Искусственный интеллект прошел путь от простых алгоритмов до технологий, способных понимать человеческий язык на уровне, который многие эксперты еще десятилетие назад считали недостижимым. В этом выпуске подкаста Eye on AI ведущий Крейг обсуждает эволюцию генеративного ИИ и будущее корпоративных технологий с Эйданом Гомесом — сооснователем компании Cohere и одним из ключевых разработчиков архитектуры Transformer, лежащей в основе современных языковых моделей. ### 🏗 Рождение Transformer: от «Maple Forest» до Google Brain [[JUMP:2:18]] Эйдан Гомес, выросший в сельской части канадского Онтарио, прошел путь от стажера Google Brain до создателя технологии, изменившей индустрию. В годы учебы в Университете Торонто он начал глубоко изучать глубокое обучение, буквально засыпая с научными статьями на прикроватной тумбочке. Именно тогда он впервые связался с Джеффри Хинтоном, предложив свою идею о периодических функциях активации в нейронах. Хотя эта конкретная идея не прижилась, Хинтон, будучи лидером в своей области, уделил время студенту, что стало началом их профессионального взаимодействия. В Google Brain Эйдан работал над амбициозным проектом «одна модель для всего» (One model to learn them all), целью которого было создание мультимодальной системы, способной обрабатывать текст, изображения, аудио и видео одновременно. Для реализации этой задачи была создана инфраструктура Tensor2Tensor. Ключевым моментом стало объединение усилий с коллегами, которые работали над моделями на основе механизмов внимания (attention): * Работу вели Noam Shazeer, Ashish Vaswani, Niki Parmar и Jakob Uszkoreit. * Создание архитектуры Transformer заняло около 10 недель интенсивного «спринта». * По словам Эйдана, успех проекта был обусловлен сочетанием массового масштабирования, огромных объемов данных и мощностей графических процессоров. ### 🧠 Что такое Transformer и почему он работает? [[JUMP:15:38]] Эйдан описывает Transformer как удивительно простую архитектуру. В ее основе лежат два элемента: многослойные перцептроны (MLP) и механизм внимания. * Механизм внимания позволяет модели выявлять взаимосвязи между элементами в последовательности (например, как прилагательное «коричневый» относится к существительному «собака» в предложении «коричневая собака»). * Это позволяет модели не просто «зазубривать» данные, а понимать структуру языка, включая грамматику и логические связи. Одной из причин доминирования Transformer стало то, что сообщество исследователей консолидировалось вокруг этой архитектуры, инвестируя в инфраструктуру и аппаратную поддержку. Хотя Эйдан уверен, что существуют и другие архитектуры, способные к подобным результатам, текущая инерция индустрии делает переход на другие решения сложной задачей. ### 🚀 Путь к Cohere и трансформация бизнес-процессов [[JUMP:36:49]] Несмотря на революционный прорыв, Эйдан ощущал определенное разочарование: даже спустя три года после публикации статьи о Transformer мир технологий практически не изменился. Это побудило его вместе с сооснователями Ником Фросстом и Иваном Чжаном основать Cohere. Миссия Cohere заключается в предоставлении доступа к мощным LLM для широкого круга разработчиков и компаний. Основные приоритеты компании: 1. **Приватность и комплаенс:** Работа с конфиденциальными данными предприятий требует высочайшего уровня безопасности. 2. **Независимость от облачных провайдеров:** Cohere позволяет клиентам избежать «привязки» к одному вендору, предоставляя возможность развертывания в разных облачных средах. По мнению Эйдана, в ближайшие 18 месяцев мы увидим фундаментальные изменения в продуктовой сфере. Интерфейсы продуктов будут перестроены под диалоговое взаимодействие, как это когда-то произошло при переходе на мобильные приложения. ### 🛡 Галлюцинации и достоверность [[JUMP:49:15]] Говоря о проблеме галлюцинаций (ложных утверждений моделей), Эйдан предлагает различать «полезную» креативность и нежелательную выдумку фактов. Важным решением он называет метод **Retrieval Augmented Generation (RAG)**, предложенный Патриком Льюисом. * Модель получает доступ к внешним источникам знаний (например, поиск Google или корпоративные документы). * Система вынуждена ссылаться на источники, что позволяет пользователю проверить достоверность информации. * Это приучает модель не делать утверждений без фактической опоры. ### 🔮 Будущее ИИ и вопросы сознания [[JUMP:52:54]] Обсуждая опасения Джеффри Хинтона относительно рисков ИИ, Эйдан подчеркивает, что многие эксперты были шокированы тем, насколько быстро развивались технологии. По словам Эйдана, позиция Хинтона не является алармистской, а скорее «измеренной и разумной»: нужно серьезно относиться к неопределенности будущего и не исключать различные сценарии развития событий. На философский вопрос о возможности возникновения самосознания у машин Эйдан отвечает с прагматичных научных позиций: * Сознание является физическим процессом в мозге. * Нет веских аргументов утверждать, что аналогичные явления не могут возникнуть в кремниевых структурах. * Ученый считает «прыжком веры» утверждение о том, что биологический мозг имеет некую принципиальную монополию на сознание.