Архитектор будущего: Эйдан Гомес о том, как нейросети меняют наш мир 0:00
Искусственный интеллект прошел путь от простых алгоритмов до технологий, способных понимать человеческий язык на уровне, который многие эксперты еще десятилетие назад считали недостижимым. В этом выпуске подкаста Eye on AI ведущий Крейг обсуждает эволюцию генеративного ИИ и будущее корпоративных технологий с Эйданом Гомесом — сооснователем компании Cohere и одним из ключевых разработчиков архитектуры Transformer, лежащей в основе современных языковых моделей.
🏗 Рождение Transformer: от «Maple Forest» до Google Brain 2:18
Эйдан Гомес, выросший в сельской части канадского Онтарио, прошел путь от стажера Google Brain до создателя технологии, изменившей индустрию. В годы учебы в Университете Торонто он начал глубоко изучать глубокое обучение, буквально засыпая с научными статьями на прикроватной тумбочке. Именно тогда он впервые связался с Джеффри Хинтоном, предложив свою идею о периодических функциях активации в нейронах. Хотя эта конкретная идея не прижилась, Хинтон, будучи лидером в своей области, уделил время студенту, что стало началом их профессионального взаимодействия.
В Google Brain Эйдан работал над амбициозным проектом «одна модель для всего» (One model to learn them all), целью которого было создание мультимодальной системы, способной обрабатывать текст, изображения, аудио и видео одновременно. Для реализации этой задачи была создана инфраструктура Tensor2Tensor.
Ключевым моментом стало объединение усилий с коллегами, которые работали над моделями на основе механизмов внимания (attention):
- Работу вели Noam Shazeer, Ashish Vaswani, Niki Parmar и Jakob Uszkoreit.
- Создание архитектуры Transformer заняло около 10 недель интенсивного «спринта».
- По словам Эйдана, успех проекта был обусловлен сочетанием массового масштабирования, огромных объемов данных и мощностей графических процессоров.
🧠 Что такое Transformer и почему он работает? 15:38
Эйдан описывает Transformer как удивительно простую архитектуру. В ее основе лежат два элемента: многослойные перцептроны (MLP) и механизм внимания.
- Механизм внимания позволяет модели выявлять взаимосвязи между элементами в последовательности (например, как прилагательное «коричневый» относится к существительному «собака» в предложении «коричневая собака»).
- Это позволяет модели не просто «зазубривать» данные, а понимать структуру языка, включая грамматику и логические связи.
Одной из причин доминирования Transformer стало то, что сообщество исследователей консолидировалось вокруг этой архитектуры, инвестируя в инфраструктуру и аппаратную поддержку. Хотя Эйдан уверен, что существуют и другие архитектуры, способные к подобным результатам, текущая инерция индустрии делает переход на другие решения сложной задачей.
🚀 Путь к Cohere и трансформация бизнес-процессов 36:49
Несмотря на революционный прорыв, Эйдан ощущал определенное разочарование: даже спустя три года после публикации статьи о Transformer мир технологий практически не изменился. Это побудило его вместе с сооснователями Ником Фросстом и Иваном Чжаном основать Cohere.
Миссия Cohere заключается в предоставлении доступа к мощным LLM для широкого круга разработчиков и компаний. Основные приоритеты компании:
- Приватность и комплаенс: Работа с конфиденциальными данными предприятий требует высочайшего уровня безопасности.
- Независимость от облачных провайдеров: Cohere позволяет клиентам избежать «привязки» к одному вендору, предоставляя возможность развертывания в разных облачных средах.
По мнению Эйдана, в ближайшие 18 месяцев мы увидим фундаментальные изменения в продуктовой сфере. Интерфейсы продуктов будут перестроены под диалоговое взаимодействие, как это когда-то произошло при переходе на мобильные приложения.
🛡 Галлюцинации и достоверность 49:15
Говоря о проблеме галлюцинаций (ложных утверждений моделей), Эйдан предлагает различать «полезную» креативность и нежелательную выдумку фактов. Важным решением он называет метод Retrieval Augmented Generation (RAG), предложенный Патриком Льюисом.
- Модель получает доступ к внешним источникам знаний (например, поиск Google или корпоративные документы).
- Система вынуждена ссылаться на источники, что позволяет пользователю проверить достоверность информации.
- Это приучает модель не делать утверждений без фактической опоры.
🔮 Будущее ИИ и вопросы сознания 52:54
Обсуждая опасения Джеффри Хинтона относительно рисков ИИ, Эйдан подчеркивает, что многие эксперты были шокированы тем, насколько быстро развивались технологии. По словам Эйдана, позиция Хинтона не является алармистской, а скорее «измеренной и разумной»: нужно серьезно относиться к неопределенности будущего и не исключать различные сценарии развития событий.
На философский вопрос о возможности возникновения самосознания у машин Эйдан отвечает с прагматичных научных позиций:
- Сознание является физическим процессом в мозге.
- Нет веских аргументов утверждать, что аналогичные явления не могут возникнуть в кремниевых структурах.
- Ученый считает «прыжком веры» утверждение о том, что биологический мозг имеет некую принципиальную монополию на сознание.
