Искусственный интеллект: за пределами мифов о разумности

Lex Fridman 261 тыс. 2 ч 10 мин 19 мин 26.07.2022
Главное

«Просто дайте мне размеченные данные и большую нейросеть, и мы решим практически все проблемы», — утверждает Илья Суцкевер, переводя фокус с магии разума на чистую инженерию масштаба. Однако за фасадом математической простоты алгоритмов скрывается сложнейшая гонка за вычислительными мощностями и энергетическим ресурсом планеты, где главным моральным ориентиром становится сохранение баланса между биологическим интеллектом и искусственным. Это история о том, как через архитектуры вроде Gato и Flamingo мы идем к интерактивному мета-обучению, рискуя превратить будущее в зависимость от «лотереи оборудования».

🧠 Будущее ИИ: от интервьюера до обучения без границ

Замена человека в качестве интервьюера 0:51

Перспектива создания ИИ, способного полноценно заменить ведущего подкаста, является одной из самых интригующих тем в современной разработке. Ориол Виньялс отмечает, что сегодня мы уже можем использовать ИИ для «черри-пикинга» — фильтрации и подбора наиболее удачных вопросов из предложенных нейросетью, что расширяет творческие возможности интервьюера. Однако полная автоматизация процесса вызывает вопросы о ценности такого контента: если убрать человеческую составляющую, останется ли результат интересным артефактом?

Тем не менее, при правильной постановке задачи ИИ может преуспеть. Ключ кроется в определении функций вознаграждения. Если мы определим «увлекательность» (excitement) как измеримую метрику, основанную на анализе огромных массивов данных человеческого общения в сети, создание оптимально увлекательных бесед с участием ИИ становится технически возможным. Ориол Виньялс подчеркивает, что такая система могла бы имитировать человеческие черты, вплоть до преднамеренной «неидеальности»:

Ограничения памяти языковых моделей 11:27

В ходе обсуждения архитектуры современных нейросетей Виньялс проводит важное разграничение между обучением весов и рабочей памятью (context window). В текущем подходе модели после развертывания перестают учиться: их «веса», накопленные в процессе предварительного обучения, остаются статичными.

То, что мы воспринимаем как «память» в ходе диалога, на самом деле является лишь кратковременным контекстом рабочей памяти. Ориол поясняет, что на текущем этапе развития технологий этот объем сильно ограничен — порядка 2000 слов, после чего модель неизбежно начинает «забывать» начало разговора. Это создает значительный барьер для обеспечения глубокой логической связности и удержания идентичности агента на протяжении длинных дискуссий или при работе с большими объемами данных (например, целыми книгами), что делает развитие долговременной, наращиваемой памяти одной из самых амбициозных задач для исследователей Deep Learning.

Проблема обучения моделей с нуля 14:18

Одной из фундаментальных проблем, которую Ориол Виньялс обозначает как «вызывающую сожаление», является необходимость обучения моделей с чистого листа при каждой новой задаче. В то время как биологические виды эволюционируют, постоянно опираясь на опыт предыдущих поколений, современные ИИ-системы при переходе к новому проекту часто приходят к сбросу весов.

Ранее в разговоре они касались общих принципов работы нейросетей, но именно здесь Виньялс подчеркивает: текущая практика обучения моделей с использованием случайной инициализации весов кажется неэффективным расходом ресурсов. Идеалом для исследователей является создание алгоритма, который мог бы постепенно наращивать возможности и знания, переиспользуя уже накопленные структуры, а не выбрасывая их каждый раз при обучении в новых условиях — будь то игра в StarCraft, сворачивание белков или другие сложные проблемы. Поиск этого универсального «рецепта» обучения, который позволил бы моделям эволюционировать, а не просто переучиваться, остается центральным вызовом для всей индустрии.

🤖 Мультимодальность и природа ИИ-агентов 25:17

Архитектура Gato: единый мозг для текста, зрения и действий 25:17

Мультимодальная модель Gato, разработанная исследовательской лабораторией DeepMind, представляет собой важную веху на пути к созданию универсального искусственного интеллекта. В её основе лежит проверенная архитектура трансформера — по сути, разновидность нейросети, которая оперирует последовательностями данных. Ориол Виньялс (Oriol Vinyals) объясняет, что Gato полностью стирает традиционные барьеры между различными типами информации: текст, визуальное восприятие и физические действия преобразуются в единую последовательность байтов. Принципиальный подход к обучению при этом остаётся неизменным со времён классического языкового моделирования — сеть обучают предсказывать каждый следующий элемент последовательности, будь то очередное слово в диалоге или шаг робота в физическом симуляторе.

Входной поток Gato крайне разнообразен и включает в себя:

На выходе архитектура способна генерировать текстовые ответы и управляющие сигналы, однако генерация изображений в текущую версию намеренно не закладывалась разработчиками. Уникальность системы заключается в концепции «единого мозга»: модель не разделена на специализированные подсети для разных задач, а использует общие веса для всех модальностей. На момент создания Gato содержала всего 1 миллиард параметров, что Ориол считает скромным масштабом на фоне современных триллионных моделей. Тем не менее, исследователь уверен, что именно масштаб в будущем позволит проявиться синергии между текстовыми знаниями из интернета и моторными навыками в игровых средах. Важным драйвером для такой синергии может стать контекстуализация, когда перед началом выполнения задачи (например, игры в Atari) модели передаётся текстовое описание условий.

Что делает ИИ настоящим агентом? 27:55

В ходе беседы Лекс Фридман (Lex Fridman) и Ориол Виньялс затрагивают глубокий концептуальный вопрос: в какой момент цифровая модель перестаёт быть просто пассивным инструментом и превращается в полноценного агента? По мнению Ориоля, ключевым водоразделом здесь выступает способность ИИ совершать самостоятельные действия в некоторой среде и изменять её, получая взамен обновлённые наблюдения для совершения следующих шагов.

Этот качественный переход заставляет ведущего провести параллель с фундаментальными биологическими вопросами о природе жизни и критериях, по которым человечество определяло бы живые организмы при встрече с инопланетным разумом. Активное влияние на окружающий мир видится авторам ключевым элементом субъектности. Ориол соглашается, что способность к действию — это обязательное, хотя и не исчерпывающее условие (вопросы сознания и инцидент с моделью Lambda собеседники вскользь упоминают, откладывая детальный разбор на более поздние этапы дискуссии).

Для обучения ИИ-агента подобного уровня в DeepMind развернули масштабный процесс имитационного обучения (imitation learning). Источниками данных для Gato послужили:

  1. Стандартные веб-тексты планетарного масштаба, на которых тренируются классические языковые модели.
  2. Траектории и логи жизненного опыта множества других узкоспециализированных агентов, созданных внутри DeepMind для прохождения 3D-лабиринтов или игр на платформе Atari.

Процесс токенизации разнородных данных: ортогональность в едином пространстве 34:20

С технической точки зрения ключевым вызовом для создания мультимодального агента является токенизация — процесс превращения разнородной информации в единый набор дискретных атомарных элементов, понятных трансформеру.

Для каждого типа данных Ориол Виньялс описывает специфический инженерный подход:

Внутри архитектуры все эти сущности абсолютно ортогональны и занимают изолированные диапазоны в общем целочисленном пространстве. Текст занимает позиции от 1 до 10 000, изображения — от 10 001 до 20 000, а командам управления выделены самые высокие значения.

Вся эта масса разнородных чисел направляется в единую нейросеть. Отвечая на полушутливый вопрос Лекса о том, не страдает ли Gato «шизофренией», удерживая в памяти столько несвязанных задач, Ориол подчёркивает: это абсолютно цельный разум. Связь между мирами возникает на этапе обучения благодаря смешанным датасетам — например, картинкам с подписями. Модель преобразует токены в непрерывные векторы (эмбеддинги), параметры которых оптимизируются обычным градиентным спуском. В процессе обучения векторы разных модальностей начинают естественным образом сближаться: эмбеддинг написанного слова «cat» (кошка) в многомерном пространстве выравнивается с эмбеддингами пиксельных патчей, изображающих кошку.

В будущем Ориол видит перспективу перехода к токенизации через естественный язык, когда даже визуальные образы и действия роботов будут описываться семантически, что возвращает исследователей к идеям Ноама Хомского о языке как фундаменте мышления. Под конец беседы ученый упоминает, что масштабирование таких систем упирается в инженерные трудности, которые частично решаются модульными архитектурами вроде Flamingo, чьи особенности детально рассматриваются в смежных главах статьи.

🧩 Модульный подход: уроки Flamingo и Chinchilla 50:26

Ориол Виньялс выделяет архитектурную гибкость как ключевой фактор развития современных моделей. Ярким примером этого является Flamingo — система, построенная на базе предобученной языковой модели Chinchilla. В отличие от подходов, требующих обучения с нуля, здесь была применена стратегия «заморозки»: веса 70-миллиардной модели Chinchilla оставались неизменными, а для обработки визуальных данных к ней подключались небольшие дополнительные слои.

Этот процесс напоминает «инъекцию» в нейронную сеть специфических подструктур, которые позволяют ей видеть, не разрушая при этом уже накопленные языковые навыки. Дополнительные 10 миллиардов параметров, добавленные поверх основной архитектуры, фактически переписывают активации модели, когда та сталкивается с визуальным входом, направляя их в нужное русло.

Такой модульный подход предлагает мощную альтернативу созданию систем с нуля, как это было с архитектурой Gato, где обучение проводилось на тех же данных, но без использования готовых «мозгов». В долгосрочной перспективе это позволяет эффективно масштабировать возможности ИИ:


🧠 Эволюция мета-обучения: от бенчмарков к интерактивности 56:36

Понятие мета-обучения за последние годы претерпело радикальную трансформацию. Если в 2019 году оно было жестко привязано к узким задачам компьютерного зрения и классификации объектов на бенчмарках вроде ImageNet, то сегодня фокус сместился на интерактивное обучение через естественный язык.

Фундаментальным прорывом стало осознание того, что большие языковые модели являются «обучаемыми в процессе генерации» (few-shot learners). Теперь мета-обучение означает не просто настройку на тысячу фиксированных категорий, а способность модели воспринимать логику новой задачи непосредственно из промпта. Как отмечает Ориол Виньялс, модель Flamingo расширила эти возможности: например, ей можно показать изображения цифр и через несколько примеров обучить выполнять арифметические операции, что выходит далеко за рамки её первоначального обучения.

В ближайшие 5–10 лет мета-обучение станет ещё более глубоким и интерактивным:

Ранее в разговоре они касались архитектуры трансформеров, и, хотя сейчас основное внимание уделено мета-обучению через взаимодействие, исследователи всё еще изучают, какая степень обучения или «заморозки» весов будет наиболее эффективной для достижения истинной универсальности. Главная цель — перейти от моделей, которые решают «многие задачи» (many tasks), к тем, что способны справиться с «любой задачей» (any task).

🧠 Философия внимания и природа нейронных сетей 1:15:15

Механизм внимания, ставший краеугольным камнем архитектуры трансформеров, по мнению Ориола Виньялса, представляет собой не просто техническую деталь, а мощное воплощение индуктивного смещения, которое фундаментально меняет подход к обработке данных. В отличие от рекуррентных нейронных сетей (LSTM), которые опирались на последовательную обработку и обладали «близорукостью» по отношению к недавним событиям, трансформеры перешли к динамическому извлечению контекста на основе смыслового содержания.

Технически это работает как глубоко вычислительный процесс: модель формирует гипотезы о следующем токене (например, выбирая между «кошкой» или «собакой») и «запрашивает» (query) всю доступную последовательность текста, чтобы найти наиболее релевантную информацию. Важнейшее прозрение здесь заключается в отходе от позиционной зависимости. Модели не нужно знать, насколько далеко в тексте находится ключевое слово; она способна «извлекать» смысл из контекста, даже если он был упомянут десять страниц назад. Именно эта способность к нелинейному вниманию делает современные архитектуры значительно эффективнее своих предшественников.

Ранее в разговоре они затрагивали тему ограничений памяти в языковых моделях и их потенциальную эволюцию через иерархические структуры, чтобы преодолеть текущий барьер в понимании сверхдлинных контекстов.

👥 Роль человеческого фактора в прогрессе ИИ 1:21:23

Успех в области глубокого обучения — это результат не только вычислительной мощности, но и специфической инженерной культуры. Ориол Виньялс подчеркивает, что развитие области сильно зависит от индивидуальностей, их настойчивости и разнообразия подходов внутри команд. В индустрии, где доступ к огромным ресурсам стал нормой, важно сохранять баланс: использовать этот «ускоритель частиц» для научных прорывов, но не забывать о творческих, менее ресурсоемких исследованиях, которые часто зарождаются в условиях ограничений.

История показывает, что именно разнообразие интеллектуальных стилей позволяет двигать прогресс:

Виньялс отмечает, что «гений кроется в крошечных инженерных деталях». Иногда одно небольшое архитектурное решение или правильная курация датасета оказывают большее влияние на развитие технологий, чем абстрактные теории. При этом он признает, что сами benchmarks — системы оценки качества моделей — стали ключевым инструментом, дающим надежду и направление даже в самые сложные периоды исследований.

📈 Феномен эмерджентности: скачок в качестве 1:33:06

Одной из самых интригующих тем остается феномен эмерджентных способностей больших языковых моделей. Когда модель достигает определенного порога масштабируемости, её производительность начинает расти не линейно, а скачкообразно. Ориол Виньялс сравнивает это с фазовыми переходами: до достижения критической массы модель может демонстрировать лишь случайные результаты, но после «щелчка» — когда система «задает правильный вопрос» к своим внутренним весам — её возможности преображаются.

Этот процесс ставит перед учеными задачу эмпирического анализа, поскольку классические законы масштабирования, такие как те, что были описаны в работе «Chinchilla», позволяют предсказывать многие параметры, но не всегда охватывают возникновение новых, сложных навыков. Хотя исследователи активно используют «эмпирическую теорию» для экономии ресурсов, Виньялс отмечает, что мы все еще находимся на этапе, когда научное понимание «науки о масштабе» отстает от практики, и нам критически не хватает формальной теории, объясняющей, почему именно определенный масштаб запускает появление новых качеств.

🤖 Разумность, магия масштабирования и «Горький урок» 1:40:16

Демистификация сознания: математические функции против биологии 1:40:16

В разговоре о том, как языковые модели меняют наш мир на психологическом и техническом уровнях, Лекс Фридман затронул громкий инцидент с инженером Google, который заявил о наличии признаков разумности у ИИ. Исследователь DeepMind Ориол Виньялс относится к подобным заявлениям скептически, отмечая, что даже во время работы над сложнейшей игровой системой AlphaStar у него ни разу не возникало мысли, будто программа обрела истинное сознание. Текущие модели, несмотря на их колоссальную практическую пользу, все еще далеки от этого уровня.

Ориол Виньялс называет себя «несостоявшимся ученым», который ушел в сферу машинного обучения именно потому, что увидел в нем мощнейший мета-инструмент, способный помочь другим фундаментальным наукам — от астрономии до биологии. Его глубокая вовлеченность в проект AlphaFold и изучение структуры белков сформировали у него искреннее восхищение сложностью живой природы. На атомном и клеточном уровнях в биологических системах происходит столько скрытых процессов, что на их фоне современные вычислительные «мозги» кажутся слишком примитивными. Ориол подчеркивает колоссальный разрыв в масштабах сложности:

Чтобы демистифицировать кажущуюся «магию» ИИ, Ориол приводит прагматичный пример: при наличии правильного программного обеспечения создание современной языковой модели потребовало бы всего около 10 строк кода и дампа текстовых данных из интернета. Если взглянуть на историю вопроса глобально, то развитие языковых моделей со времен Клода Шеннона в 1950-х годах идет по плавной, предсказуемой кривой, без радикальных концептуальных скачков в самой математической основе. По мнению исследователя, для решения сложнейших задач ИИ вовсе не обязательно обладать сознанием. Ранее в разговоре собеседники касались темы замены человека в качестве интервьюера, а также давали определение понятию ИИ-агента на примере архитектуры Gato, и Ориол подтверждает, что для создания таких полезных систем искусственное сознание не требуется. Эволюционные и биологические уроки могут эффективно направлять алгоритмические исследования (например, в вопросах моделирования памяти), но механическое копирование человеческого мозга пока невозможно из-за нехватки фундаментальных знаний о его работе.

Тем не менее, Лекс Фридман замечает, что люди склонны мгновенно антропоморфизировать даже простых четвероногих роботов, как только те начинают совершать неожиданные или гибкие действия. Восприятие системы как разумной может быть полезным инструментом коммуникации, но этот феномен несет в себе серьезные социальные вызовы. Фридман прогнозирует появление реальных гражданских движений за права роботов, поскольку пользователи будут выстраивать глубокие эмоциональные связи с ИИ-агентами. В будущем это может привести к жесткому юридическому регулированию: например, законы могут запретить компаниям наделять коммерческих ботов техподдержки признаками или демонстрацией разумности, если они не спроектированы сугубо как цифровые питомцы. Общество уже частично подготовлено к этим дискуссиям благодаря научной фантастике, а в индустрии, в частности в DeepMind, активно формируются междисциплинарные группы для изучения вопросов безопасности и этики ИИ, значимость которых на крупнейших научных конференциях за последние пять лет выросла многократно.

Феномен Ильи Суцкевера: непоколебимая вера в масштаб 1:55:24

Переходя к личностям, которые определили облик современного глубинного обучения, Лекс Фридман упомянул Илью Суцкевера, недавно избранного членом Королевского общества. Ведущий в шутку поинтересовался, не генерирует ли загадочные и глубокие твиты Суцкевера какая-нибудь скрытая языковая модель. Ориол Виньялс, поддерживающий с Ильей давние дружеские отношения, со смехом пообещал спросить его об этом лично при скорой встрече.

Ориол отмечает, что знает Суцкевера еще с тех времен, когда сфера искусственного интеллекта не была окружена столь плотным медийным вниманием. В приватном общении Илья остается тем же блестящим и аутентичным ученым, верным своему характеру, хотя статус одного из главных лидеров индустрии сегодня накладывает на его публичные заявления огромную ответственность.

Главным секретом гения Ильи Суцкевера Ориол считает его феноменальную, многолетнюю и непоколебимую веру в силу простого масштабирования нейросетей. Виньялс вспоминает его знаменитый доклад, подготовленный в период работы над исторической статьей Sequence to Sequence. Уже тогда Илья бескомпромиссно заявлял: «Просто дайте мне размеченные данные для обучения с учителем и большую нейросеть, и мы решим практически все проблемы». Ориол делится уникальным воспоминанием: они вместе репетировали это выступление в гостиничном номере, и исходная, неотфильтрованная версия доклада содержала слайды, которые были еще более радикальными и спорными для того времени. История показала, что эта долгосрочная интуиция Суцкевера полностью себя оправдала.

«Горький урок» Ричарда Саттона и лотерея оборудования 2:01:01

Эта стратегия тотального доверия к вычислительной мощности лежит в основе знаменитого эссе Ричарда Саттона «Горький урок» (The Bitter Lesson). Его суть сводится к тому, что за 70 лет исследований в области ИИ самыми эффективными неизменно оказывались общие методы, использующие масштабирование вычислений, в то время как узкоспециализированные человеческие алгоритмы всегда проигрывали им в долгосрочной перспективе.

Ориол Виньялс полностью разделяет эту философию, указывая, что глубинное обучение изначально стремится быть независимым от типа данных (data-agnostic): исследователи хотят давать модели «сырые байты» в их первозданном виде и позволять системе обучаться всему самостоятельно, без ручной предобработки человеком. Однако в предложенной Саттоном формуле, сочетающей вычисления и поиск (search), Ориол видит определенные нюансы. Если в играх с четкими правилами вроде го поиск работает идеально, позволяя отсекать неэффективные ветви, то в менее структурированных задачах его применение усложняется.

Тем не менее, ярким подтверждением «Горького урока» стал проект AlphaCode, разработанный командой DeepMind, тесно пересекавшейся с создателями AlphaStar. В AlphaCode колоссальное масштабирование моделей в сочетании с массивным объемом генерации и поиска вариантов кода позволило ИИ достичь уровня среднестатистического человека на соревнованиях по программированию.

Важным фактором, определяющим темпы масштабирования, Ориол называет концепцию «лотереи оборудования» (hardware lottery). Современный бум ИИ во многом обязан тому, что исследователи практически бесплатно получили графические процессоры (GPU), развивавшиеся ради игровой индустрии. Однако если для следующего шага к истинному интеллекту потребуется архитектурная разреженность (sparsity), текущее «железо» может оказаться неэффективным, что заставит индустрию создавать принципиально новые аппаратные решения. Ориол твердо убежден, что создание ИИ человеческого уровня на основе имитационного обучения вполне возможно еще при его жизни, но для выхода за пределы человеческих возможностей моделям понадобятся новые прорывы в обучении с подкреплением.

🚀 Будущее человечества и горизонт сингулярности 5:22

Заключительная часть беседы Лекса Фридмана и Ориола Виньялса уходит от технических деталей архитектур и обучения в область фундаментальных вопросов о судьбе нашего вида. Когда речь заходит о технологической сингулярности — моменте, после которого прогресс становится необратимым и непредсказуемым — Ориол Виньялс (Oriol Vinyals) признает, что испытывает не только профессиональный азарт, но и определенную долю опасения. По его мнению, это не просто количественный скачок, подобный переходу от конной повозки к автомобилю; это качественная трансформация самого понятия «живое существо» на Земле.

Ранее в разговоре они вскользь касались эмерджентных способностей моделей и вопросов разумности систем, но здесь дискуссия переходит к практическим вызовам сосуществования биологического и цифрового разума.

Этика сосуществования и энергетический барьер 6:11

Одним из центральных вызовов будущего Ориол Виньялс считает проблему ограниченности ресурсов. Если человечество на протяжении своей истории постоянно сталкивалось с биологическими и планетарными пределами, которые навязывала сама природа Земли, то для цифровых сущностей эти рамки могут выглядеть иначе. Ориол предполагает, что для ИИ-агентов таким естественным ограничителем станет доступность энергии.

Несмотря на кажущуюся «невесомость» алгоритмов, современные системы крайне неэффективны с точки зрения энергопотребления по сравнению с человеческим мозгом. Для обеспечения гармоничного роста обществу придется коллективно выработать правила игры:

Виньялс подчеркивает, что сосуществование огромного количества людей и мощных цифровых сущностей потребует от нас беспрецедентного уровня международного сотрудничества.

Автоматизация как инструмент глобального равенства 7:05

Несмотря на экзистенциальные риски, Ориол Виньялс сохраняет оптимизм в отношении прикладного влияния ИИ на жизнь обычных людей. Его вдохновляет перспектива тотальной демократизации знаний и ресурсов. Автоматизация в его видении — это не способ заменить человека, а механизм, позволяющий дать доступ к экспертизе и качеству жизни тем слоям населения, которые сегодня этого лишены.

Значительное повышение производительности и качества жизни — это лишь первый этап. В конечном итоге технологии должны стать «усилителем» человеческих возможностей, помогая нам преодолевать собственные биологические ограничения и решать проблемы планетарного масштаба.

Человек и робот: в поисках баланса в межпланетном масштабе 7:45

Лекс Фридман переносит обсуждение еще дальше в будущее, поднимая вопрос о выходе человечества за пределы Солнечной системы. Станем ли мы в этом будущем лишь «причудливым разумным пережитком прошлого», уступив место более эффективным роботам? Виньялс отвечает на это с глубоким убеждением: цель создания AGI — расширение возможностей человеческого вида, а не его замещение.

В этом контексте Ориол выделяет несколько ключевых направлений развития:

  1. Гибридизация: Подобно тому, как современная медицина совершенствует наше тело, технологии будущего могут привести к более глубокой интеграции человека и машины.
  2. Пропорция 1:1: Это «золотое правило» и этический ориентир Виньялса. Он утверждает, что не был бы счастлив в мире, где роботов значительно больше, чем людей.
  3. Сохранение человеческой исключительности: Несмотря на весь прогресс в области глубокого обучения, Ориол верит, что в человеческом интеллекте есть нечто фундаментально важное, что должно оставаться частью уравнения при освоении других планет.

Этот баланс — «один к одному» — является для исследователя не просто цифрой, а ключевым моральным компасом в его повседневной работе в Google DeepMind.

Заключение: от Тьюринга к невозможному 9:16

Завершая встречу, Лекс Фридман в шутку отмечает, что такая приверженность человечеству доказывает: Ориол сам успешно прошел тест Тьюринга и является «одним из особенных представителей нашего вида». Финальный аккорд беседы звучит как приглашение к будущему диалогу — возможно, один раз еще до наступления сингулярности, и один раз уже после неё, чтобы увидеть, как изменится наше восприятие мира.

Символичным завершением выпуска стала цитата Алана Тьюринга:

«Те, кто может вообразить что угодно, могут создать невозможное».

Для Виньялса путь к этому «невозможному» лежит через кропотливые исследования, в центре которых всегда должен оставаться человек.

💬 Цитаты

«Просто дайте мне размеченные данные для обучения с учителем и большую нейросеть, и мы решим практически все проблемы»

Илья Суцкевер 01:59

«Я питаю подозрение, что большая доля гениальности кроется в мельчайших деталях инженерии.»

Ориол Виньялс 01:27

«Интуиция, лежащая в основе внимания, заключается в том, что вы ищете что-то, и это структурно прекрасно имитирует то, как работает человек.»

Ориол Виньялс 01:17

«Если убрать человеческую сторону разговора, останется ли это интересным артефактом?»

Ориол Виньялс 01:30

«Those who can imagine anything can create the impossible.»

«Нам не хватает технологий для создания памяти, которая накапливается в процессе жизни агента.»

Ориол Виньялс 00:12
👥 Спикер
📖 Термины
Эмерджентность
Скачкообразный рост качества работы модели, происходящий после достижения определенного порога масштаба.
Механизм внимания
Технология в трансформерах, позволяющая модели делать запросы к контексту, а не к позициям слов.
Gato
Мультимодальная модель DeepMind, объединяющая текст, изображения и действия в единое пространство эмбеддингов.
Искусственный интеллект Ориол Виньялс DeepMind LLM мета-обучение масштабирование ИИ