RDLY
.ru
Тренды
Статьи
Темы
Люди
А
Андрей Шмогенов
Исследователь в Google, соавтор статьи про HyperTransformer.
2
статьи
35 тыс.
просмотров
2022
период
1
канал
💬 Заметные цитаты
«Мы можем отделить сложность маленькой модели для задач пользователя от сложности огромного трансформера, который знает все о мире.»
→
HyperTransformer: Как одна нейросеть за мгновение создает другую
«Послойная генерация весов оказалась критической для стабилизации процесса: изменение ранних слоев кардинально меняет активации всей последующей сети.»
→
Андрей Шмогенов рассказал о генерации весов нейросетей через HyperTransformer
«В будущем мы увидим модели, генерирующие другие модели, и это действительно будет работать на практике.»
→
Андрей Шмогенов рассказал о генерации весов нейросетей через HyperTransformer
👥 Часто вместе с
Янник Килчер
2
📺 Где появляется
Yannic Kilcher
2
🧠 Ключевые концепции
Few-Shot Learning
1
Support Set
1
Logits Layer
1
Forward Pass
1
Few-shot learning
1
HyperTransformer
1
Support set (Опорный набор)
1
Attention map (Карта внимания)
1
Autoregressive process (Авторегрессионный процесс)
1
📈 Темы
Few-Shot Learning
2
HyperTransformer
2
Андрей Шмогенов
2
Янник Килхер
1
Meta-Learning
1
Google
1
Transformers
1
📺 Материалы с участием
1ч 18м
🧠 HyperTransformer: Как одна нейросеть за мгновение создает другую
Yannic Kilcher · 16.02.22 · 17,7 тыс. просм.
1ч 18м
🧠 Андрей Шмогенов рассказал о генерации весов нейросетей через HyperTransformer
Yannic Kilcher · 16.02.22 · 17,7 тыс. просм.