Механизм внимания
7 статей
1ч 17м📊 Лекция Стэнфорда CS224N: основы механизма внимания и оценка перевода
57 мин🚀 Как устроено внимание в ИИ: подробный разбор Гранта Сандерсона
31 мин🧩 Янник Килчер разобрал метод ALiBi для экстраполяции контекста трансформеров
41 мин🧠 Обучение ИИ забыванию: подробный разбор архитектуры Expire-Span от Янника Килчера
45 мин🧠 Разбор DeBERTa: как Microsoft улучшила архитектуру BERT
54 мин🛑 Как архитектура Performers решает проблему квадратичной сложности классических трансформеров
1ч 05м🧠 Связь сетей Хопфилда и механизмов внимания в современных ИИ-моделях