ALiBi

3 статьи

59 мин
🏭 Свои веса — ближе к телу: Как MosaicML меняет экономику обучения больших языковых моделей
The Cognitive Revolution · 16.06.23
31 мин
🧩 Янник Килчер разобрал метод ALiBi для экстраполяции контекста трансформеров
Yannic Kilcher · 02.09.21
31 мин
🧠 Янник Килчер о методе ALiBi: «Трансформеры теперь могут работать с текстами в 10 раз длиннее»
Yannic Kilcher · 02.09.21