Сара Хукер

Порог вычислений не основан на текущих рисках в реальном мире; это политика, ориентированная исключительно на будущее.

Токенизаторы накладывают «двойной налог» на нелатинские шрифты: это более высокая задержка и стоимость.

Мы строим лестницу на Луну. Мы используем тысячи авиаперелетов энергии, чтобы обучить одну модель, в то время как мозг работает на мощности электробритвы.

Аппаратная лотерея — это инерция. Это всё то, кроме ценности самой идеи, что может усилить её или отбросить назад.

Мой ворчливый взгляд заключается в том, что RLHF не так уж сильно отличается от обычного тонкого обучения с учителем.

Если ваша дата — мусор, вы просто регуляризируете свою модель, и вам нужно гораздо больше параметров, чтобы компенсировать этот шум.

Для PyTorch потеря 40% всех своих функций при переходе на TPU говорит о том, что команде разработчиков компиляторов нужно срочно обратить на это внимание.