С
💬 Заметные цитаты
Неравенство языков в ИИ
«Токенизаторы накладывают «двойной налог» на нелатинские шрифты: это более высокая задержка и стоимость.»
Энергоэффективность нейросетей и мозга
«Мы строим лестницу на Луну. Мы используем тысячи авиаперелетов энергии, чтобы обучить одну модель, в то время как мозг работает на мощности электробритвы.»
Влияние железа на науку
«Аппаратная лотерея — это инерция. Это всё то, кроме ценности самой идеи, что может усилить её или отбросить назад.»
Скепсис по поводу RLHF
«Мой ворчливый взгляд заключается в том, что RLHF не так уж сильно отличается от обычного тонкого обучения с учителем.»
Влияние плохих данных на модель
«Если ваша дата — мусор, вы просто регуляризируете свою модель, и вам нужно гораздо больше параметров, чтобы компенсировать этот шум.»
«Политика вычислительных порогов — это попытка предсказать будущее, но мы в этом очень плохи.»
«Порог вычислений не основан на текущих рисках в реальном мире; это политика, ориентированная исключительно на будущее.»
«Пока вы доберетесь до финиша, вы уже настолько зажаты ограничениями модели, что не оптимизировали интерпретируемость, а просто надеетесь на акробатику в конце.»
👥 Часто вместе с
📺 Где появляется
📈 Темы
Cohere for AI4Сара Хукер3Sarah Hooker1Transformers1Project Aya1RLHF1AI governance1The TWIML AI Podcast1FLOPs1Sparsity1аппаратная лотерея1Machine Learning Street Talk1
📺 Материалы с участием
1ч 05мСара Хукер: «Вычислительные пороги ИИ — это ошибочная стратегия»
1ч 05м⚖ Сара Хукер: «Пороги вычислений в законах об ИИ бессмысленны»
1ч 23м🌐 Сара Хукер: «Колоссальная часть весов ИИ тратится на компенсацию зашумленных данных»
51 мин🛠 Сара Хукер: «Качественные аннотации важнее алгоритмов подкрепления в RLHF»
1ч 19м🎰 Сара Хукер: «Мы строим лестницу на Луну, обучая гигантские нейросети»