💬 Заметные цитаты
Конкуренция с OpenAI
«Вы не сможете переиграть OpenAI в этом исследовательском проекте по количеству вычислений. Будьте креативными.»
Важность ошибок при обучении
«Вам действительно нужно видеть эти сложные примеры, где ваша модель ошибается, чтобы иметь возможность получить сигнал и градиент, который обучает модель улучшать представление.»
Нюансы контрастивного обучения
«Если у вас нет меры сходства, хорошо согласованной с вашей конечной целью, контрастивные методы дадут вам равномерность, но не ту, которую вы хотите.»
Реальность против теории данных
«Training distribution equals test distribution. This is never true in the real world.»
Инвестиции в качество данных
«If you really need something to work well, you have to invest in the right kind of training data.»
«В 2000 году на конференции NeurIPS заголовок со словами 'neural network' был верным признаком того, что статью отклонят.»
«ReLU — это наш выбор по умолчанию, она помогает ускорить сходимость в 6 раз.»
👥 Часто вместе с
- Джереми 1
📺 Где появляется
📚 Какие книги обсуждались
- Parallel Distributed Processing — Дж. Макклелланд, Д. Румельхарт 1
- Perceptrons — Минский и Паперт 1
📈 Темы
ReLU1Сара Бири1Triplet loss1AlexNet1Sara Beery1Contrastive learning1SimCLR1robustness1Deep Learning1MIT OpenCourseWare1machine learning1PyTorch1
