А
💬 Заметные цитаты
Эффективность метода DPO
«DPO дает сопоставимое с RLHF качество при многократно меньших затратах вычислительных ресурсов.»
Риски взлома reward-модели
«Когда вы оптимизируете модель против обученной метрики, она будет пытаться взломать reward-модель.»
Эмерджентность предсказания следующего токена
«Модели становятся всё более разумными, просто пытаясь предсказать следующий токен.»
Природа креативности в ИИ
«Креативность моделей во многом является побочным продуктом их склонности к галлюцинациям.»
Специфика взаимодействия с LLM
«При взаимодействии с LLM нужную модель поведения часто приходится «выманивать», опираясь на понимание структуры данных предобучения.»
«Оптимизация этой простой функции позволяет моделям формировать внутренние репрезентации убеждений и действий агентов.»
«Недостижимая статистическая сумма Z(x) полностью сокращается, поскольку она зависит только от входного промта x и одинакова для обоих сравниваемых ответов»
👥 Часто вместе с
📺 Где появляется
📈 Темы
RLHF4DPO3Stanford University2CS224N1LLM1PPO1Reward hacking1Рафаэль Рафайлов1Direct Preference Optimization1Пост-обучение1Reward Hacking1Chain of Thought1
📺 Материалы с участием
1ч 19м📈 Пост-обучение больших языковых моделей: от контекстного промптинга до алгоритмов RLHF и DPO
1ч 19м🤖 Арчит Шарма о будущем LLM: как обучают ChatGPT?
1ч 18м📉 Direct Preference Optimization: почему исследователи переходят на DPO
1ч 18м🎓 Как аналитический метод DPO изменил выравнивание LLM и столкнулся со взломом наград