Н
💬 Заметные цитаты
Оптимистичный взгляд на прогресс
«Одна из моих мантр сегодня заключается в том, что самым дефицитным ресурсом является позитивное видение будущего.»
Ограничения метода RLHF
«RLHF seems to be necessary but is not sufficient.»
Главное препятствие в Alignment
«Data is the biggest limitation to alignment.»
Разница между человеческой и ИИ-разметкой
«Данные человеческих предпочтений обладают высоким уровнем шума, но низким смещением. Данные предпочтений от LLM — наоборот, низкошумные, но высокосмещенные.»
Оценка потенциала технологий
«Самая большая ошибка, которую мы можем совершить — это недооценить, как далеко может зайти эта технология.»
«Мы до сих пор точно не знаем, что именно определяет пределы насыщения базовых моделей на разных этапах постобучения.»
«Для работы с длинными контекстами нам понадобится механизм, который эффективно вычищает старый накопленный мусор.»
📈 Темы
OpenAI3AI safety1Stanford1Claude1Karl Koch1Tulu 31алгоритм DPO1Fiverr Go1Claude 41GPT-51обучение с подкреплением1AI Whistleblower Initiative1
📺 Материалы с участием
4ч 25м🌐 Китай против США: как ИИ изменил мир к 2026 году
1ч 39м📈 Эрик Торенберг и Нейтан Ламберт: «ИИ не замедляется — это просто начало»
1ч 51м⚖ Карл Кох: «Как защитить инсайдеров в эпоху ИИ»
1ч 41м⚠ Миха Кауфман (Fiverr) о будущем фриланса: «ИИ придет за всеми»
1ч 49м🏛 Как 15 ученых смогли превзойти ИИ-гигантов уровня Meta?
1ч 16м🏗 Натан Ламберт: «RLHF — это необходимый инструмент выравнивания ИИ»
1ч 20м🧬 Натан Ламберт о Mamba: «Это начало эпохи бесконечного контекста»