Райли Гудсайд, первый в мире штатный промпт-инженер из Scale AI, возвращается в подкаст «The Cognitive Revolution», чтобы обсудить стремительную трансформацию своей профессии. В беседе с Натаном Лабенцем он объясняет, почему эпоха «магических заклинаний» для нейросетей подошла к концу, уступая место строгому системному программированию и сложным конвейерам обработки данных.
🛠️ От поэзии к программированию: Новая эра промпт-инжиниринга 0:00
Райли Гудсайд, ставший знаменитым в AI-сообществе благодаря своим хитроумным трюкам с GPT-3 в 2022 году, отмечает фундаментальный сдвиг в индустрии. Если раньше взаимодействие с моделями напоминало написание стихов, где важен был каждый нюанс формулировки, то сегодня промпт-инжиниринг превращается в инженерную дисциплину.
По словам Гудсайда, современные модели стали настолько «послушными» и продвинутыми после этапа пост-обучения, что потребность в странных лайфхаках (вроде запрета на пробел в конце промпта) практически исчезла. Сегодня работа промпт-инженера — это не поиск «секретного слова», а создание программных обёрток вокруг LLM, управление потоками данных и автоматизация оценки качества.
Ключевые изменения в подходе к промптам:
- Уход от «фольклора»: Советы из Twitter, работавшие год назад, теряют актуальность по мере совершенствования моделей.
- Слияние с кодом: Промпты становятся частью более крупных систем, использующих такие инструменты, как DSPy.
- Фокус на данных: Основная работа теперь заключается в подготовке идеальных примеров для обучения (gold standard examples).
🚀 Возможности фронтира: Агенты и инструменты 6:37
Обсуждая прогресс после выхода GPT-4, Гудсайд выделяет использование среды REPL (цикл «чтение — вычисление — вывод») и кодовых интерпретаторов как наиболее значимые направления. По его мнению, огромный потенциал скрыт в способности LLM использовать другие LLM и понимать ограничения собственных возможностей.
Натан Лабенц и Райли Гудсайд сошлись во мнении, что одной из главных проблем остается отсутствие у моделей «ситуационной осведомленности». Модели не всегда понимают, когда они сталкиваются с проблемой токенизации или когда им лучше сказать «я не знаю» вместо того, чтобы галлюцинировать.
Для эффективного использования инструментов Гудсайд предлагает следующий алгоритм:
- Чистый промпт: Начинать с простой инструкции (MVP).
- K-shot примеры: Добавлять примеры «вход-выход», пока позволяет контекстное окно.
- Динамический выбор: Использовать поиск примеров (например, через эмбеддинги), наиболее подходящих под текущий запрос.
- Декомпозиция: Разбивать сложную задачу на мелкие этапы, делегируя их специализированным (часто меньшим по размеру) моделям.
🧬 Тонкая настройка: Как не сломать общие знания 11:11
Файнтюнинг (тонкая настройка) — мощный инструмент, но Райли Гудсайд предостерегает от его поспешного использования. Он утверждает, что обучение модели на новых фактах может повысить вероятность галлюцинаций в целом. Это происходит потому, что модель привыкает игнорировать свои «инстинкты», полученные в ходе пре-трейнинга, и начинает верить любым новым данным.
Для сохранения «общего интеллекта» при специализации модели Гудсайд упоминает несколько стратегий:
- Смешивание данных: Добавление в обучающую выборку общих диалогов (General Chat data).
- Смешивание весов: Математическое объединение весов специализированной модели и базовой для поиска оптимального баланса.
- Дельта-веса: Интересный подход (пока на уровне гипотез из сообщества) заключается в расчете разницы («дельты») между дообученной и базовой моделью, а затем наложении этой разницы на инструктивную (RLHF) версию модели.
🧠 Логические цепочки и синтетические данные 18:30
Одной из самых критичных деталей для достижения человеческого уровня производительности является качество «цепочек рассуждений» (Chain of Thought). Гудсайд считает, что простого набора «вопрос — ответ» часто недостаточно для дообучения: модели нужно видеть процесс мышления, который привел к результату.
Интересный пример из практики — использование синтетических данных. Гудсайд рассказывает о случае, когда модель обучали понимать сложные шифры (например, Walnut 53), чтобы она могла выполнять задачи в зашифрованном виде, обходя фильтры безопасности. Это демонстрирует, как через постепенное усложнение задач (bridge tasks) можно привить модели навыки, которыми она не обладала изначально.
📈 Будущее за пределами текста: DNA и Stockfish 38:11
Гудсайд выражает уверенность, что даже если «законы масштабирования» (scaling laws) замедлятся, у нас есть огромный запас роста за счет пост-обучения и новых модальностей.
В качестве примера он приводит работу DeepMind, где знания шахматного движка Stockfish были дистиллированы в языковую модель. Обучая модель не просто ходам, а оценке позиций, исследователи получили сильный шахматный ИИ на базе архитектуры, изначально созданной для работы с текстом.
Среди перспективных направлений участники дискуссии выделили:
- Биологические последовательности: Моделирование DNA и RNA.
- Физические симуляции: Предсказание молекулярной динамики и решение волновых уравнений (пример Тима Дагнана).
- Интуитивная физика: Появление понимания постоянства объектов в видеомоделях вроде Sora.
🛡️ Безопасность и тюремные взломы (Jailbreaking) 1:13:11
В вопросах безопасности Гудсайд придерживается прагматичного взгляда. Он упоминает атаку «Many-shot jailbreak», обнаруженную Anthropic, когда сотни примеров вредоносного поведения в длинном контексте подавляют защиту модели. При этом он отмечает удивительную эффективность простых «защитных суффиксов» — напоминаний модели о том, что она должна быть безопасной.
Собеседники обсудили дилемму открытого исходного кода (Open Source). По мнению Гудсайда, как только веса модели выпущены на волю, контролировать ее использование практически невозможно. Единственный радикальный способ — полностью удалять опасные концепции из обучающих данных, но это неизбежно снижает общую полезность модели.
🏆 AGI и тест ARC 42:36
Относительно достижения AGI (общего искусственного интеллекта) Гудсайд напоминает, что это «движущаяся цель». Он приводит историческую параллель: до промышленной революции 50% населения занималось сельским хозяйством, сегодня в США — менее 2%. По его логике, автоматизация труда не означает конец работы, а лишь меняет то, что мы считаем «человеческим трудом».
Его главный совет бизнесу: «ИИ справляется с задачами, а не с профессиями». Если процесс можно представить как последовательность действий в таблице, его можно автоматизировать. Но не стоит ждать от ИИ Eureka-моментов или тонкого юмора — сферы, где ожидания постоянно меняются и важна новизна, пока остаются за людьми.
В завершение Гудсайд приглашает талантливых инженеров присоединиться к Scale AI, подчеркивая, что потребность в тех, кто умеет мастерски управлять моделями и оценивать их качество, только растет.
