Автоматизация промпт-инжиниринга: самообучающийся метод Promptbreeder 0:00
Разработчики из Google DeepMind представили систему Promptbreeder — механизм самореферентного самообучения, предназначенный для автоматизации создания и оптимизации промптов для больших языковых моделей (LLM). В отличие от классических методов, где инструкции для моделей пишутся людьми вручную, Promptbreeder использует эволюционный алгоритм, позволяющий моделям самостоятельно эволюционировать, адаптировать свои промпты и даже совершенствовать методы их генерации. По мнению автора видео, исследователя Янника Килхера, хотя представленные результаты выглядят многообещающе, подход переносит проблему ручного проектирования в домен мета-промптов, оставляя открытым вопрос о том, действительно ли система нашла универсальное решение.
Проблема ручных стратегий и автоматизация 2:14
Традиционные методы, такие как Chain-of-Thought (цепочка рассуждений) или побуждение модели «думать пошагово», значительно повышают качество логических задач. Однако разработка подобных стратегий остается трудоемким процессом, требующим участия человека.
- Ограничения существующих решений: Существующие инструменты, например Automatic Prompt Engineer (APE), пытаются автоматизировать процесс, используя пары «вход-выход» для вывода оптимального промпта. Однако они часто сталкиваются с проблемой «убывающей отдачи», когда улучшение промпта быстро достигает своего «потолка».
- Идея Promptbreeder: Основной вклад исследователей заключается в использовании эволюционного алгоритма, который поддерживает разнообразие решений, позволяя не застревать в локальных минимумах эффективности.
Архитектура системы и «самореференция» 10:46
Promptbreeder работает за счет взаимодействия трех компонентов: промптов для решения задачи (task prompts), промптов-мутаторов (mutation prompts) и фиксированного набора «стилей мышления» (thinking styles).
- Мутация промптов: Система берет текущий промпт и пропускает его через языковую модель вместе с промптом-мутатором (например, «переформулируй эту инструкцию, чтобы она стала интереснее»). В результате получается новая версия промпта.
- Самореференция: Самообучение заключается в том, что Promptbreeder эволюционирует не только сами промпты для задач, но и промпты-мутаторы, которые отвечают за эти изменения.
- Единица эволюции: В системе они всегда сохраняются вместе: промпт и промпт-мутатор, который его создал. Это необходимо для оценки их эффективности («фитнеса») — если итоговый промпт работает хорошо, значит, и мутатор был полезен.
Методы эволюции и «странные трюки» 21:02
Для управления популяцией промптов исследователи внедрили девять различных операторов мутации. Среди них Янник Килхер выделяет весьма необычные подходы:
- Линейная сортировка: Модели подается список текущих промптов, отсортированный по качеству.
- Целенаправленное введение в заблуждение: В одном из случаев исследователи сообщают модели, что список отсортирован по возрастанию фитнеса (хотя на деле — по убыванию), чтобы заставить модель генерировать более разнообразные варианты, а не просто копировать лучший результат.
По словам Килхера, подобные манипуляции вызывают вопросы к чистоте исследования. Хотя они повышают итоговый балл, автор видео считает, что это скорее «трюки», а не фундаментальное решение проблемы автоматизации.
Анализ эффективности и выводы 36:07
При тестировании на задачах классификации (например, hate speech detection) Promptbreeder достиг точности 89%, в то время как «ручной» промпт показал 80%. Тем не менее, Килхер отмечает, что разница в 9 процентных пунктов достигается огромными вычислительными затратами и использованием обучающих данных, к которым «нулевой» промпт не имел доступа.
- Критика: Многие из эволюционировавших промптов выглядят хаотично или даже бессмысленно. Часто промпт превращается в набор странных команд, эффективность которых кажется случайной.
- Итог: Несмотря на скепсис по поводу «магии» метода, Килхер подчеркивает важность работы Google DeepMind как первого шага в сторону создания систем, которые не требуют от человека постоянного ручного написания инструкций. Автор надеется, что будущие исследования смогут упростить эту «машинерию» до более прямолинейных и понятных алгоритмов.
