# Райли Гудсайд о промпт-инжиниринге: «Модели не думают, они фристайлят»

Источник: https://www.youtube.com/watch?v=fMUNDFTGVXc
Канал: The TWIML AI Podcast with Sam Charrington
Опубликовано: 23.10.2023

---

## Искусство промпт-инжиниринга: ментальные модели и стратегии от Райли Гудсайда 🧠
[[JUMP:0:00]]

В мире, где большие языковые модели (LLM) стремительно меняют ландшафт технологий, умение эффективно «общаться» с ИИ становится ключевым навыком. Райли Гудсайд, эксперт по промпт-инжинирингу в Scale AI, в рамках подкаста The TWIML AI Podcast делится своими взглядами на то, как устроены эти системы и как с ними продуктивно работать, избегая типичных ловушек.

### 🛠 Три фундаментальные ментальные модели
[[JUMP:15:12]]

Гудсайд подчеркивает, что для понимания работы LLM недостаточно одной теории. Он выделяет три базовых подхода, которые помогают предсказывать поведение модели:

1.  **«Мультивселенная художественной литературы» (Multiverse of Fiction):** Модель представляет собой блок данных, а каждый токен промпта — это «вырезание» ненужных пластов из этого блока. Цель промпта — ограничить пространство вероятностей до желаемого результата.
2.  **RLHF как фильтр одобрения:** Обучение с подкреплением на основе отзывов людей (RLHF) делает модель предсказателем того, что «нам» (пользователям) понравится, а не просто статистическим зеркалом обучающей выборки. Это часто важнее, чем данные, на которых модель училась изначально.
3.  **Авторегрессионный процесс:** Поскольку модели генерируют текст токен за токеном, процесс не является мгновенным «озарением». Это «фристайл-рэп» ИИ, который не может остановиться и подумать, поэтому он часто ошибается, если не задать структуру.

### 📉 Почему промпты «ломаются» и как это исправить
[[JUMP:40:37]]

Гудсайд предупреждает: попытки заставить модель «думать» через сложные лингвистические конструкции часто проваливаются. Эффективность промпта зависит не от красноречия, а от структуры.

*   **Деконструкция проблем:** Разбивайте задачу на чек-листы или DAG (направленные ациклические графы) решений. Если просить модель сначала дать ответ, а потом обосновать его — она будет не думать, а рационализировать галлюцинацию.
*   **Искусственные данные:** Вместо поиска идеальных примеров (few-shot) в существующих данных, создавайте свои. Гудсайд советует намеренно вносить в примеры опечатки или редкие краевые случаи (edge cases), чтобы обучить модель правильно реагировать на «плохие» входные данные.
*   **Смена парадигмы:** Промпт-инжиниринг — это часто лишь «леса» (scaffolding). Если задача требует слишком много условий, лучше выйти из режима промптов и перейти к дообучению модели (fine-tuning) или использованию RAG (генерации с поиском).

### 🚀 Прогнозы и развитие технологий
[[JUMP:36:06]]

Собеседник отмечает, что область развивается слишком быстро, чтобы полагаться на книги. Тем не менее, он выделяет несколько интересных направлений, таких как использование «пауз-токенов» (pause tokens) для повышения качества ответов и методы «отката» (backspace token) в случае генерации мусора, что позволяет модели «передумать».

По мнению Гудсайда, антропоморфизация («модель думает», «модель знает») неизбежна, но важно помнить: за этим не стоит человеческое сознание. Это лишь способ описания статистических процессов, и эффективный промпт-инженер — это не поэт, а архитектор контекста, который знает границы возможностей модели.