Практическое применение генеративного ИИ требует перехода от простого «общения» с чат-ботами к глубокому пониманию архитектуры систем, окружающей модели. В рамках вебинара Stanford Online эксперты из индустрии и академической среды обсудили, как современные LLM (Large Language Models) обретают свои возможности и почему успех продукта на 90% зависит от того, что происходит «вокруг» нейросети.
В дискуссии приняли участие Кристофер Поттс (Christopher Potts), профессор лингвистики Стэнфордского университета, и Мишель Покрасс (Michelle Pokrass), руководитель группы исследований пост-тренинга в OpenAI. Модератором выступил Адитья Чаллапалли (Aditya Challapally), инженер по машинному обучению в Microsoft.
🧠 Природа моделей: Базовые vs Пост-обученные 2:18
Одним из главных заблуждений в индустрии Кристофер Поттс считает недооценку способностей «базовых» моделей (base models) — тех, что еще не прошли стадию тонкой настройки (fine-tuning) . По его словам, такие модели обладают колоссальным скрытым потенциалом и креативностью, хотя и остаются менее предсказуемыми. Пост-тренинг, которым занимается команда Мишель Покрасс в OpenAI, — это процесс «извлечения» этих скрытых возможностей и приведения их в соответствие с человеческими предпочтениями .
Мишель Покрасс поясняет разницу на наглядном примере:
- Базовая модель: Обучена предсказывать следующий токен на огромном массиве данных. Если спросить её «Как ездить на велосипеде?», она может ответить списком других вопросов: «Как водить машину?», «Как плавать?» . Она не осознает себя как помощника.
- Пост-обученная модель (ChatGPT): Это результат выравнивания (alignment), когда модель учат быть полезным ассистентом .
Главный инсайт Мишель заключается в том, что способности ИИ часто являются «эмерджентными» (возникающими спонтанно при масштабировании) . Никто в OpenAI изначально не планировал, что GPT-4 будет феноменально писать код — эта способность проявилась сама по мере роста масштаба обучения.
🛠 Эволюция GPT-4: От бенчмарков к реальным нуждам разработчиков 7:45
Создание модели GPT-4.1 стало важным этапом, когда фокус сместился с максимизации «абстрактного интеллекта» на конкретную применимость для разработчиков .
Группа пост-тренинга OpenAI выделила четыре приоритета для этой версии:
- Длинный контекст: Способность обрабатывать огромные пакеты документов без потери качества.
- Вызов инструментов (tool calling): Повышение «упорства» модели при обращении к внешним API и софту .
- Написание кода: Улучшение логики программирования.
- Следование инструкциям (instruction following): Способность точно выполнять десятки условий в одном промте .
По словам Мишель, ключевым отличием в разработке стало использование внутренних систем оценки (evals), основанных на реальных сценариях использования, а не на общедоступных академических тестах .
🏗 Системный подход: Важность «обвязки» 10:42
Кристофер Поттс утверждает: отличная модель в плохой системе — это плохой продукт . Если вы ожидаете от ИИ генерацию JSON-кода, но неправильно настроили параметры выборки (sampling) или программную среду, вы получите «мусор» на выходе, в чем не будет вины самой модели.
Успех GenAI-продукта зависит от качества инструментов, к которым у модели есть доступ, и от того, насколько хорошо спроектировано ПО вокруг неё . Мишель Покрасс добавляет, что сейчас на рынке наблюдается «capabilities overhang» (избыток возможностей): даже если развитие моделей остановится на уровне GPT-4, человечеству понадобится еще около пяти лет, чтобы реализовать весь потенциал этой технологии через создание качественных системных оболочек .
⚖️ Проблема ценностей и «душа» ИИ 18:11
Вопрос о том, чьи ценности кодируются в ИИ, остается дискуссионным. Мишель Покрасс отмечает, что создать модель, свободную от предвзятости (bias-free) для всех людей на Земле, невозможно . OpenAI решает это через публикацию «Model Spec» — открытого документа, описывающего желаемое поведение модели, и приглашает всё общество к его обсуждению .
Кристофер Поттс предлагает «неочевидный» подход к обучению нормам: модель нельзя обучить избегать табуированных тем (например, ругательств), просто удалив их из обучающей выборки . В таком случае ИИ вырастет «наивным» и не будет понимать контекста. Правильный путь — показать модели запрещенный контент и четко проинструктировать её, почему и когда его нельзя использовать .
📈 Революция в оценке: Как сделать ИИ полезным 38:23
Самым важным фактором успеха ИИ-стартапов эксперты называют наличие собственных систем оценки — evals .
Практические советы от Кристофера Поттса и Мишель Покрасс:
- Начните с малого: Даже 12 вручную описанных кейсов «правильного» поведения системы лучше, чем бесконечное тестирование на живых пользователях или слепое доверие бенчмаркам из Твиттера .
- Используйте few-shot примеры: Вместо того чтобы 50 раз умолять модель «сделай вот так», просто дайте в промте 3–5 примеров «вход — идеальный выход» .
- LLM как судья: Использование мощной модели для оценки работы более слабой модели (или системы в целом) крайне эффективно . Чтобы избежать путаницы, разбивайте сложные критерии оценки на отдельные проходы.
- Синтетические данные: Кристофер Поттс призывает отбросить академический снобизм относительно «только человеческих данных» . Синтетические данные позволяют быстрее искать ошибки и «галлюцинации» системы.
🔮 Взгляд в будущее: Интерпретируемость 47:44
В завершение Кристофер Поттс высказал оптимистичный прогноз относительно «прозрачности» нейросетей. Существует миф, что нейронные сети — это «черный ящик», который принципиально не поддается анализу . Однако исследования показывают обратное: по мере роста качества моделей в них спонтанно формируются структуры, которые человек может интерпретировать . Это открывает двери для глубокого научного понимания того, как именно ИИ обобщает знания и принимает решения.
