Как Khan Academy создавала ИИ-тьютора Khanmigo на базе нейросети GPT-4

The Cognitive Revolution 1,3 тыс. 1 ч 23 мин 10 мин 15.08.2023
Главное

Искусственный интеллект стремительно трансформирует образовательную сферу, превращая концепцию персонального ИИ-тьютора из теоретической абстракции в работающий коммерческий инструмент. Директор по инжинирингу Khan Academy Шон Джансепар в беседе с авторами подкаста The Cognitive Revolution раскрыл внутреннюю кухню разработки Khanmigo — образовательного ассистента на базе нейросети GPT-4. В центре дискуссии оказались уникальный опыт раннего партнерства с OpenAI, методология преодоления «галлюцинаций» модели и социальная миссия по обеспечению качественного образования для каждого ребенка в мире.

👁️ Закулисье OpenAI: Первое знакомство с GPT-4 5:03

История создания Khanmigo началась в октябре 2022 года, когда Шон Джансепар и еще несколько ключевых сотрудников Khan Academy неожиданно получили доступ к закрытой предварительной версии GPT-4 через специального бота в Slack. На тот момент публичный интерфейс ChatGPT еще не был запущен, и у Шона практически не было опыта глубокого взаимодействия с языковыми модели через API. Первое впечатление от работы с нейросетью Джансепар описывает как контакт с «всеведущим существом». Ему даже пришлось выйти на часовую прогулку вокруг квартала, чтобы осмыслить масштаб надвигающихся изменений. Хотя, по его словам, полноценный сильный искусственный интеллект (AGI) еще не создан, в первые 30 минут диалога у него возникло стойкое ощущение прикосновения к будущему.

Вскоре после этого в Khan Academy прошел внутренний хакатон. Изначально команда разработчиков относилась к идее прямого доступа студентов к ИИ с высокой долей скепсиса из-за потенциальных рисков безопасности. Первые концепты были сфокусированы на автоматизации создания контента для платформы и помощи учителям в генерации планов уроков. Однако осознание возможностей модели OpenAI Moderation API для фильтрации контента заставило инженеров пересмотреть приоритеты в пользу создания полноценного цифрового репетитора для учащихся.

🛠️ От прототипа на коленке до запуска на March 14 7:41

Переломным моментом в разработке стала инициатива сотрудницы команды по имени Джессика (Jessica), которая создала демо-версию продвинутого поискового консьержа. Этот прототип наглядно продемонстрировал, как ИИ может направлять студентов к нужному образовательному материалу. После этого Khan Academy перешла от пассивных еженедельных совещаний с OpenAI к агрессивному совместному интерактивному прототипированию в режиме «утренних и вечерних проверок».

Процесс эволюции продукта включал следующие ключевые этапы:

Финальный этап перед запуском 14 марта 2023 года сопровождался серьезным техническим стрессом. OpenAI еженедельно выпускала новые версии моделей, балансируя между качеством художественного повествования и математической точностью. Команда Шона Джансепара отчаянно нуждалась в специализированной «математической» сборке и получила к ней доступ буквально за несколько дней до релиза, в выходные. Потребовалось тотальное ручное тестирование силами топ-менеджмента и инженеров, чтобы убедиться, что итоговая производственная модель объединила в себе лучшие качества обеих веток.

🎓 Педагогическая философия и двухсигмовый эффект Блума 17:30

Интеграция Khanmigo в экосистему Khan Academy напрямую опирается на знаменитое исследование Бенджамина Блума (Benjamin Bloom) о «двух сигмах» (Two-Sigma Study). Суть этой концепции заключается в том, что индивидуальное наставничество в сочетании с обучением на основе полного усвоения материала (Mastery-based learning) позволяет среднестатистическому сложному студенту превзойти 98% своих сверстников, обучающихся по традиционной классно-урочной системе.

Шон Джансепар выделяет два фундаментальных аспекта современной педагогики Khan Academy:

  1. Обучение на основе полного усвоения (Mastery-based learning): Ученик не должен переходить к следующему, более сложному концепту, пока детально не освоит предыдущий. В традиционной системе студент, получивший тройку (оценку «C») по алгебре 1, все равно переводится на уровень алгебры 2, что неизбежно приводит к катастрофическому накоплению пробелов.
  2. Ликвидация эффекта «швейцарского сыра»: Из-за болезней, усталости или банальной невнимательности в знаниях школьников формируются скрытые пустоты. В отличие от лекций в университете, где упущенная пятиминутка может сделать бесполезным весь оставшийся материал, видеоплатформа Khan Academy позволяла бесплатно перематывать и ставить уроки на паузу без какого-либо осуждения.

По мнению Шона Джансепара, грядущие изменения фундаментальны: «Через 10 лет, я думаю, не будет ни одного ребенка, который учился бы без персонального репетитора, доступного по запросу в любое время». Такой ассистент будет обладать колоссальными преимуществами перед случайным человеческим репетитором: он досконально знает историю обучения, помнит личные интересы ребенка, доступен по первого требованию и полностью лишен человеческого фактора предвзятости или скрытого осуждения.

🧠 Инженерная архитектура: Как заставить GPT-4 думать перед ответом 31:35

Главное концептуальное отличие GPT-4 от предыдущих моделей (таких как GPT-3.5) заключается в способности строго следовать заданным системным инструкциям. По словам Джансепара, когда вы просите GPT-3.5 занять сократическую позицию (не давать готовый ответ, а наводить на него наводящими вопросами), модель постоянно срывается и подсказывает решение. GPT-4 справляется с ролью классического Socratic tutor безупречно, что критически важно для предотвращения списывания со стороны учащихся.

На данный момент Khan Academy не использует технологию тонкой настройки (fine-tuning) для основной логики Khanmigo из-за высоких инфраструктурных издержек, передавая весь контекст статьи или задачи непосредственно в контекстное окно. Тем не менее, до официального релиза компания проводила закрытые эксперименты по тонкой настройке совместно с OpenAI. Сам основатель платформы Салман Хан (Salman Khan) и ведущие методисты вручную разметили около 100 сложных сценариев, описывающих типичные ошибки студентов в диалогах, чтобы обучить нейросеть удерживать нить разговора. Без этого ИИ часто путался: если ученик в ответ на наводящий вопрос вводил промежуточное уравнение, базовая модель переключалась на решение этого нового уравнения, забывая про исходную глобальную задачу.

Для повышения точности в STEM-дисциплинах инженеры Khan Academy внедрили продвинутую систему обработки запросов:

Шон подчеркивает, что этот метод «внутреннего монолога» существенно улучшает качество ответов, однако он требует кратного расхода токенов. В целях экономии эта цепочка не применяется к абстрактным гуманитарным темам или развлекательным сценариям.

🔬 Принцип принятия решений: «Односторонние и двухсторонние двери» 38:57

Обсуждая управление разработкой в условиях жесткого дефицита времени, Шон Джансепар ввел важное разграничение между подходами «на основе данных» (data-driven) и «с учетом данных» (data-informed). По его мнению, слепая приверженность подходу data-driven превращает циклы обратной связи в бесконечное ожидание статистических подтверждений, что фатально замедляет скорость итерации продукта. В условиях революционного скачка технологий Khan Academy сделала ставку на экспертизу своих докторов наук в области педагогики и опытных методистов, сократив время тестирования гипотез.

Для легитимизации такой высокой скорости внутри компании был внедрен знаменитый фреймворк Amazon, разделяющий решения на два типа:

Главной задачей команды Джансепар называет постоянные продуктовые эксперименты: «Мы хотим сфокусироваться на поиске магии, потому что здесь есть магия, и мы пока только поцарапали поверхность». Опыт Khan Academy показывает, что осознанное накопление технического долга ради первенства на рынке полностью себя оправдало. Ранний запуск 14 марта позволил занять доминирующую нишу в сфере ИИ-образования и закрепить за некоммерческим брендом статус главного доверенного партнера OpenAI.

💸 Экономика токенов, безопасность и борьба с джейлбрейками 55:28

Инфраструктурная экономика масштабного использования GPT-4 остается серьезным вызовом. На платформе действует лимит «AI Power» в размере 200 000 токенов в день на пользователя. Шон поясняет, что этот лимит установлен не столько ради экономии, сколько для защиты системы от умышленного абьюза.

Чтобы оптимизировать расходы и повысить точность ответов, инженеры используют комбинацию технологических решений:

Особое внимание уделяется безопасности несовершеннолетних пользователей. Вся входящая и исходящая переписка в Khanmigo в обязательном порядке проходит через OpenAI Moderation API, который моментально блокирует и маркирует любые попытки завести диалог на тему секса, насилия или дискриминации. Кастомная обертка промптов на стороне Khan Academy заставляет модель в конце каждого шага проверять, находится ли студент в рамках образовательного трека. Это делает Khanmigo устойчивым к универсальным техникам взлома контекста (jailbreaking), которые успешно работают на сырых моделях вроде Llama 2. Кроме того, все логи переписки прозрачно отображаются в личных кабинетах родителей и учителей для обеспечения абсолютного доверия.

🔮 Будущее Khanmigo: Мультимодальность и коллективный разум в классе 1:05:35

Текущая производственная версия Khanmigo во многом ограничена текстовым интерфейсом, однако дорожная карта продукта подразумевает тектонические сдвиги в сторону мультимодальности и интеграции в реальные школьные классы.

Команда Шона Джансепара активно экспериментирует в следующих перспективных направлениях:

🌍 Социальная миссия и коммерческая модель 1:11:45

Глобальная миссия Khan Academy — предоставить бесплатное высококлассное образование для каждого в любой точке планеты. Поскольку инфраструктурные расходы на API OpenAI не позволяют сделать Khanmigo полностью бесплатным для всех желающих, организация разработала гибридную экономическую модель для выравнивания социального неравенства.

Для независимых пользователей доступ к Khanmigo предоставляется в формате ежемесячного пожертвования в размере $9 (что более чем в два раза дешевле подписки на ChatGPT Plus). Основной же упор делается на продажу B2B-лицензий школьным округам.

Будучи некоммерческой организацией, Khan Academy использует следующие инструменты социальной справедливости:

Шон Джансепар подчеркивает, что ИИ никогда не заменит школу как важнейший институт социализации и построения человеческих отношений. Цель Khanmigo — разгрузить учителей от рутинной проверки однотипных ошибок, сократить количество поднятых рук в классе с десяти до двух и позволить педагогам сфокусироваться на вдохновляющем проектном обучении.

💬 Цитаты

«Через 10 лет, я думаю, не будет ни одного ребенка, который учился бы без персонального репетитора, доступного по запросу в любое время.»

Шон Джансепар 0:00

«Мы хотим сфокусироваться на поиске магии, потому что здесь есть магия, и мы пока только поцарапали поверхность.»

Шон Джансепар 25:44
👥 Спикеры
📚 Упомянутые книги
🔗 Упомянутые сайты и проекты
📖 Термины
Сократический метод (Socratic tutoring)
Педагогический подход, при котором наставник не дает готовых ответов, а подводит ученика к истине с помощью наводящих вопросов.
Цепочка рассуждений (Chain of Thought)
Метод проектирования подсказок (промптов), заставляющий нейросеть последовательно расписать логические шаги перед выдачей финального ответа.
Джейлбрейк (Jailbreaking)
Техника обхода встроенных ограничений безопасности языковой модели с целью заставить её выполнять запрещенные команды.
Обучение на основе полного усвоения (Mastery-based learning)
Методика, запрещающая переход к новым темам до тех пор, пока учащийся не продемонстрирует идеальное понимание текущего материала.
📊 Цифры
🗓 Хронология
  1. Октябрь 2022 года Ключевые инженеры Khan Academy получают закрытый доступ к предварительной версии GPT-4 через Slack-бота.
  2. Декабрь 2022 года Создание первого скраппи-прототипа в виде Chrome-расширения и проведение полевых тестов в школе Khan Lab School.
  3. Январь 2023 года Проведение всеобщего закрытого NDA-хакатона внутри Khan Academy для масштабной генерации продуктовых фич.
  4. 14 марта 2023 года Официальный публичный релиз ИИ-тьютора Khanmigo синхронно с глобальной презентацией GPT-4 от OpenAI.
⚖️ Другая сторона
Образование Khan Academy Khanmigo GPT-4 Шон Джансепар