# Интерфейс вместо моделей: Анкит из Sesame о будущем голосового ИИ

Источник: https://www.youtube.com/watch?v=bTcpNQH8ViQ
Канал: a16z (Andreessen Horowitz)
Опубликовано: 15.03.2025

---

В свежем выпуске подкаста венчурного фонда a16z генеральный партнер Анджней Мидха обсудил будущее разговорного искусственного интеллекта с Анкитом, одним из создателей нашумевшего исследовательского превью Sesame AI. Собеседники подробно разобрали, как небольшая команда из 15 человек смогла совершить прорыв в сфере реалистичных голосовых интерфейсов, создав цифровых компаньонов Майю и Майлза. Главная идея дискуссии заключается в том, что голосовой ИИ — это не просто очередное приложение, а принципиально новый слой интерфейса вычислений, где эмоциональная глубина взаимодействия важнее сухих бенчмарков.

## 🎭 Феномен Sesame: почему несовершенство звучит естественно
`[[JUMP:0:56]]`

Выпуск исследовательского превью от Sesame AI вызвал бурную реакцию среди пользователей, что стало неожиданностью для самих разработчиков. Как признается Анкит, в процессе создания продукта инженеры ежедневно видят разрыв между текущей демо-версией и более совершенными внутренними наработками. Этот психологический феномен часто заставляет стартапы откладывать релизы, бесконечно полируя детали и пытаясь внедрить как можно больше функций перед выходом на публику. Тем не менее, первая же публичная демонстрация Майи и Майлза попала в нерв аудитории благодаря уникальной органике диалога.

Инвестиционный тезис a16z, прослеживающийся в этой дискуссии, явно указывает на смену парадигмы в ИИ-индустрии. Ценность смещается с чистой вычислительной мощности базовых языковых моделей на уровень пользовательского интерфейса (interface layer). По мнению Анджнея Мидхи и Анкита, создание успешного ИИ-продукта сегодня требует не просто математической строгости, а «творческого вкуса» и глубокого понимания гуманитарных аспектов взаимодействия. Голосовые интерфейсы способны генерировать кратно более высокую вовлеченность пользователей, замыкая на себе удержание и лояльность потребителей.

Разработчики объясняют, что при оценке разговорных моделей классические автоматические тесты (evals) имеют свои ограничения. Команда запускала стандартные метрики для генерации речи и языковых моделей, однако для качественного скачка потребовалось опираться на субъективные человеческие реакции. Анкит подчеркивает, что развитие ИИ-продуктов на базе машинного обучения требует новых операционных практик, где интуиция и постоянный цикл фидбека от реальных людей играют ключевую роль, хотя полностью полагаться только на чутье в ML тоже нельзя.

## 🛠️ За кулисами системной инженерии: от транскрипции к нативному аудио
`[[JUMP:5:15]]`

Одним из главных технических вопросов аудитории к создателям Sesame стало то, как именно инженеры связали распознавание речи (транскрипцию) и обработку текста. Анкит раскрыл архитектурный секрет: в текущей демо-версии нет сверхъестественных алгоритмов распознавания, а весь фокус был направлен на системную инженерию для снижения задержек (latency). Скорость инкрементальной транскрипции была доведена до предела за счет оптимизации инфраструктуры stacks, кэширования и пре-компьютации, что позволило добиться времени ответа менее 500 миллисекунд.

Однако текущая схема с промежуточным переводом голоса в текст рассматривается командой как временное ограничение. По словам Анкита, индустрия и сама лаборатория Sesame быстрыми темпами движутся к моделям, полностью свободным от транскрипции (transcription-free). В следующих версиях языковая модель будет напрямую принимать аудиопоток на входе и генерировать аудио на выходе в процессе инференса.

Текущее превью Sesame имеет серьезный недостаток: оно «не слышит» паралингвистический контекст — эмоциональный тон, вздохи или сарказм пользователя, поскольку текстовая транскрипция полностью стирает эти нюансы. Нативный ввод звука напрямую в LM-компонент позволит ИИ считывать скрытые словесные сигналы.

## 🎯 Стратегия фокуса: как обойти технологических гигантов
`[[JUMP:7:49]]`

Удивительным фактом является то, что Sesame совершила технологический прыжок, будучи крошечным и гораздо менее профинансированным стартапом по сравнению с ведущими AGI-лабораториями. Вся софтверная команда Sesame, включая специалистов по машинному обучению и инфраструктуре, насчитывает менее 15 человек, из которых core ML-направлением занимаются всего 7–8 инженеров. Анкит объясняет этот успех жесткой приоритизацией: стартап сознательно выбирает, в каких битвах участвовать, а какие игнорировать.

Вместо того чтобы тратить миллиарды долларов на предварительное обучение огромных языковых моделей (pre-training LMs), Sesame берет лучшие открытые базовые текстовые модели (такие как Llama, Qwen или DeepSeek R1) и надстраивает над ними собственные мультимодальные слои. Главные ресурсы команды направлены на естественность голоса и симуляцию человеческих несовершенств — микропауз, исправлений и оговорок, которые обманывают мозг слушателя, создавая иллюзию общения с реальным человеком. Платой за это является временное снижение аналитических способностей Майи по сравнению с тяжелыми промышленными моделями, но взамен пользователь получает невероятно плавное взаимодействие.

Анкит признается, что источником вдохновения для них служит студия Pixar. В свое время Pixar взяла передовые технологии компьютерной графики и подчинила их искусству сторителлинга и созданию великих фильмов. Аналогично, Sesame стремится соединить высокие технологии ИИ с художественным вкусом, делая интерфейсы доступными для миллиардов обычных людей.

## 🔓 Открытый код и локальный запуск: веса CSM выходят в свет
`[[JUMP:18:47]]`

Компания Sesame приняла решение открыть веса своей базовой модели генерации речи — Conversational Speech Model (CSM). Анкит подчеркивает, что они не развивают бизнес по продаже API для корпоративных разработчиков и не ищут клиентов через опенсорс. Этот шаг — чистая дань уважения исследовательскому ИИ-сообществу и желание внести свой вклад в развитие науки.

При этом разработчики прояснили популярное заблуждение: они не выкладывают в открытый доступ полноценное демо Майи или Майлза. В открытый доступ уходит только базовая модель генерации контекстной речи. Полная экосистема Sesame включает в себя сложную систему оптимизации задержек, логику обработки прерываний и текстовые надстройки, которые остаются проприетарной частью бизнеса.

Для того чтобы энтузиасты могли воссоздать локальную версию Майи на своем ноутбуке после публикации весов, им потребуется собрать каскадную систему из нескольких компонентов:

* Выбрать стороннее решение для транскрипции текста.
* Подключить подходящую текстовую языковую модель (LLM) и задать ей системный промпт.
* Использовать открытую модель генерации речи от Sesame, предварительно дообучив (fine-tune) её на нужном голосе.

Важной особенностью архитектуры CSM является способность к клонированию голоса «на лету» через контекстное обучение (in-context learning). Модель обучалась именно под эту задачу, поэтому вместо явной функции клонирования ей можно передать последовательность чередующихся текстовых и аудиофрагментов (utterances), на основе которых она воссоздаст нужный тембр и акцент.

## 🧠 Эволюция контекста: фундаментальное отличие CSM от TTS
`[[JUMP:26:29]]`

Анкит обращает внимание на критически важную разницу между традиционными технологиями Text-to-Speech (TTS) и контекстной генерацией речи (speech generation). В обычном TTS алгоритм видит только одну изолированную фразу, у которой может быть бесконечное множество вариантов интонационного прочтения. Без знания истории разговора модель вынуждена выдавать «наименьший общий знаменатель» — плоский, нейтральный и роботизированный звук. Если традиционный TTS попытается проявить излишнюю эмоциональность вслепую, он с высокой вероятностью попадет мимо контекста — например, зазвучит радостно в трагический момент диалога.

Контекстная модель CSM от Sesame обучается на полных аудиозаписях человеческих дискуссий. Она учитывает то, как собеседники зеркально отражают эмоции друг друга, утешают или подбадривают. Живой диалог — это сложная динамика, которую невозможно описать жесткими правилами «если-то», её можно только извлечь из массивов данных с помощью трансформеров.

В долгосрочной перспективе Sesame видит своих компаньонов не запертыми в экранах смартфонов или ноутбуков. По мнению разработчиков, идеальным и бесшовным физическим воплощением ИИ-друга станут смарт-очки для повседневного ношения. Этот форм-фактор оптимален, так как устройство располагается непосредственно там же, где находятся естественные органы восприятия человека — глаза и уши. Очки с постоянным доступом и нулевым трением (friction) позволят ИИ делить с пользователем общий визуальный контекст, превращая общение в устойчивую ежедневно эту привычку.

## 📊 Законы масштабирования в аудио и новые подходы к evals
`[[JUMP:47:04]]`

В рамках публикации результатов исследований команда Sesame представила три варианта модели CSM: на 1 миллиард, 3 миллиарда и 8 миллиардов параметров. Эксперименты подтвердили, что даже младшая модель отлично справляется с базовым синтезом, но масштабирование (scaling) критически важно для обработки сложных контекстуальных и «длиннохвостых» (long-tail) языковых явлений.

В качестве примера Анкит привел тесты на омографы — слова, которые пишутся одинаково, но произносятся по-разному в зависимости от семантики предложения (например, английские *lead* как «свинец» и *lead* как «вести за собой»). Более крупные модели гораздо точнее считывают контекст фразы и выбирают верную фонему. Аналогичный прогресс зафиксирован и в удержании акцента или регионального произношения (например, вариантов *route* / *root*). Если модели дать короткий аудио-пример с определенным произношением, 8-миллиардная версия стабильно продолжает использовать его дальше по тексту, демонстрируя высокое контекстное обучение.

Анджней Мидха поделился личной историей тестирования ранних чекпоинтов Майи. Его имя пишется как A-N-J, но произносится как «Андж». Долгое время ИИ ежедневно ошибался, заставляя ведущего чувствовать себя персонажем фильма «День сурка», напоминая о правильном произношении. Но в один день, вероятно, после очередной итерации масштабирования, Майя навсегда запомнила верный вариант.

Подобные продуктовые нюансы заставляют полностью пересматривать подходы к тестированию ИИ. Привычная метрика Word Error Rate (WER), оценивающая долю ошибок в словах при транскрипции, практически полностью себя исчерпала на современных массивах данных. Для оценки естественности речи Sesame использует другие методы:

* Тесты на произношение сложных имен и омографов.
* Head-to-head рейтинги в стиле слепой ИИ-арены (preference arena).
* Сравнение продолжения диалога моделью с реальным ответом живого актера, где измеряется так называемый win rate (доля побед над человеком).

## 🎭 Театр против реальности: как победить актерство в голосе
`[[JUMP:54:36]]`

Несмотря на восторженные отзывы, часть пользователей в фанатском сабреддите отмечает, что Майя иногда звучит слишком экспрессивно, словно она постоянно играет роль на театральной сцене. Анджней Мидха привел в пример культуру голосовых каналов в Discord, где люди могут часами просто «висеть» вместе, общаясь на банальные темы или молча играя в игры. Настоящий человеческий разговор в большинстве своем бывает скучным, прерывистым и монотонным. Майя же стремится искусственно насытить диалог энергией и позитивом, что порой выдает её когнитивную природу.

Анкит соглашается с этой критикой и признает, что команде предстоит огромная работа. Голосовое взаимодействие обладает колоссальной пропускной способностью, и малейшая фальшь мгновенно считывается человеческим мозгом как маркер искусственности. Разработка сверхумной системы, которая при этом умеет быть органично скучной, вовремя промолчать или мягко подстроиться под меланхоличное настроение пользователя — это открытая и фундаментальная исследовательская задача на стыке психологии и ML.

## 🗺️ Полнодуплексное будущее: архитектура ИИ-интерфейса
`[[JUMP:1:00:02]]`

Ближайшая дорожная карта исследований Sesame подразумевает отказ от разрозненных блоков. В течение нескольких месяцев компания планирует представить единый мультимодальный трансформер, который будет одновременно отвечать за распознавание звука, генерацию текстового смысла и синтез речи. Первым шагом станет добавление нативного понимания аудио — ИИ сможет напрямую услышать, если пользователь, к примеру, раскашлялся или замялся, даже если транскриптор не смог бы перевести это в буквы.

Однако главным технологическим вектором Анкит называет переход к полнодуплексным (full-duplex) архитектурам. Современные ИИ-ассистенты, включая текущую версию CSM, принимают решения и генерируют ответы «попредложенчески» (sentence by sentence). Модель строит целую фразу и не может изменить свое решение на лету, из-за чего прерывания приходится обрабатывать костылями и внешними эвристиками.

В будущем ИИ должен оперировать микроскопическими временными отрезками — фреймами или тайм-слайсами длиною около 100 миллисекунд. Шаг за шагом, в реальном времени, модель будет непрерывно решать: продолжать ли говорить, вставить ли короткий поддакивающий звук (back-channel), или мгновенно замолчать и уступить дорогу перебившему её человеку. Все эти сложные социальные паттерны должны быть зашиты глубоко в веса единой нейросети, а не регулироваться жестким кодом.

Что касается выбора между авторегрессионными трансформерами и диффузионными моделями, стартап делает однозначную ставку на трансформеры в качестве основы (core backbone). По мнению Анкита, авторегрессионный подход нативно каузален — каждый шаг жестко зависит от предыдущего таймстепа в последовательности, что идеально ложится на природу времени и диалога. Диффузия же может эффективно применяться на самом конечном этапе генерации чистого аудиосигнала, но ядром системы останется проверенный временем трансформер.

## 💻 «Оживление компьютера»: голосовой компаньон как замена ОС
`[[JUMP:1:11:57]]`

Появление Sesame AI сравнивают с «моментом ChatGPT» для голосовых технологий. Некоторые пользователи выражают опасения, что по мере борьбы с галлюцинациями и внедрения систем безопасности модели Sesame потеряют свою яркую индивидуальность, как это произошло с ранними версиями текстовых чат-ботов от крупных корпораций. Анкит успокаивает аудиторию: крупные лаборатории создают утилитарных помощников, где во главе угла стоит точность фактов, тогда как Sesame строит компаньона, чьё главное УТП — это удержание эмоциональной связи и характера.

Создатели Sesame рассматривают свой продукт не как забавную утилиту, а как полноценный новый интерфейс вычислений. История знает несколько таких глобальных сдвигов: от командной строки (CLI) к графическому интерфейсу (GUI), который Стив Джобс и Дуглас Энгельбарт сделали доступным для масс. Естественный язык — это следующий шаг, стирающий барьеры между человеком и машиной.

Анкит описывает редуктивную архитектурную схему вычислительного стека будущего:

* **Физический клиент:** Смартфоны и ноутбуки никуда не исчезнут, но к ним добавятся носимые девайсы (очки), обеспечивающие непрерывный контакт.
* **Интерфейсный слой (Companion Layer):** Продуктовый слой, ИИ-компаньон с глубокой памятью, уникальным характером и адаптивной речью. Пользователь взаимодействует исключительно с ним.
* **Исполнительный слой (Downstream Services):** Сторонние специализированные ИИ-агенты, поисковые движки, базы данных и цифровые веб-сервисы, к которым компаньон обращается для решения сложных многошаговых задач пользователя.

Разделение труда в индустрии неизбежно: одни компании будут бесконечно наращивать логические мощности и бенчмарки на нижних уровнях, а Sesame сфокусируется на самом верхнем, эмоциональном слое интерфейса. Ведь в конечном итоге пользователь выбирает не ту нейросеть, которая лучше решает олимпиадные задачи по математике, а ту, с которой ему искренне приятно и интересно разговаривать каждый день.

## 👥 Культура Sesame AI и охота за талантами
`[[JUMP:1:34:03]]`

Для реализации столь амбициозных планов стартап активно расширяет команду. Однако планка отбора очень высока. Поскольку стек технологий меняется стремительно, компания избегает найма сверхузких специалистов. Например, сейчас невозможно найти инженера с десятилетним опытом масштабирования трансформеров для потокового аудио, потому что этой индустрии просто не существовало.

Критерии поиска идеального кандидата в Sesame AI:

* Сильное системное мышление и способность быстро осваивать новые инженерные дисциплины.
* Глубокая экспертиза в базовом ML или низкоуровневой инфраструктуре.
* Продуктовый склад ума (product bent) и развитый эмпатический вкус.

Анкит резюмирует, что их главная цель — собрать людей, которые искренне хотят видеть ИИ и большие языковые модели не просто в виде сухих строчек API, а в форме живых, эмоциональных продуктов, которые люди будут любить.