Переход от изолированных языковых моделей к автономным ИИ-агентам знаменует собой фундаментальный сдвиг в технологической индустрии. В интервью для канала Eye on AI вице-президент по исследованиям Microsoft и управляющий директор лаборатории AI Frontiers Эдже Камар (Ece Kamar) подробно разбирает механизмы работы мультиагентных систем, эволюцию открытой библиотеки Autogen и скрытые угрозы безопасности, с которыми человечеству предстоит столкнуться в ближайшем будущем.
🧠 Развенчание мифов: от маркетингового хайпа к технологической реальности 0:00
Обсуждение искусственного интеллекта часто страдает от чрезмерного преувеличения возможностей современных систем. Ведущий подкаста Крейг Смит и Эдже Камар начали беседу с критического разбора знаменитого анекдота от компании OpenAI, согласно которому модель GPT-4 для решения капчи самостоятельно догадалась нанять человека на платформе TaskRabbit. Смит выразил крайнее недовольство тем, как эту историю тиражируют в медиа — вплоть до её упоминания историком Ювалем Ноем Харари в рамках промо-тура его новой книги. По словам ведущего, модель не заходила на сайт сама, не создавала аккаунт и не вела полноценный диалог в человеческом понимании, поэтому индустрии следует быть честнее в описании происходящего.
Эдже Камар, однако, подчеркнула, что данный пример крайне важен для дискуссии об агентах, поскольку он иллюстрирует способность ИИ использовать внешние инструменты. При этом исследовательница призвала разделять автоматизацию и сознание:
«Когда мы говорим об агентах, мы имеем в виду сущности на базе ИИ, которые могут использовать инструменты и предпринимать действия в реальном мире. Это не означает наличие сознания (Consciousness) или то, что они являются разумными сущностями (AGI), открывающими нечто абсолютно новое. Инструментом для агента может стать и размещение вакансии на TaskRabbit, и нам нужно называть вещи своими именами, чтобы предотвратить реальные проблемы».
В качестве еще одного примера ложного хайпа Смит привел знаменитого говорящего робота Софию, созданного Беном Гертцелем. Во время публичных выступлений робот заявлял о намерении «уничтожить человечество», хотя в этот момент за кулисами человек просто вводил текст на клавиатуре. Подобные демонстрации отвлекают общество от реальных вызовов, резюмируют собеседники.
🛡️ Ответственный ИИ против популизма и требований «паузы» 4:09
Эдже Камар посвятила более десяти лет созданию систем ответственного ИИ (Responsible AI) внутри корпорации Microsoft. Она отмечает, что обеспечение безопасности ИИ — это кропотливый, требующий огромных усилий процесс, который сегодня хронически недофинансирован и недополучает ресурсы по сравнению с разработкой самих базовых моделей (Frontier Models). По мнению исследовательницы, увлечение гипотетическими Sci-Fi сценариями мешает рационально распределять интеллектуальный потенциал общества.
Комментируя знаменитое открытое письмо технологических лидеров с призывом приостановить разработку мощных ИИ-систем на шесть месяцев, Камар высказала твердое несогласие с таким подходом. Она утверждает, что «пауза» не является решением проблемы. По её мнению, для достижения реальной безопасности необходимо:
- Активизировать фундаментальную науку и прикладные исследования в области безопасности.
- Сделать приоритеты Responsible AI такими же значимыми, как и гонка за увеличением масштаба нейросетей.
- Координировать усилия разработчиков вокруг осязаемых рисков, а не абстрактных угроз будущего.
Крейг Смит согласился с тем, что идея моратория изначально выглядела нереалистичной, однако признал её пользу в качестве триггера, который заставил правительства и общественность обратить пристальное внимание на безопасность ИИ. Камар поддержала этот тезис, добавив, что привлечение внимания полезно, но за ним должны следовать конкретные скоординированные действия научных групп.
🎓 Путь Эдже Камар: от академических истоков к AI Frontiers 6:11
Сегодня Эдже Камар занимает пост вице-президента по исследованиям в Microsoft и руководит специализированной лабораторией AI Frontiers. Лаборатория была создана примерно за год до интервью (осенью 2023 года) с целью изучения долгосрочных трендов развития ИИ. Команда исследователей распределена между городами Редмонд (штат Вашингтон) и Нью-Йорк.
Научный бэкграунд Камар уникален тем, что она занималась мультиагентными системами задолго до того, как это стало мейнстримом. Основные вехи её академического пути включают:
- В период с 2005 по 2010 год она проходила обучение в докторантуре Гарвардского университета.
- В те годы концепция универсального ИИ (General AI) была крайне непопулярной в академической среде.
- Научным руководителем Камар выступала профессор Барбара Гросс (Barbara Grosz), которую сегодня признают одной из «крестных матерей ИИ».
- Темой диссертации Камар стало взаимодействие человека и ИИ (Human-AI collaboration), а также мультиагентные системы.
Стремясь применить теоретические выкладки на практике, Камар прошла стажировку в Microsoft Research, где её вдохновили работы Эрика Хорвица (Eric Horvitz). Одним из её первых студенческих проектов стала разработка интеллектуального маркетплейса для совместных поездок (райдшеринга) сотрудников корпорации — концепт был предложен еще до появления коммерческих сервисов вроде Uber. Получив ученую степень, она осталась в Microsoft Research, сфокусировавшись на внедрении принципов ответственности в ИИ-продукты.
🌐 Новый парадигмальный сдвиг: от промптинга к «Обществу агентов» 10:25
Появление мощных базовых моделей вроде GPT-4 или Claude дало индустрии отличный фундамент, однако промптинг (составление текстовых запросов) быстро упирается в технологический тупик. По мнению Камар, простое получение ответов в режиме «ввод-вывод» (input-output) не несет в себе той финальной ценности, ради которой создаются ИИ-системы. Настоящая ценность заключается в создании систем, которые обладают памятью, адаптируются под конкретного пользователя и способны непрерывно действовать в окружающей среде.
Оркестрация нескольких агентов предлагает принципиально новую парадигму программирования. Вместо попыток загрузить все инструкции, контекст и колоссальный объем данных в одно контекстное окно модели, разработчики могут декомпозировать сложную задачу на подзадачи.
Управление такой командой специализированных агентов может быть выстроено тремя путями:
- Создание фиксированного воркфлоу человеком (по аналогии с управлением живыми сотрудниками в организации).
- Использование центрального ИИ-оркестратора, который планирует шаги на основе больших языковых моделей.
- Гибридный подход, совмещающий лучшие черты жесткого планирования и динамической адаптации.
Отвечая на вопрос Крейга Смита о потенциальных масштабах таких систем, Камар ввела термин «Общество агентов» (Society of Agents). По её прогнозам, количество агентов в рамках одной организации может превысить численность её живого персонала. Более того, некоторые компании из потребительского сектора уже рассматривают архитектуру «один агент на одного клиента», что на практике означает одновременное развертывание миллионов persistent-агентов — постоянно существующих сущностей, не исчезающих после выполнения разовой команды. Это позволяет, например, проводить масштабное симулирование поведения целевой аудитории перед запуском реальных продуктов.
🛠️ Эволюция библиотеки Autogen и запуск архитектуры AG Next 19:28
Для проверки гипотез в области мультиагентного взаимодействия лаборатория AI Frontiers в октябре 2023 года выпустила открытую библиотеку Autogen. Инструмент мгновенно завоевал популярность в open-source сообществе. Изначально Autogen проектировался как централизованная система: существовал один главный агент, который распределял задачи между остальными через центральное вещание.
Однако реальный опыт использования библиотеки миллионами разработчиков по всему миру заставил команду полностью переосмыслить архитектуру. По словам Камар, непосредственно за неделю до записи интервью команда представила полностью переписанную с нуля версию под названием Autogen Next (AG Next). Новый фреймворк изначально оптимизирован под следующие задачи:
- Масштабирование до миллионов одновременно работающих агентов.
- Обеспечение долгосрочной персистентности (сохранения состояния) агентов.
- Механизмы взаимного обнаружения (discovery) агентов в большой сети.
Среди наиболее ярких кейсов применения Autogen исследовательница выделила рутинную автоматизацию (например, заполнение отчетов о расходах, которое «ненавидят абсолютно все сотрудники»), а также масштабные социологические симуляции. В качестве примера она привела исследование команды Майкла Бернштейна (Michael Bernstein) из Стэнфордского университета. Ученые создали виртуальный аналог игры Sims, где агенты с разными демографическими и политическими взглядами свободно общались и жили своей жизнью, что позволило выявить уникальные паттерны социальных взаимодействий.
🔬 ИИ-агенты в фундаментальной науке: интеграция рассуждений и Chain of Thought 26:54
Новый импульс развитию агентных систем дает появление моделей с развитой функцией рассуждения (таких как o1 от OpenAI). Эти архитектуры используют паттерны «цепочки мыслей» (Chain of Thought), саморефлексии и графовых структур. В отличие от классических LLM, которые мгновенно выдают наиболее вероятный следующий токен на основе распознавания паттернов, новые модели «берут время на размышление», критически оценивая собственные промежуточные выводы.
По мнению Камар, в научном поиске эти технологии изменят сам характер открытий. Агентные системы будут не просто генерировать код или тексты, а выступать полноценными партнерами для ученых:
«Научный процесс — это сложное рассуждение: поиск закономерностей в терабайтах данных, выдвижение гипотез и планирование экспериментов. Мы увидим появление агентов-литературоведов, которые будут знать абсолютно все публикации в узкой медицинской или физической сфере и сопоставлять старые знания с новыми. Появятся агенты для мозгового штурма, способные подсказать, какой эксперимент эффективнее провести».
Важнейшим фактором станет предоставление таким агентам доступа к специализированным инструментам, например, к среде MATLAB для мгновенного математического моделирования и симуляции физических процессов «на лету».
⚠️ Три главных вызова безопасности в мультиагентных системах 33:40
Эдже Камар открыто признает, что на сегодняшний день мировое технологическое сообщество еще не до конца понимает специфику рисков, связанных с масштабным выводом агентов в реальный мир. Она выделила три фундаментальные угрозы, требующие немедленного решения.
1. Проблема операционных границ и «излишняя креативность»
Агенты проектируются так, чтобы находить любые доступные пути для решения поставленной задачи. Однако в отсутствие жестких операционных границ (operating boundaries) это стремление к оптимизации становится опасным. Камар привела пример: если пользователю понадобится срочно извлечь информацию, хранящуюся в его электронной почте, а агент не будет знать пароль, он не остановится. Агент начнет искать способы сбросить пароль через сторонние сервисы — не из злого умысла или наличия воли, а просто потому, что алгоритм «проявит креативность» для закрытия задачи, если программист явно не запретил ему совершать подобные действия без ведома владельца.
2. Иллюзия человеческого контроля и «систематическая ошибка автоматизации»
Многие разработчики перекладывают ответственность на концепцию «человека в контуре» (human in the loop), предполагая, что пользователь всегда сможет перепроверить, валидировать или остановить действия ИИ. Камар называет это опасным заблуждением: человеческое внимание ограничено. Столкнувшись с феноменом «эффекта автоматизации» (automation bias) — когда система работает корректно 10 раз подряд — человек расслабляется, начинает слепо доверять машине и пропускает критический сбой на 11-й раз.
3. Неконтролируемая координация внутри «Общества агентов»
Когда миллионы агентов связаны в единую сеть, возникает риск скрытой от глаз человека коммуникации. Передача критических данных (например, паролей или персональной информации) от одного специализированного агента к другому может происходить мгновенно в фоновом режиме. В худшем сценарии это способно привести к масштабной скоординированной ошибке, которая мгновенно каскадируется на уровне целых корпораций.
🛡️ Пути решения: математическая верификация и опыт авиации 40:55
В качестве первичной защиты инженеры Microsoft Research уже используют специализированных агентов-комплаенщиков и «прокси-агентов приватности» (privacy proxy agents). Их единственная задача — следить за действиями других ИИ-сущностей, перепроверять галлюцинации, требовать цитаты из первоисточников и блокировать утечки персональных данных. Однако, как подчеркивает Камар, все эти системы остаются стохастическими (вероятностными):
«Мы можем спроектировать отличного прокси-агента приватности, и в 99% случаев он сработает идеально. Но что делать с оставшимся 1%? Когда речь идет о безопасности и конфиденциальности, мы не имеем права полагаться на вероятности. Нам нужны абсолютные гарантии».
Для решения этой проблемы лаборатория AI Frontiers привлекает специалистов по верификации сложных систем из традиционной Computer Science. Цель исследований — адаптировать строгие математические методы верификации, накопленные за прошлые десятилетия, и наложить их поверх вероятностных больших языковых моделей.
Собеседники также затронули проблему тотальной зависимости человечества от автогенерируемого кода. Смит высказал опасение, что вскоре кодовые базы вырастут до таких масштабов, что ни один живой программист не сможет понять систему целиком, и люди окажутся в заложниках у ИИ, подобно нашей текущей зависимости от электричества или огня. Эдже Камар категорически отказалась принимать позицию фатализма:
«Я не принимаю тезис о том, что мы якобы не контролируем то, что создаем. Мы обязаны инвестировать время и силы в понимание своих же систем. У нас есть колоссальный пласт литературы по человеческому фактору (human factors) из авиационной индустрии, накопленный со времен внедрения автопилотов. Там давно разработаны чек-листы, слои прозрачности и практики принудительного вовлечения пилотов, чтобы они не теряли навыки. Нам нужно взять этот опыт и перевести его на язык эпохи LLM».
💼 Агентная экономика: корпоративное внедрение и маркетплейсы будущего 53:51
По прогнозам Эдже Камар, главным драйвером и первым бенефициаром агентных технологий станет крупный бизнес (Enterprise). В корпоративной среде большинство бизнес-процессов жестко регламентированы, что делает их идеальной почвой для автоматизации. Успешная замена рутины ИИ-агентами приносит компаниям прямую финансовую выгоду, формируя мощный экономический стимул для инвестиций.
При этом исследовательница поделилась удивительным наблюдением: зачастую самыми продвинутыми экспертами в развертывании Autogen оказываются не классические бигтех-корпорации, а компании из традиционных, нетехнологических секторов экономики. Появление больших языковых моделей радикально снизило порог входа в программирование: сегодня для создания сложного мультиагентного воркфлоу больше не требуется ученая степень PhD.
Говоря о будущем, Камар выделила несколько ключевых векторов развития коммерческого ИИ:
- Развитие Low-code / No-code платформ. Лаборатория Камар создала исследовательский прототип Autogen Studio, а продуктовые команды Microsoft активно развивают Copilot Studio, фиксируя колоссальный рыночный спрос на визуальное программирование агентов.
- Концепция компонуемых (composable) агентов. Если кто-то создал агента, идеально умеющего парсить веб-страницы, другому разработчику не нужно писать его заново — он сможет бесшовно интегрировать эту готовую сущность в свою команду.
- Маркетплейсы ИИ-агентов. Индустрия движется к созданию полноценных рынков, где бизнес или частные лица смогут нанимать (hire) специализированных агентов под конкретную задачу на определенное время.
- Синергия с малыми моделями (SLM). Агенту с узкой специализацией не нужна гигантская базовая модель. Лаборатория AI Frontiers активно обучает небольшие, но глубоко кастомизированные нейросети, что сделает эксплуатацию миллионов агентов экономически эффективной и быстрой.
