В новом выпуске подкаста The TWIML AI Podcast Кэтрин Дж. Кученбекер, директор Института интеллектуальных систем Макса Планка, подробно рассказала о развивающейся области тактильного интеллекта в робототехнике. Эксперт поделилась результатами многолетних исследований по интеграции осязания в искусственные системы — от создания искусственной кожи со встроенными камерами до разработки роботов для объятий. Объединяя мехатронику и глубокое обучение, ее лаборатория стремится преодолеть ограничения традиционного компьютерного зрения и наделить роботов способностью безопасно и эффективно взаимодействовать с физическим миром.
🎓 Путь в робототехнику: от волейбольной площадки до лаборатории Макса Планка 0:00
Кэтрин Дж. Кученбекер выросла в Калифорнии в семье профессора исследовательской психологии и практикующего хирурга. Желание создавать технологии, приносящие реальную пользу людям, а также серьезное увлечение волейболом привели её в Стэнфордский университет. Там она изучала машиностроение, сфокусировавшись на проектировании интеллектуальных систем, оснащенных датчиками, актуаторами и программным обеспечением. Во время учебы в магистратуре Кученбекер в течение двух лет работала ассистентом в машинной мастерской, где обучала студентов основам проектирования и производства: сварке, литью бронзы и фрезерованию алюминия.
Свою докторскую степень (PhD) она получила под руководством Гюнтера Нимайера (Gunter Niemeyer), одного из первых инженеров компании Intuitive Surgical, принимавшего участие в создании знаменитого медицинского робота Da Vinci. Как вспоминает Кученбекер, их объединила общая страсть к волейболу и понимание того, что робототехника находится на стыке механики, электроники и программирования. После краткосрочного постдока в Университете Джонса Хопкинса она на протяжении девяти с половиной лет развивала академическую карьеру в Пенсильванском университете в составе исследовательской группы GRASP Lab. Именно там она начала активно заниматься автономными роботами, интегрируя в их системы датчики касания. В январе 2017 года Кэтрин Дж. Кученбекер переехала в Германию, заняв пост директора Института интеллектуальных систем Макса Планка.
🧠 Что такое тактильный интеллект и почему роботам не хватает кожи 3:40
В то время как подавляющее большинство современных исследователей искусственного интеллекта сосредоточено на компьютерном зрении и обработке слуховой информации, осязание (haptics) остается малоизученной областью. По словам Кэтрин Дж. Кученбекер, полноценное тактильное восприятие человека состоит из двух базовых компонентов:
- Кожная чувствительность (cutaneous sense) — распределенные по всему телу специализированные клетки-рецепторы, которые фиксируют площадь контакта, скольжение объекта, вибрацию, растяжение кожи и изменение температуры. Традиционные роботы практически полностью лишены подобной «кожи».
- Кинестетическое восприятие — непрерывный поток данных от суставов и мышц, который позволяет головному мозгу оценивать собственные движения тела в пространстве и измерять силу физического сопротивления среды.
Эксперт отмечает, что осязание по своей природе глубоко интерактивно: между прикосновением и действием существует замкнутая и невероятно быстрая петля обратной связи. Человек может совершать едва заметные глазу микродвижения пальцами, мгновенно считывая текстуру и свойства материала. Традиционный подход инженеров-робототехников часто сводится к банальной установке датчика силы в запястье робота. Однако такое решение, как утверждает Кученбекер, имеет серьезные недостатки: датчик в запястье не способен регистрировать нагрузки, возникающие выше по манипулятору, и не дает точной информации о конкретном месте контакта. Кроме того, человеческая кожа особенно чувствительна к переходным процессам (transients) — резким изменениям стимулов, что критически важно для адаптивного поведения в нестабильных средах.
🗂 Обучение роботов языку прикосновений: первые шаги в машинном обучении 12:27
Кэтрин Дж. Кученбекер признается, что базовое образование инженера-механика заставляло ее верить исключительно в строгие законы физики, второй закон Ньютона и уравнения движения. Однако реальный мир слишком грязный, нелинейный и сложный для идеализированных математических допущений. Чтобы роботы могли эффективно взаимодействовать с окружением, ученым потребовались инструменты машинного обучения, способные распознавать скрытые паттерны в массивах тактильных данных.
Первым опытом использования алгоритмов ИИ в практике Кученбекер стал проект, финансируемый агентством DARPA во время её работы в Пенсильванском университете. В рамках этой инициативы велось исследование по «заземлению языка» (grounded language acquisition) совместно с Тревором Дарреллом (Trevor Darrell) из Беркли. Цель заключалась в том, чтобы научить роботов связывать абстрактные слова-прилагательные с их реальными физическими ощущениями. Гуманоидного робота PR2 оснастили передовыми на тот момент датчиками касания и заставили взаимодействовать с базой из 60 предметов. Параллельно те же предметы оценивали люди, сформировав массив данных Penn Haptic Adjective Corpus. Применяя метод опорных векторов (SVM) и ручное извлечение признаков, исследователи научили робота успешно классифицировать новые предметы по категориям «скользкий», «приятный», «царапающий» или «мягкий».
🔎 Проект Insight: «Зрячий» палец с искусственной нейросетью внутри 16:07
В лаборатории Института Макса Планка совместно с доктором Георгом Мартиусом (Georg Martius) и аспирантом Гуаньбо Босоном (Guanbo Boson) был запущен проект по созданию оптико-тактильного датчика под названием Insight. Устройство полностью копирует форму и размеры трехмерного человеческого большого пальца и обладает мягкой деформируемой структурой.
Вместо традиционных электронных сенсоров давления, внутри этого искусственного пальца установлена стандартная коммерческая миниатюрная видеокамера, направленная на внутреннюю сторону оболочки. За счет структурированного освещения камера фиксирует малейшие смещения и деформации «кожи» изнутри. Полученные видеокадры в режиме реального времени обрабатываются глубокой нейросетью на базе архитектуры ResNet. Вместо предсказания дискретных точек контакта, модель генерирует непрерывное трехмерное облако векторов силы. Это позволяет пальцу Insight определять не только нормальное перпендикулярное давление, но и тангенциальные силы сдвига, возникающие при боковом скольжении. Для сбора обучающей выборки ученые использовали автоматизированный плоттер-гантр, который методично простукивал сенсор 4-миллиметровым индентором под разными углами и с изменяемой силой.
🤖 Роботы для объятий и бесконтактный фитнес-тренер 25:16
Одним из самых медийных проектов команды Кэтрин Дж. Кученбекер стал Huggybot — специализированный робот для объятий, разработку которого возглавляет аспирантка Алексис Блок (Alexis Block). Модель Huggybot 2.0 получила мягкое пневматическое туловище (созданное по принципу надувной пляжной игрушки) с системой подогрева, а также внутренний микрофон и датчик давления. Применяя алгоритмы машинного обучения, инженеры создали версию Huggybot 3.0, которая распознает действия человека в режиме реального времени. Робот понимает, когда его похлопывают по спине, сжимают или гладят, и мгновенно меняет свое поведение. На основе тестов с участием более чем 20 добровольцев система научилась определять идеальный момент для прекращения объятий, отпуская человека сразу же, как только тот ослабляет хватку. По словам Кученбекер, предварительные анализы данных указывают на удивительный психологический феномен: некоторые пользователи предпочитают обнимать именно робота, так как в этом взаимодействии полностью отсутствует социальное давление и страх предвзятого осуждения.
Параллельно на международной конференции ICRA команда представила проект Robot Interaction Studio, направленный на бесконтактное взаимодействие человека и машин. В рамках этого эксперимента гуманоидный робот Baxter выступает в роли фитнес-инструктора. Робот управляется коммерческой оптической системой трекинга Capturing, состоящей из 10 камер, установленных по периметру комнаты. Система без каких-либо датчиков или маркеров на теле человека за 20 секунд выстраивает точный цифровой скелет пользователя. Baxter отслеживает положение атлета в помещении, устанавливает визуальный контакт при помощи дисплея-лица и жестами демонстрирует физические упражнения, корректируя движения человека при возникновении ошибок.
📹 Живые демонстрации против концепции «доказательства по видео» 33:38
В академической среде робототехников долгое время циркулировала ироничная шутка о существовании метода «доказательства по видео» (proof by video). Под этим подразумевалась ситуация, когда исследователям удавалось заставить робота корректно выполнить сложную задачу всего один раз, зафиксировать это на камеру и отправить успешный ролик вместе со статьей на рецензирование. Кэтрин Дж. Кученбекер подчеркивает, что в сфере разработки тактильных интерфейсов и осязания подобная практика давно не работает. Рецензенты научных журналов и конференций крайне скептически относятся к сухим математическим описаниям без практической верификации.
Для получения академического признания авторам необходимо привлекать к тестированию абсолютно независимых, наивных пользователей, не входящих в состав исследовательской группы. Более того, Кученбекер настоятельно рекомендует коллегам привозить свои реальные интерактивные системы на международные конференции для открытых живых демонстраций. Эксперт соглашается, что показывать сырые прототипы мировому сообществу вживую — это колоссальный стресс, однако именно публичные тесты, в ходе которых другие ученые пытаются сломать или перегрузить устройство, формируют настоящую репутацию и доказывают надежность предложенных алгоритмов.
🌍 Менторство, разнообразие бэкграундов и гуманизм в науке 37:08
Являясь женщиной-ученым в сферах машиностроения и искусственного интеллекта, где традиционно преобладают мужчины, Кэтрин Дж. Кученбекер активно инвестирует ресурсы в диверсификацию научной среды. На текущий момент ее исследовательская группа в Институте Макса Планка примерно на 50% состоит из женщин и объединяет молодых специалистов из десятков стран мира. В её лаборатории работают выпускники самых разных направлений — от классической механики до чистой компьютерной лингвистики.
Кученбекер убеждена, что разнообразие культурных бэкграундов и подходов к мышлению ежедневно помогает коллективу находить нетривиальные решения на стыке дисциплин. Несмотря на культурные различия, которые порой возникают на практике (например, взаимодействие со студентами из регионов, где не принято прикасаться к женщинам), лаборатории удается сохранять продуктивную и уважительную рабочую атмосферу. По признанию Кэтрин Дж. Кученбекер, личные успехи её подопечных, их карьерный рост и выстроенные долгосрочные человеческие взаимоотношения для неё имеют гораздо большую ценность, чем публикации в высокорейтинговых журналах или формальные научные метрики.
