# Дэвид Хольц о будущем VR/AR: безлинзовые камеры, скелетный трекинг и расширение органов чувств Источник: https://www.youtube.com/watch?v=S_hm6aqr8D8 Канал: Leap Motion Опубликовано: 19.07.2016 --- В виртуальном пространстве AltspaceVR состоялась встреча с техническим директором и сооснователем компании Leap Motion Дэвидом Хольцем. В ходе сессии вопросов и ответов Хольц представил свое видение эволюции устройств виртуальной (VR) и дополненной (AR) реальности, а также объяснил, почему интеграция человеческих рук в цифровое пространство является ключом к созданию по-настоящему естественного интерфейса. ## 👐 Технология трекинга рук: скелетная модель и низкая задержка [[JUMP:02:30]] Основой разработок Leap Motion является миниатюрное устройство с двумя камерами, которое крепится на VR-гарнитуру и создает конус обзора, сопоставимый с человеческим зрением [02:44]. По словам Хольца, ключевым достижением компании стал переход к «скелетному трекингу» (skeletal tracking). В отличие от ранних систем, которые отслеживали только кончики пальцев, современная модель Leap Motion понимает всю структуру кисти как единое целое [03:48]. Это позволяет системе сохранять точность, даже если часть руки скрыта из виду. Хольц приводит примеры: «Если я спрячу большой палец за ладонь или переплету пальцы обеих рук, система продолжит вычислять их положение» [04:00]. Огромное внимание уделяется быстродействию: * Частота кадров составляет от 100 до 120 FPS [03:09]. * Задержка (latency) передачи изображения — около 8 мс [04:26]. * Общая задержка с учетом реконструкции модели руки — порядка 12–15 мс [04:26]. Хольц подчеркивает, что Leap Motion не считает себя производителем оборудования. Главная цель компании — лицензирование программного обеспечения для встраивания трекинга рук непосредственно в гарнитуры других производителей, особенно в сегменте мобильных VR-устройств [07:14]. ## 👓 Три поколения гарнитур: от «коробок» к стильным очкам [[JUMP:07:55]] Дэвид Хольц выделил три этапа развития носимых дисплеев: 1. **Первое поколение:** Текущие стационарные гарнитуры с проводами и мощными компьютерами [08:07]. 2. **Второе поколение (текущий момент):** Мобильные VR-устройства со встроенными процессорами. Хольц отмечает, что скоро появятся решения без телефонов — специализированные автономные девайсы [15:36]. 3. **Третье поколение:** Компактные устройства, использующие волоконно-оптические коллиматоры. Эта технология позволяет изогнуть плоский экран вокруг глаза, что делает оптику проще, а устройство — значительно меньше нынешних гарнитур [09:09]. Особый акцент Хольц делает на AR-системах с голографическими OLED-дисплеями [10:57]. В таких очках на пластиковую подложку наносятся микроскопические светодиоды, свет от которых отражается от голографической оптики прямо в глаз пользователю. Такие устройства будут выглядеть как обычные солнцезащитные очки и станут предметом повседневного ношения [11:47]. ## 📷 Эволюция сенсоров и расширение человеческих чувств [[JUMP:12:13]] Для реализации компактных AR-очков необходима миниатюризация камер. Хольц продемонстрировал «безлинзовые камеры» [13:16], где изображение формируется не оптикой, а вычислительными алгоритмами на базе данных с чипа. Согласно прогнозам спикера, в ближайшие годы на гарнитурах будет располагаться до 10 сенсоров: * Два нацелены на глаза (для отслеживания взгляда и фокуса) [14:07]. * Восемь направлены вовне для создания панорамного обзора в 360 градусов [14:20]. * Камеры, направленные вниз, смогут считывать движения ног, тела и даже мимику рта [14:33]. Это приведет к феномену «расширенных чувств». Дети будущего смогут видеть в инфракрасном диапазоне, использовать ультразвук или подключаться к камерам летящих рядом дронов, воспринимая это как естественную часть своего зрения [21:27]. Хольц считает, что грань между цифровым и физическим сотрется: «Некоторые вещи сделаны из атомов, другие — из битов и байтов, но они сосуществуют в одном пространстве» [20:35]. ## 🧠 Искусственный интеллект как инструмент сжатия [[JUMP:42:18]] Обсуждая роль ИИ, Хольц привел теорию Юргена Шмидхубера (одного из отцов современного ИИ), согласно которой интеллект и даже сознание — это побочные продукты сжатия данных [45:24]. Мозг не может хранить всю входящую информацию, поэтому он сжимает её в абстрактные понятия (например, вместо описания каждого пикселя мы видим «динамик»). «Сознание — это когда в вашем мозге активируется сжатое понятие ”самого себя”, — поясняет Хольц. — Чем чаще этот образ активируется, тем более сознательным вы себя чувствуете» [46:50]. Он полагает, что в будущем ИИ поможет людям оперировать сложными абстракциями (например, квантовыми волнами) так же легко, как мы сейчас управляемся с футбольным мячом [23:13]. ## 🧪 Образование и промышленность в VR [[JUMP:55:48]] По мнению Хольца, VR радикально изменит обучение. Вместо абстрактных формул ученики смогут буквально взаимодействовать с гравитацией или молекулярными связями, задействуя физическую и интуитивную память [56:14]. В промышленности ключевым трендом станет эффект телеприсутствия. Хольц описывает сценарий, где специалист по ремонту реактивных двигателей сможет «вселяться» в робота в другой части света [1:21:31]. В процессе выполнения работы человек будет обучать робота: «Выполнив операцию несколько раз, вы отключаетесь, а робот продолжает делать это уже самостоятельно, научившись на ваших движениях» [1:21:03]. ## ❓ Ответы на вопросы сообщества [[JUMP:25:27]] * **О тактильной отдаче (haptics):** Хольц считает, что аудиовизуальная синестезия (когда звук и видео создают иллюзию касания) эффективнее громоздких перчаток [30:08]. Например, звук скольжения пальца по бархату может заставить мозг «почувствовать» текстуру. * **О трекинге тела:** В будущем внешние камеры (аналоги Lighthouse) станут самостоятельными вычислительными узлами, которые будут беспроводным способом передавать данные о положении тела пользователя [29:03]. * **О совместимости с Gear VR:** Главная проблема — ограничения USB-порта смартфона. Софт Leap Motion уже оптимизирован для мобильных процессоров, но требуется аппаратная интеграция со стороны производителей телефонов [48:08]. * **Об интерфейсах:** Спикер критикует избыток кнопок в VR. Он предлагает использовать 3D-пространство более органично: например, музыкальная библиотека в виде облака пузырьков, которые перегруппировываются в зависимости от ваших предпочтений [54:31].