Нолан Арбо побил мировой рекорд скорости управления курсором мозгом

Wes Roth 28,7 тыс. 31 мин 6 мин 10.05.2024
Главное

Популярный техноблогер Уэс Рот (Wes Roth) представил детальный разбор уникальной прямой трансляции Нолана Арбо (Nolan Arbaugh) — первого в мире пациента с вживленным нейрочипом Neuralink. Нолан, полностью парализованный ниже шеи, продемонстрировал широкой аудитории, как силой мысли можно не просто управлять персональным компьютером, но и побеждать в сложных видеоиграх, обходя по эффективности здоровых людей. Данный материал представляет собой подробный разбор интерфейса, технических утилит и повседневной практики первого официального пользователя коммерческого интерфейса мозг-компьютер (BCI).

📱 Интерфейс Link App и нейрокалибровка «Евы» 1:21

Вся жизнедеятельность Нолана Арбо в цифровом пространстве координируется через специализированное программное обеспечение под названием Link App. По словам Нолана, это приложение является центральным хабом для выполнения любых ежедневных задач и взаимодействия с инженерной командой Neuralink. Пациент выразил мнение, что в будущем, когда подобные импланты станут массовыми, приложение Link App адаптируют для работы на смартфонах и других пользовательских гаджетах, обеспечивая их нативную совместимость с чипом. Свой имплант Нолан ласково назвал «Евой» (Eve).

Процесс получения контроля над операционной системой начинается с калибровки оборудования. Как объясняет Арбо, калибровка — это процесс, при котором алгоритмы Link App обучаются распознавать, сопоставлять и картировать (маппить) электрические сигналы его головного мозга, превращая их в команды для курсора или виртуальной клавиатуры.

Эволюция процесса калибровки включает в себя несколько ключевых этапов:

  1. Первая версия: требовала обязательного присутствия сотрудников Neuralink, которые полностью управляли сессией со своего оборудования. Инженеры перепробовали более сотни различных конфигураций маппинга сигналов.
  2. Текущая версия: позволяет Нолану проходить калибровку абсолютно автономно прямо во время домашних сессий.
  3. Адаптация модели: базовая математическая модель управления обновляется в режиме реального времени. По наблюдениям Нолана, чем дольше он непрерывно находится в режиме калибровки (от 30 минут до часа), тем точнее и послушнее становится курсор на экране.

Помимо калибровки мыши, Арбо регулярно выполняет процедуру «картирования тела» (body mapping). На экране появляется визуальная инструкция (например, анимация движения правой руки), а пациент мысленно пытается повторить это действие. В этот момент инженеры фиксируют, какие именно группы нейронов активизируются при конкретном намерении совершить движение. По словам Нолана, сейчас команда активно тестирует продвинутые сценарии маппинга, направленные на распознавание почерка и жестового языка (Finger Spelling).

🏆 Мировой рекорд в Web Grid и бенчмарки BCI 4:31

Для объективной оценки эффективности интерфейсов мозг-компьютер в научном сообществе используется специализированный тест-игра под названием Web Grid. Суть бенчмарка сводится к максимально быстрому кликанью по случайно появляющимся на квадратной сетке целям. Чем больше мишеней поражено за одну минуту, тем выше итоговый показатель скорости передачи данных, измеряемый в битах в секунду (BPS). Максимальная сложность, которую тестирует Нолан, ограничена сеткой размера 35x35 ячеек.

До появления технологии Neuralink лучшие показатели других пациентов в данном тесте, как утверждает Арбо, находились на уровне чуть более 4 BPS. Нолан заявил, что смог побить этот исторический рекорд в первый же день работы со своим имплантом. На момент проведения трансляции его личный и официально признанный мировой рекорд составляет 8 BPS.

Для контекста Нолан привел внутреннюю статистику компании Neuralink:

Арбо признается, что пока не догнал здоровых сотрудников, но убежден, что 8 BPS — далеко не предел его возможностей, поскольку текущая программная модель управления не была идеальной. Пациент прогнозирует, что последующие участники клинических испытаний Neuralink смогут превзойти его достижения уже в первый день тестирования.

🛠️ Инструменты управления: Микшер, виртуальная клавиатура и устранение дрейфа 12:43

В начале тестирования при любых сбоях Нолану приходилось обращаться за техподдержкой к инженерам, однако теперь ему предоставлен доступ к панели ручных настроек интерфейса — цифровому «микшеру» (Mixer). Этот инструмент позволяет пользователю тонко регулировать физику поведения курсора на экране при помощи двух основных параметров:

Другим важным обновлением стала доработка экранной клавиатуры. По запросу Нолана разработчики внедрили функцию автоматического масштабирования: когда клавиатура активируется внизу экрана, активное окно приложения пропорционально уменьшается, а не перекрывается кнопками. Это позволяет ему без труда вводить текст, параллельно контролируя происходящее в рабочей зоне.

Серьезной технической проблемой, обсуждавшейся еще на официальных презентациях Neuralink, являлся так называемый «дрейф курсора» (cursor drift) — непроизвольное смещение указателя в сторону из-за аппаратного смещения или накопления ошибок в алгоритме. Для борьбы с этим инженеры создали систему «коррекции смещения» (Bias Correction).

Алгоритм ручной коррекции дрейфа выглядит следующим образом:

  1. Если пользователь чувствует, что курсор начинает самопроизвольно утягивать в сторону (например, влево), ему необходимо силой мысли упереть указатель в противоположный (правый) край экрана.
  2. Чем дольше и сильнее пользователь удерживает курсор прижатым к границе экрана, тем мощнее применяется компенсирующий программный сдвиг.
  3. В случае избыточной перекоррекции процедуру можно повторить в обратном направлении.

Дополнительно в интерфейс встроен «переключатель режимов» (Mode Switcher). Меню, вызываемое нажатием на правый край экрана, позволяет переводить мысль-клик в режимы левого щелчка, правого щелчка, удерживания для перетаскивания (drag), наведения (hover) или открывать упомянутый микшер. Арбо иронично заметил, что на момент трансляции одна из функций меню была сломана, и ее активация могла обрушить всю систему, поэтому он предпочел обходить ее стороной.

🎮 Гейминг силой мысли: От Civilization до Slay the Spire 20:13

Возможность полноценно играть в видеоигры стала для Нолана главным символом возвращения к нормальной жизни. Ранее он был вынужден играть на планшете iPad с помощью «mouth stick» — специальной палочки, зажимаемой в зубах. Теперь же управление осуществляется исключительно ментально, причем скорость внедрения новых фич поражает самого пользователя: Арбо подчеркнул, что новые радиальные меню кликов и микшер были добавлены буквально за пару дней до стрима, так как разработка идет молниеносными темпами.

В арсенале игр первого пациента Neuralink числятся самые разные жанры:

Помимо развлечений, интерфейс позволяет Нолану заниматься самообразованием: он активно использует веб-сервис WaniKani для изучения японских иероглифов (кандзи), читает мангу, изучает повести о Шерлоке Холмсе и слушает аудиокниги Брэндона Сандерсона.

📅 Интеграция в сообщество и планы на будущее 28:51

Нолан Арбо подчеркивает, что чувствует себя невероятно счастливым и благословенным человеком, оказавшись в авангарде исследования, способного навсегда изменить судьбы парализованных людей. По его мнению, данная технология в ближайшие годы будет развиваться по экспоненте.

В планах первого киборга — активная интеграция в медиапространство. Он сообщил, что известный журналист Эшли Вэнс (Ashlee Vance) уже взял у него первое масштабное эксклюзивное интервью, выход которого запланирован на 16-е число. После этого Нолан планирует регулярно появляться на публике, провести сессию ответов на вопросы AMA (Ask Me Anything) и запустить полноценные интерактивные игровые стримы, где он сможет играть в шахматы со зрителями и общаться с друзьями в прямом эфире. Пациент также упомянул, что отправил публичное предложение Джо Рогану (Joe Rogan) в сети X и искренне надеется стать гостем его знаменитого подкаста.

Несмотря на статус первопроходца, Нолан сохраняет скромность, заявляя, что не стремится стать профессиональным стримером на полную ставку, а его главным приоритетом остается усердная работа в рамках текущего клинического исследования Neuralink ради помощи тем, кто придет вслед за ним.

💬 Цитаты

«Это приложение уже изменило мою жизнь, и дальше будет только лучше.»

Нолан Арбо 11:12

«Я побил этот рекорд в свой первый же день, а сейчас дошел до восьми.»

Нолан Арбо 05:54
👥 Спикеры
📚 Упомянутые книги
🔗 Упомянутые сайты и проекты
📖 Термины
BCI
Интерфейс мозг-компьютер (Brain-Computer Interface), позволяющий передавать сигналы из мозга на внешнее электронное устройство.
BPS
Биты в секунду (Bits Per Second) — единица измерения скорости передачи информации в нейрокомпьютерных интерфейсах.
Web Grid
Стандартизированная игра-тест, используемая в научном сообществе для оценки точности позиционирования курсора BCI.
Дрейф курсора
Технический сбой, при котором указатель мыши самопроизвольно смещается в одну из сторон экрана.
📊 Цифры
🗓 Хронология
  1. День 1 Нолан Арбо впервые тестирует бенчмарк Web Grid и с ходу бьет предыдущий мировой рекорд в 4 BPS.
  2. 16 число Официальный релиз подробного эксклюзивного интервью Нолана Арбо журналисту Эшли Вэнсу.
⚖️ Другая сторона
Технологии и IT Neuralink Нолан Арбо Link App Уэс Рот