Католейн Йонкер: почему будущее ИИ лежит в гибридном интеллекте

Современные технологии искусственного интеллекта все глубже проникают в нашу повседневную жизнь, однако их автономность порождает серьезные этические и практические вызовы. В своем выступлении в стенах легендарного Королевского института (The Royal Institution) известный нидерландский ученый Католейн Йонкер (Catholijn Jonker) рассказывает о фундаментальных проблемах современных нейросетей и объясняет, почему будущее ИТ-индустрии принадлежит концепции «гибридного интеллекта» — синергии человека и машины. Представленный ею десятилетний государственный проект, реализуемый в Нидерландах, призван полностью переосмыслить принципы взаимодействия с ИИ, сместив фокус с изоляции и замещения человека на его усиление и совместную эволюцию.

🧠 От искусственного интеллекта к гибридному: новый десятилетний путь 0:04

Выступление Католейн Йонкер на престижной площадке The Royal Institution началось с признания значимости этого места, известного своими знаменитыми Рождественскими лекциями. Главной темой доклада стало будущее ИИ, каким его видят исследователи в Нидерландах. Спикер объявила о запуске масштабной государственной программы, рассчитанной на 10 лет. Ее ключевая задача — осуществить концептуальный переход от изолированного автономного искусственного интеллекта к так называемому гибридному интеллекту (Hybrid Intelligence).

Чтобы объяснить суть этой парадигмы, Католейн Йонкер обратилась к аудитории с вопросом о том, знают ли они, что такое экспертные системы, и считают ли их полноценным искусственным интеллектом. Зал отреагировал сдержанно: лишь единицы подняли руки. По мнению эксперта, такое скептическое отношение связано исключительно с современным медийным хайпом вокруг нейросетей, из-за которого люди забыли о фундаментальной дуальности науки об ИИ.

📜 Истоки AI: Противостояние экспертных систем и нейросетей 1:24

История ИИ развивалась волнообразно, и основные концепции, которые используются сегодня, были заложены еще в 1960-х годах. С самого начала в индустрии наметились два ключевых подхода:

• Искусственные нейронные сети (Artificial Neural Networks). Эта концепция черпала вдохновение в архитектуре человеческого мозга. Ученые стремились воссоздать способность биологического мозга учиться, формировать новые ассоциации на основе наблюдений, действовать в реальном мире и корректировать связи между нейронами в зависимости от успешности результата.
• Системы, основанные на знаниях (Knowledge-based systems), или экспертные системы. В их основе лежала совершенно иная идея: если собрать знания лучших мировых экспертов в конкретных областях и перенести их в компьютер, эти знания станут доступны всему человечеству. Например, дефицитные специалисты по редким заболеваниям смогли бы виртуально «помогать» врачам в любой точке планеты.

Главное различие этих подходов заключалось в прозрачности: в экспертных системах все правила были четко прописаны человеком, логика их формирования оставалась абсолютно понятной и контролируемой. В 1960-х годах исследователи уже умели симулировать простейшие нейросети на обычных компьютерах. Однако тогда им банально не хватало вычислительной мощности для решения сложных задач. Другой проблемой была архитектура: ученые не понимали, как именно нужно проектировать слои искусственных нейронов, чтобы сеть обучалась именно тому, чему нужно.

С экспертными системами ситуация выглядела противоположным образом: инженеры точно знали, как заставить их работать, они были эффективны, предсказуемы и находились под полным контролем человека. Но и здесь обнаружился свой критический недостаток, получивший название «проблема извлечения знаний» (knowledge elicitation).

Как утверждает Католейн Йонкер, парадокс человеческого мозга заключается в том, что мы сами не знаем, какими именно знаниями обладаем. Человек конструирует свои правила на ходу, в процессе беседы вспоминает детали, постоянно натыкается на исключения из правил и исключения из исключений. В результате ручной перенос этих данных программистами в код оказывался невероятно трудоемким, дорогостоящим, а сами системы получались жесткими и неспособными к адаптации.

✈️ Урок из 1990-х: Почему самолет взлетел, но никто не понял как 6:33

Описывая переломный момент, когда машинное обучение начало побеждать символический подход, Католейн Йонкер поделилась историей из своей молодости. В начале 1990-х годов, когда она была молодым исследователем, проводилось примечательное соревнование между двумя научными командами. Обе группы пытались решить одну задачу: научить компьютер самостоятельно управлять самолетом.

Первая команда сделала ставку на традиционные экспертные системы. Они пригласили опытных пилотов, провели с ними бесчисленное количество часов интервью, скрупулезно записывая каждое действие. Спустя два месяца работы ученые собрали колоссальный объем уникальных данных и стали понимать физику и логику полета гораздо глубже, чем кто-либо до них. Однако их модель так и не смогла взлететь.

Вторая команда экспериментировала с зарождающимся машинным обучением. Они поступили иначе:

1. Обвешали пилота и кабину самолета множеством датчиков.
2. Стали непрерывно фиксировать все показания приборов и сопоставлять их с движениями рук и ног летчика на рычагах управления.
3. Запустили алгоритм обучения на основе собранного массива сигналов.

Система успешно подняла самолет в воздух всего через три недели. По словам Йонкер, этот триумф наглядно объясняет, почему современное общество верит исключительно в машинное обучение. Но у этой медали есть и обратная сторона: ученые до сих пор не знают, почему этот самолет летит. Точные механизмы и структура знаний, сформировавшиеся внутри этого «искусственного мозга», остаются загадкой — точно так же, как мы не до конца понимаем скрытые нейробиологические процессы в голове живого пилота в момент пилотирования.

⚠️ Обратная сторона триумфа: Иллюзия точности и скрытые предвзятости 9:02

Настоящий технологический прорыв в сфере машинного и глубокого обучения (Deep Learning) произошел в 2011 году с победой системы IBM Watson в викторине Jeopardy! («Своя игра») и закрепился в 2017 году, когда алгоритм AlphaGo обыграл чемпиона мира в сложнейшую настольную игру го. Однако Католейн Йонкер подчеркивает: го и викторины — это искусственные, закрытые лабораторные среды. Сегодня же ИИ выходит на улицы в виде беспилотных автомобилей, сталкиваясь с хаосом реальной жизни. И здесь возникает масса тревожных вопросов.

Современное глубокое обучение критически зависит от Big Data и колоссальных вычислительных мощностей. Но индустрия уже уперлась в жесткие барьеры. Во-первых, это законодательные ограничения, такие как европейский регламент GDPR. По этическим соображениям ученые больше не могут скрытно и тотально записывать действия людей для обучения своих сетей. Во-вторых, энергопотребление дата-центров стало настолько огромным, что превратилось в серьезный фактор климатического кризиса.

Кроме того, математическая природа нейросетей делает их уязвимыми к искажениям. Спикер привела несколько классических примеров «состязательных атак» и системных сбоев:

• Искажение сигналов. Крошечное, незаметное для человека изменение аудиосигнала способно заставить ИИ услышать вместо фразы «Как дела?» команду «Открой дверь».
• Ошибки классификации. Незначительный цифровой шум на фотографии панды приводит к тому, что нейросеть с абсолютной уверенностью идентифицирует ее как гиббона.
• Слепота к дорожным знакам. Несколько случайных пятен или наклеек на знаке «Stop» полностью дезориентируют беспилотный автомобиль, и он продолжает движение, провоцируя аварию, хотя для любого человека знак остается очевидным.

Еще более опасным свойством «черных ящиков» ИИ является дискриминация. Поисковые алгоритмы и рекомендательные системы обучаются на действиях реальных людей, а человечество изначально полно предвзятости. Алгоритм впитывает эти скрытые паттерны и начинает их воспроизводить.

Широкую известность получил кейс компании Amazon, которая попыталась внедрить искусственный интеллект для автоматического подбора персонала. Поскольку систему обучали на исторических данных о найме за прошлые годы (когда менеджеры чаще отдавали предпочтение мужчинам), ИИ мгновенно перенял этот предвзятый фильтр и начал систематически отсеивать резюме женщин-соискателей.

🐴 Всадник и лошадь: Концепция осмысленного человеческого контроля 15:01

Йонкер систематизировала типы современных ИИ-систем по уровню их управляемости и прозрачности:

Главная проблема глубокого обучения в том, что оно оперирует чистой статистикой (например, выдает результат с вероятностью 99%). Но в реальной жизни критически важно понимать: в каких именно ситуациях наступят оставшиеся 1% ошибки? Нейросеть не способна ответить на этот вопрос. Более того, наш мир постоянно меняется (происходит так называемый дрифт данных), и модель, идеально работавшая в лаборатории, спустя время начинает выдавать неадекватные ответы, поскольку внешние условия стали другими.

Когда мы доверяем ИИ прогнозирование продолжительности жизни, оценку пригодности к работе или расчет стоимости ремонта мостов (предиктивное обслуживание), мы радикально упрощаем реальность до нескольких математических признаков. По мнению спикера, если люди привыкают слепо полагаться на решения машины, они стремительно теряют собственную экспертизу. В критической ситуации оператор просто не сможет вовремя перехватить управление.

В качестве примера ложной безопасности Католейн Йонкер разобрала инструкции современных полуавтономных автомобилей: «Держите руки на руле и будьте готовы вмешаться в любой момент». Психологические исследования показывают, что если система долгое время едет корректно, внимание человека неизбежно притупляется, его мысли улетают далеко от дороги.

«Сколько времени, по-вашему, требуется человеку, чтобы полностью вернуть ситуационную осведомленность и совершить правильное действие, если он отвлекся на мобильный телефон? <...> Правильный ответ — 7 секунд. За 7 секунд на дороге может произойти все что угодно», — подчеркнула Йонкер.

По мнению спикера, требовать от водителя непрерывной концентрации в беспилотнике просто нечестно с точки зрения психологии. Именно поэтому она считает юридически и этически неприемлемым массовый выпуск таких машин на дороги в данный момент.

В качестве идеальной модели взаимодействия человека и машины Йонкер привела классическую аналогию с всадником и лошадью:

• Разделение контроля. Всадник осуществляет «осмысленный человеческий контроль»: он выбирает общее направление движения и видит конечную цель. Лошадь же обладает собственной формой интеллекта. Если перед ней внезапно возникнет ров или препятствие, она перепрыгнет его сама на уровне рефлексов, не дожидаясь команды всадника, которая запоздала бы на доли секунды.
• Синергия в работе. Примером идеального контакта служит выпас скота ковбоями (cutting). Всадник лишь указывает на конкретную корову, которую нужно отделить от стада. Дальше лошадь сама задействует свои природные инстинкты стадного животного, совершая молниеносные микродвижения. Задача всадника в этот момент — просто удерживаться в седле и не мешать. Животное учится у человека, человек — у животного, и вместе они выполняют задачу, непосильную для каждого по отдельности.

🛠️ Как это устроено: «Поводья» логики для «черного ящика» нейросети 35:44

Переводя эти метафоры на язык компьютерных наук, нидерландские исследователи предлагают использовать концепцию «распределенного лидерства» (shared leadership) и ситуативной ответственности из социальных наук. Управление и ответственность должны плавно переходить от человека к ИИ и обратно в зависимости от того, чьи компетенции эффективнее в конкретную секунду.

Технически это реализуется за счет создания гибридной архитектуры, где жесткая, объяснимая логика символического ИИ (экспертных систем) выступает в роли «поводьев» для «черного ящика» глубокого обучения.

Специальный алгоритм строит упрощенную, интерпретируемую математическую модель поверх сложной нейросети. Благодаря этому система становится способной вести диалог с пользователем:

• Машина выдает рекомендацию и снабжает ее аргументом: «Я считаю, что нам нужно поступить так, потому что...».
• Человек, видя логику ИИ, может возразить: «Не в этом случае», и указать на специфический нюанс ситуации, который алгоритм не учел.
• Эта обратная связь в виде строгих логических формул мгновенно корректирует веса в нейросети.

Следующий шаг нидерландской программы — создание саморефлексирующих систем (self-reflective systems). ИИ должен буквально «смотреться в зеркало», оценивая качество поступающих данных, уровень собственной предвзятости и границы своих знаний.

⚖️ Дилемма «морального автомобиля»: Кант, Аристотель или утилитаризм? 39:06

Важнейшей частью лекции стала проблема этического программирования. Йонкер упомянула знаменитый краудсорсинговый эксперимент Массачусетского технологического института — «Моральная машина» (Moral Machine от MIT), где пользователям предлагается выбрать, кого должен сбить неуправляемый беспилотник в критической ситуации (например: пожилых людей или детей, нарушителей правил или законопослушных граждан).

Попытки создать полностью этичный автономный автомобиль упираются в то, что в философии не существует единого мнения о морали. Спикер выделила три базовых направления, которые можно заложить в алгоритм беспилотника:

1. Утилитарный автомобиль (по Иеремии Бентаму). Логика максимизации полезности. Главное — результат. Машина подсчитывает количество потенциальных жертв и совершает маневр, который минимизирует общее число погибших, даже если для этого придется пожертвовать собственным пассажиром.
2. Кантианский автомобиль (деонтологический подход). В основе — жесткий долг и запрет на преднамеренное причинение вреда. Такая машина откажется совершать активное действие (например, съезжать на обочину, чтобы сбить одного человека ради спасения троих на дороге), поскольку само это действие является прямым убийством.
3. Аристотелевский автомобиль (этика добродетели). Оцениваются мотивы и ценности. Кого общество считает более важным в долгосрочной перспективе? Спасти детей, потому что за ними будущее? Или пощадить пожилых людей, так как они уже доказали свою полезность и накопили мудрость?

Католейн Йонкер задала залу провокационный вопрос: «Если бы государство позволило, согласились бы вы, чтобы каждый покупатель сам настраивал этику своего автомобиля под себя?». Очевидно, что это привело бы к дорожному хаосу, где машины с разными моральными установками устраивали бы непредсказуемые ДТП. По мнению Йонкер, пока эта дилемма не решена на государственном и законодательном уровне (например, через прозрачный демократический выбор единого утилитарного стандарта), полноценные автономии не должны появляться на дорогах общего пользования.

🔮 Сфера знаний и будущее: От автономии к полноценному сотрудничество 44:18

Описывая природу познания, Йонкер напомнила аудитории красивую научную концепцию «сферы знаний». Представьте себе теннисный мяч:

• Внутри мяча находится все то, что человечество или конкретная система уже точно знает.
• На самой поверхности мяча расположены «известные неизвестные» — вещи, о существовании которых мы догадываемся, но еще не изучили (например, понимание того, что мы пока не умеем делать идеальный этичный беспилотник).
• По мере расширения знаний сфера растет, но вместе с ней неизбежно увеличивается и площадь поверхности — то есть круг вопросов, на которые у нас нет ответов.
• За пределами сферы лежит бескрайняя область «неизвестных неизвестных» — то, о чем мы даже не подозреваем.

Нидерландские ученые используют математическую эпистемическую логику, чтобы очертить границы этой сферы для ИИ. Инженеры по знаниям (Knowledge Engineers) кодируют базовые правила человеческой этики в виде строгих математических формул. Специальный рефлексивный слой ИИ непрерывно тестирует входящие и выходящие сигналы нейросети на соответствие этим формулам. Как только поведение модели начинает «дрейфовать» и отдаляться от заложенных этических якорей, система сигнализирует о необходимости вмешательства человека и отправки модели на переобучение.

В финале лекции Католейн Йонкер призвала мировое научное сообщество совершить радикальный ментальный сдвиг: отказаться от идеи создания полностью изолированных, автономных систем в пользу «дополненного интеллекта» (augmentation). Автономия — это тупиковый и опасный путь, считает эксперт. Будущее ИТ заключается в глубокой интеграции: от одиночных гибридных систем (человек + ИИ) мы должны перейти к «системам гибридных систем».

Когда беспилотный автомобиль станет не просто автономной коробкой, а частью глобальной дорожной экосистемы, непрерывно общающейся с водителями, пешеходами и другими машинами, дорожное движение станет по-настоящему безопасным, комфортным и этически безупречным.