Развитие генеративного искусственного интеллекта поставило человечество перед жестким выбором между подлинностью информации и конфиденциальностью личных данных. В новом выпуске подкаста The Cognitive Revolution ведущие Нейтан Лабенц и Эрик Торнберг обсудили эту проблему с профессором Иллинойсского университета Дэниелом Кэнгом (Daniel Kang). Эксперт предлагает революционное решение на стыке криптографии и машинного обучения — применение доказательств с нулевым разглашением для сквозной верификации работы нейросетей.
🔒 Дилемма цифровой эпохи: подлинность против приватности 0:00
Сегодня, чтобы доказать свою подлинность в цифровом пространстве, человеку приходится жертвовать огромным количеством личных данных. Ярким примером, по словам Дэниела Кэнга, служат современные приложения для знакомств, которые запрашивают трехмерные сканы лиц пользователей для защиты от ботов, но при этом загружают биометрическую информацию на централизованные серверы. Подобная практика, как отмечает исследователь, создает колоссальные риски для тотальной слежки, правительственного надзора и утечек данных.
С появлением проектов вроде Worldcoin, пытающихся выдать каждому человеку уникальный цифровой идентификатор, проблема только обострилась. Существование платформ, способных генерировать неотличимые от реальности портреты несуществующих людей, лишило стандартные фотографии статуса неопровержимого доказательства. По мнению Кэнга, криптография дает человечеству инструмент, позволяющий обойти этот фундаментальный компромисс между конфиденциальностью и подлинностью.
🤖 Что такое «мошенничество с моделями» и как его остановить? 9:46
Другой критической угрозой эпохи ИИ становится так называемое «мошенничество с моделями» (model fraud). Кэнг указывает на то, что такие технологические гиганты, как OpenAI, регулярно меняют архитектуру и веса своих моделей за кулисами без предупреждения пользователей и без гарантий сохранения качества. В качестве подтверждения эксперт ссылается на совместное исследование ученых из Стэнфорда и Беркли, которые измерили эффективность работы ChatGPT в динамике.
Статистика деградации ИИ-моделей
| Исследуемая система | Исходная точность | Итоговая точность | Последствия для пользователей |
|---|---|---|---|
| ChatGPT (на специфических задачах) | 93% | 7% | Полное неведение клиентов, отсутствие инструментов проверки вычислений. |
| Медицинский ИИ (риск кибератаки) | Сертифицирована FDA | Непредсказуемо (инверсия) | Риск ложных диагнозов, отмена лечения или вредоносная терапия. |
Хотя OpenAI недавно внедрила схему фиксации версий моделей по временным меткам, этот механизм, как подчеркивает ведущий Нейтан Лабенц, целиком и полностью держится на доверии к честности компании. Для менее крупных провайдеров ИИ-услуг, не обладающих сопоставимой репутацией, соблазн тайно подменить дорогую и сложную нейросеть более дешевым и быстрым аналогом ради сокращения издержек остается крайне высоким.
Еще более пугающий сценарий Кэнг описывает в сфере медицинского машинного обучения. Злоумышленники или государственные хакеры могут совершить кибератаку на диагностическую систему и инвертировать результаты распознавания снимков. Пациенту с онкологическим заболеванием модель выдаст ложноотрицательный результат, лишив его своевременного лечения, а здоровому человеку будет поставлен ложный диагноз, что повлечет за собой калечащую терапию. На сегодняшний день у медицинского сообщества нет надежного способа верифицировать, действительно ли присланный результат сгенерирован оригинальной моделью, сертифицированной FDA.
⚙️ Анатомия технологии: как работают доказательства с нулевым разглашением в ИИ 13:47
Решением этих проблем призваны стать криптографические доказательства с нулевым разглашением (Zero-Knowledge Proofs, ZKP), адаптированные для ИИ-инференса. Основная суть концепции, как объясняет Кэнг, заключается в возможности математически подтвердить, что определенный вычислительный процесс был выполнен абсолютно точно и согласно правилам, но без раскрытия конфиденциальных вводных данных этого процесса.
В контексте машинного обучения входными данными выступают:
- Секретные веса самой нейросети, которые ИИ-провайдеры охраняют как коммерческую тайну.
- Пользовательские промты и промежуточные состояния вычислений.
Дэниел Кэнг проводит технологическую аналогию с развертыванием ИИ на стандартном графическом процессоре. Если обычный GPU просто принимает архитектуру (например, из сред TensorFlow или PyTorch), веса и входные данные для запуска прямого прохода (forward pass), то система ZKP действует как специализированный процессор, который вместе с результатом выдает математическое свидетельство его легигентости.
Криптографический протокол состоит из трех последовательных шагов:
- Предварительное обязательство (Pre-commitment): Провайдер публикует хэш архитектуры и весов модели. Этот неизменяемый цифровой слепок служит аналогом открытого ключа.
- Генерация доказательства: При обработке запроса система вычисляет результат и одновременно формирует ZK-доказательство.
- Верификация: Клиент, используя хэш-обязательство и полученное доказательство, проверяет честность исполнения на своей стороне. Провайдер физически теряет возможность схитрить и подсунуть вычисления от другой модели.
🧠 Квантование, арифметизация и «токсичные отходы» 28:20
Чтобы превратить тяжелую нейросеть в криптографический объект, разработчикам приходится проходить через процедуру арифметизации (arithmetization). Как поясняет профессор Кэнг, современные доказывающие системы не умеют читать код на Python напрямую. Программу необходимо транслировать в арифметическую схему — систему полиномов над конечными полями.
Важным этапом здесь выступает квантование (quantization) модели — перевод вычислений из классических чисел с плавающей запятой в фиксированную точность. Кэнг замечает, что квантование повсеместно применяется в индустрии ради экономии ресурсов — от серверов Google и OpenAI до бортовых компьютеров электромобилей Tesla. По словам исследователя, в его системе квантование позволяет добиться точного взаимно-однозначного соответствия между исходной нейросетью и ее математическим крипто-аналогом.
Особую сложность в ИИ представляют нелинейные слои (такие функции активации, как ReLU или Tanh). Поскольку доказывающая система плохо справляется с прямым вычислением сложных нелинейных функций, команда Кэнга применила метод исчерпывающих таблиц поиска (lookup tables). Все возможные варианты значений нелинейности — в пределах точности квантования (порядка $2^{15}$ или нескольких миллионов вариантов) — вычисляются заранее. Вместо формулы система просто обращается к нужной ячейке таблицы.
Вся магия доказательства строится на свойствах конечных полей (модульной математики вокруг огромных простых чисел). По словам Кэнга, если два полинома отличаются хотя бы на один коэффициент, их значения в случайной точке поля совпадут с исчезающе малой вероятностью. Это позволяет верификатору не проверять миллиарды параметров сети, а оценить полином всего в одной случайной точке. Для обеспечения абсолютной секретности параметров в процессе настройки используется случайное простое число, именуемое в криптографии термином «токсичные отходы» (toxic waste), которое должно быть безвозвратно уничтожено сразу после калибровки системы.
💰 Цена доверия: проблема 10 000-кратной переплаты 41:46
Главным препятствием на пути к повсеместному внедрению ZK-доказательств в ИИ остается колоссальная вычислительная избыточность. По оценкам, приведенным в статье Дэниела Кэнга, генерация одного ZK-доказательства для ИИ-инференса обходится примерно в 10 000 раз дороже, чем обычный запуск модели.
Нейтан Лабенц подсчитал финансовую сторону вопроса: если базовая обработка тысячи токенов в условной GPT-4 стоит около 4 центов, то с учетом 10 000-кратной наценки за криптографию стоимость одной генерации взлетает до 400 долларов. По мнению ведущего, такой ценник сопоставим со стоимостью работы реального человека-арбитратора, что сводит на нет экономическую выгоду автоматизации на текущем этапе развития технологий.
Чтобы обойти этот экономический барьер уже сегодня, Кэнг предлагает использовать методы классического статистического сэмплинга:
- Вместо тотальной верификации каждого промта клиент может затребовать у провайдера доказательства лишь для случайных 100 или 1000 запросов из масштабного теста на 100 000 примеров.
- Это позволит с высокой степенью математической уверенности подтвердить общую точность и стабильность работы модели без катастрофических затрат.
Профессор Кэнг смотрит в будущее с оптимизмом. Его исследовательская команда готовит к публикации новые решения, способные в ближайшие месяцы снизить стоимость доказательств для ряда моделей в 10–100 раз. Кэнг прогнозирует, что через пару лет технологический стек разовьется до уровня, когда наценка за проверяемость ИИ составит всего около 100 раз от базовой стоимости вычислений.
📜 Смарт-контракты нового поколения и автоматизация юристов 55:37
Интеграция ИИ и криптографии способна вдохнуть новую жизнь в концепцию смарт-контрактов на блокчейне, которая долгое время оставалась ограниченной из-за жесткости стандартного программного кода. Лабенц поделился личным опытом участия в «красной команде» (red team) при раннем тестировании GPT-4. Он обнаружил, что большие языковые модели удивительно хороши в роли медиаторов и способны эффективно разрешать сложные гражданские споры, особенно в мультимодальном формате, анализируя не только текст, но и сопутствующие визуальные улики.
До появления ZK-инференса trustless-арбитраж силами ИИ был невозможен: блокчейн физически не способен выполнять тяжелые нейросетевые вычисления внутри распределенного реестра из-за их запредельной стоимости. Криптографические доказательства позволяют проводить вычисления оффчейн (вне блокчейна), отправляя в сеть лишь компактное и дешевое в верификации ZK-свидетельство. Это защищает и приватность сторон: им не нужно выкладывать, к примеру, фотографии интерьеров своих домов в публичный реестр для разрешения спора со строительным подрядчиком.
Несмотря на технологический прорыв, Дэниел Кэнг сомневается, что ИИ быстро заменит живых адвокатов.
«Юристы будут последними людьми, которых полностью автоматизируют, потому что люди не любят чувствовать, будто случайная машина принимает решения за их жизнь», — иронизирует гость.
Кэнг считает, что люди на глубинном психологическом уровне не готовы смириться с тем, что судьбоносные решения принимает алгоритм, пусть даже его честность гарантирована строгой математикой.
📸 Заверенные камеры и борьба с дипфэйками: роль регуляторов 1:04:06
Еще одна масштабная сфера применения криптографического ИИ — защита подлинности медиаконтента с помощью так называемых аттестованных сенсоров (attested sensors). Технология предлагает встраивать криптографический чип непосредственно в аппаратный модуль камеры смартфона, прямо рядом со светочувствительной матрицей. Чип мгновенно хэширует и подписывает цифровой подписью поступающий поток пикселей еще до того, как они попадут в операционную систему или память устройства. Такую фотографию или аудиозапись невозможно подделать или незаметно модифицировать с помощью генеративного ИИ.
Объединение заверенных камер с локальными ZK-моделями ИИ на смартфонах позволит реализовать безопасную, конфиденциальную идентификацию личности (KYC) без угрозы слежки:
- Пользователь делает снимок своего лица и паспорта прямо на устройстве.
- Локальная нейросеть верифицирует данные, не отправляя биометрию на внешние серверы.
- Во внешний мир передается исключительно ZK-доказательство конкретного факта, например: «Данный пользователь является реальным человеком и гражданином США старше 21 года».
Никакие другие метаданные, имена или сканы не раскрываются, что решает проблему утечек.
Главный парадокс ситуации заключается в том, что необходимая аппаратная база уже создана. По мнению Дэниела Кэнга, корпорация Apple уже оснащает каждый свой iPhone специализированным сопроцессором безопасности Secure Enclave. Однако он до сих пор изолирован от модуля камеры на программном уровне, поскольку у сторонних разработчиков нет легального доступа к сквозной подписи сенсора.
Кэнг убежден, что это идеальная точка для государственного регулирования и законодательных мандатов. Инженерные издержки на «сшивание» Secure Enclave с камерой при массовом производстве составят ничтожные 1–10 долларов на один смартфон. Внедрение этого правила позволило бы навести порядок в хаотичной информационной среде, дав пользователям инструмент верификации медиа по аналогии с протоколом HTTPS, который сегодня незаметно для всех защищает веб-трафик в каждом браузере.
