Конфиденциальность в эпоху ИИ: разговор с Мередит Уиттакер 0:00
В подкасте «Prof G» ведущий Скотт Гэллоуэй обсудил с Мередит Уиттакер, президентом Signal Foundation, архитектурные угрозы приватности, исходящие от современных систем искусственного интеллекта. Основная дискуссия строится вокруг противоречия между удобством «агентных» технологий и необходимостью защиты личных данных, которые эти системы неизбежно собирают для своей работы.
🔒 Уязвимости приватности и «агентный» ИИ 6:18
Мередит Уиттакер выражает глубокую озабоченность тем, как интеграция ИИ-агентов в операционные системы Windows, iOS и Android подрывает стандарты безопасности. По её мнению, чтобы такой агент мог выполнять полезные действия — например, спланировать деловой ужин — он должен получить доступ к календарю, истории браузера, данным о кредитных картах и даже переписке в мессенджерах.
- Риск инфраструктуры: Агенты требуют доступа к данным на системном уровне, что превращает их в огромную поверхность для атак.
- Проблема облачной обработки: Большинство современных LLM (больших языковых моделей) слишком велики для локального запуска на устройстве, что заставляет передавать интимные пользовательские данные на облачные серверы компаний-разработчиков для обработки.
- Иллюзия безопасности: Уиттакер утверждает, что даже если приложение защищено «золотым стандартом» шифрования, доступ ИИ-агента к данным в «сыром» виде на уровне ОС фактически аннулирует все усилия по защите приватности.
🎭 «ИИ» как маркетинговый термин 14:32
Уиттакер предлагает критически взглянуть на саму индустрию, называя «ИИ» скорее маркетинговым инструментом, чем строгим техническим определением. Она напоминает, что термин был придуман Джоном Маккарти в 1956 году на Дартмутской конференции, чтобы дистанцироваться от кибернетики Норберта Винера и привлечь финансирование от ARPA (ныне DARPA).
По словам Уиттакер, сегодня под вывеской «ИИ» скрываются самые разные технологии — от символьных систем до нейросетей, которые изначально развивались отдельно. Эта «мифологизация» ИИ как чего-то неизбежного и превосходящего человеческий разум служит интересам крупных технологических монополий, владеющих инфраструктурой и данными, и мешает обществу критически оценивать концентрацию власти в их руках.
💼 Рынок труда и «AI-претекст» 22:02
Обсуждая влияние ИИ на занятость, Мередит Уиттакер отмечает, что ИИ часто становится удобным предлогом для массовых сокращений, которые компании оправдывают «инновационной стратегией» перед акционерами.
- Деградация профессий: Вместо полного замещения людей, во многих сферах, например, в копирайтинге или переводе, происходит снижение контроля специалиста над результатом: люди превращаются в «редакторов ИИ-вывода».
- Технический долг: Уиттакер предупреждает, что массовое делегирование написания кода ИИ-агентам создаст огромный технический долг. По её словам, инженеры часто вынуждены заниматься поддержкой чужого некачественного кода, и если архитектуру систем перестанут понимать люди, это приведет к серьезным сбоям.
⚖️ Право на секреты и роль государства 28:29
Скотт Гэллоуэй затронул болезненную тему: допустимо ли нарушение приватности для обеспечения безопасности? Уиттакер настаивает на том, что шифрование — это технология, которая «работает либо для всех, либо ни для кого». Создание любых «бэкдоров» для правоохранительных органов неизбежно делает систему уязвимой для всех злоумышленников, включая враждебные режимы.
По мнению Уиттакер, основная проблема современного общества заключается не в отсутствии доступа к зашифрованным каналам, а в повсеместной слежке, которая стала «золотым стандартом» бизнес-моделей техгигантов. Она призывает законодателей:
- Внедрить концепцию «осмысленного согласия», которая давала бы людям реальный выбор: хотят ли они, чтобы их данные вообще собирались, а не просто согласие на бесконечные условия использования.
- Ограничить власть компаний, которые присвоили себе право классифицировать людей и определять их место в обществе на основе собранных данных.
В заключение Уиттакер признает, что люди выбирают удобные сервисы, потому что хотят «быть включенными» в жизнь общества, но подчеркивает: эта потребность была цинично монетизирована технологическими сервисами, которые лишили нас приватности под предлогом удобства.
