Николас Карлини

Безопасность ИИ может пойти путем симметричной криптографии, где надежность доказывается десятилетиями безуспешных попыток взлома всем миром.

Unlearning doesn't do what you think it does... unlearning knowledge is very different from unlearning facts.

Атакующий ходит вторым... он может подождать, пока область знаний продвинется, и применить новые знания к уже зафиксированной защите.

Если биологическая система слишком интерпретируема, она становится очень уязвимой, так как появляются паразиты.

Так зачем жертвовать 10% точности на чистых данных ради защиты, которую мотивированный хакер обойдет с пяти попыток?

Если выстроить идеальное объяснение причин состязательных примеров, обычно на его основе можно создать защиту, которая их устранит.

Трудно заставить исследователя понять что-то, если его публикация зависит от того, что он этого не понимает.

Если бы кто-то мог обмануть ваш классификатор и из-за этого кто-то погиб бы, то просто не развертывайте свой классификатор.

Цель инженера — не печатать строки кода, а решать проблемы. Раньше это был ассемблер, потом Python, теперь — английский язык.

Если человек хочет, чтобы на вашем компьютере произошло что-то плохое, он победит. В ML-системах «средний» человек может добиться успеха почти всегда.

Модели — это отражение вас. Если вы хороший шахматист, модель отвечает как хороший шахматист.

Если модель дает правильный ответ каждый раз, я не уверен, что мне важно, рассуждала ли она логически или использовала таблицу поиска.

Языковые модели — только семь лет значимого прогресса. Прогнозировать на пять лет вперед — это почти удвоить этот срок.

Для большинства систем самый простой путь для атаки — это не модель машинного обучения, а какой-то другой компонент.

Если ваши медицинские снимки оказались среди тех 109 извлеченных изображений, вы не скажете: «Ну ладно, ничего страшного, ведь большинство остальных людей в безопасности».

Внедрение хэшей — идеальная защита, но она приводит к потере огромного количества хороших данных.