Николас Карлини

Николас Карлини

Исследователь безопасности ИИ в Google DeepMind

8статей
174 тыс.просмотров
2021–2026период
5каналов
Wikipedia →

Nicholas Carlini is an American researcher affiliated with Anthropic and previously with Google DeepMind who has published research in the fields of computer security and machine learning. He is known for his work on adversarial machine learning, particularly his work on the Carlini & Wagner attack in 2016. This attack was particularly useful in defeating defensive distillation, a method used to increase model robustness, and has since been effective against other defenses against adversarial input. In 2018, Carlini demonstrated an attack on Mozilla's DeepSpeech model, showing that hidden comm

💬 Заметные цитаты

Природа состязательных атак
«Adversarial examples are not bugs, they are features.»
Преимущество атакующего в ИИ
«Атакующий ходит вторым... он может подождать, пока область знаний продвинется, и применить новые знания к уже зафиксированной защите.»
Предвзятость в научных исследованиях
«Трудно заставить исследователя понять что-то, если его публикация зависит от того, что он этого не понимает.»
Этика развертывания критических систем
«Если бы кто-то мог обмануть ваш классификатор и из-за этого кто-то погиб бы, то просто не развертывайте свой классификатор.»
Смена парадигмы программирования
«Цель инженера — не печатать строки кода, а решать проблемы. Раньше это был ассемблер, потом Python, теперь — английский язык.»
«Безопасность ИИ может пойти путем симметричной криптографии, где надежность доказывается десятилетиями безуспешных попыток взлома всем миром.»
«Unlearning doesn't do what you think it does... unlearning knowledge is very different from unlearning facts.»
«Если биологическая система слишком интерпретируема, она становится очень уязвимой, так как появляются паразиты.»
Все цитаты (21) →
📈 Темы Nicholas Carlini4Николас Карлини3Google DeepMind3Anthropic2кибербезопасность2Adversarial Machine Learning2AI Safety1Model Stealing1состязательные примеры1Florian Tramèr1Nicolas Carlini1Состязательные атаки1

📺 Материалы с участием

21 мин
🛡 Anthropic о Claude Mythos: «Мы создали ИИ, который слишком опасен для выпуска»
80,000 Hours · 10.04 · 41,4 тыс. просм.
1ч 17м
🚀 Николас Карлини: „Безопасность станет главным барьером для внедрения ИИ-агентов“
Stanford Online · 22.10.25 · 10,6 тыс. просм.
2ч 33м
🛡 Почему безопасность ИИ невозможна: взгляд Николаса Карлини
The Cognitive Revolution · 27.02.25 · 39 тыс. просм.
1ч 21м
🛡 Николас Карлини: «Мы обречены жить в мире уязвимых ИИ»
Machine Learning Street Talk · 25.01.25 · 30,7 тыс. просм.
1ч 21м
🛡 Николас Карлини: «Языковые модели — это не волшебство, а вызов безопасности»
Machine Learning Street Talk · 25.01.25 · 30,7 тыс. просм.
47 мин
🛠 Николас Карлини: «Мы выкупили домены LAION за 100 долларов»
The TWIML AI Podcast with Sam Charrington · 27.02.23 · 1,6 тыс. просм.
1ч 36м
🧩 Почему состязательные примеры остаются неразрешимой проблемой машинного обучения
Machine Learning Street Talk · 31.01.21 · 10 тыс. просм.
1ч 36м
🧩 Николас Карлини об ИИ-безопасности: «Если от модели зависит жизнь — не развертывайте ее»
Machine Learning Street Talk · 31.01.21 · 10 тыс. просм.