Социальная инженерия против ИИ: как «взламывают» нейросети и что скрывают большие модели 🛡️ 1:04
В современном мире искусственный интеллект развивается стремительно, а вместе с ним совершенствуются и способы манипуляции алгоритмами. В недавнем выпуске подкаста «ToTheMoon» ведущие Татьяна Цветкова, Александр Волчек, Александр Машрабов и Ильнар Шафигуллин обсудили феномен социальной инженерии в контексте больших языковых моделей (LLM). Эксперты разобрали, почему методы, работающие с людьми, эффективно применяются для «взлома» нейросетей, и как это меняет рынок технологий.
🧩 Искусство взлома: игра Gandalf и «джейлбрейки» 5:19
В основе обсуждения лежит концепция социальной инженерии — методов, позволяющих добиться от собеседника нужного действия, даже если он изначально не намерен его совершать. Как отметил Ильнар Шафигуллин, эти подходы работают и с нейросетями, у которых есть внутренние ограничения на выдачу конфиденциальной информации или создание вредоносного контента.
Для наглядности участники предложили эксперимент с игрой Gandalf от компании Lakera. Суть игры: нейросеть «скрывает» пароль, а пользователю нужно выманить его, обходя запреты.
- Уровень 1: Модель выдает пароль по прямой просьбе.
- Уровень 2: Модель начинает сопротивляться. Ильнар Шафигуллин предложил стратегию «игры в ассоциации» или создание вымышленных игровых ситуаций, где прямой запрос пароля маскируется под поиск сложного слова.
- Техника разделения: Одним из способов обхода более строгих фильтров (как в уровне 3) является разбиение задачи: запрашивать пароль по частям, а затем собирать их воедино.
По словам Александра Машрабова, крупные игроки (например, Anthropic) серьезно относятся к этим уязвимостям, проводя конкурсы с призовыми фондами до 100 000 $, чтобы привлекать специалистов к поиску «дыр» в защите (джейлбрейков).
📉 Эпоха стартапов или доминирование экосистем? 23:59
Александр Волчек выдвинул гипотезу, что классическая эпоха AI-стартапов подходит к концу, уступая место времени AI-продуктов внутри крупных экосистем. Аргументы сторон:
- Преимущество дистрибуции: Крупные игроки, такие как Apple и Google, владеют огромной базой пользователей. Даже если стартап выходит на рынок первым, гиганты быстро интегрируют аналогичные решения в свои ОС и браузеры (Safari, Chrome), лишая новичков конкурентного преимущества.
- Пример с браузерами: Александр Машрабов отмечает, что попытки компаний вроде Perplexity запустить свой браузер — это рискованный шаг, так как пользователям сложно отказаться от привычных экосистем.
- OpenAI: Несмотря на 400 млн еженедельных пользователей, компания сталкивается с серьезными организационными и финансовыми вызовами. Эксперты полагают, что OpenAI остается сильнейшим брендом, но его будущее как конечного B2C-продукта не предопределено.
🤖 Тренды, контент и нейминг 16:59
Обсуждение затронуло и более спорные аспекты. Ведущие упомянули появление Open Source моделей, не имеющих встроенных жестких ограничений (в том числе моделей, генерирующих взрослый контент), что, по мнению Александра Машрабова, делает попытки цензуры внутри AI-индустрии в значительной степени бессмысленными.
Также обсуждалась генерация видео:
- Дональд Трамп (Donald Trump) недавно опубликовал в своем официальном аккаунте сгенерированный видеоролик, что участники подкаста сочли важным прецедентом использования нейросетей в политическом нарративе.
- Внедрение продвинутых моделей в бытовые устройства, например, интеграция YandexGPT в колонку «Алиса», демонстрирует высокую скорость технологического развития локальных игроков.
В завершение Ильнар Шафигуллин раскрыл происхождение названия модели Grok от Илона Маска. Термин пришел из фантастики 1960-х годов и означает «постичь суть настолько глубоко, чтобы прочувствовать её каждой клеткой».
