Риски AI: атаки на модели, этика и guardrails

Системные риски ИИ: почему безопасность одного агента не гарантирует безопасность всей системы

от

Безопасность одного агента, это задача, которую мы уже учимся решать. Но когда десятки таких агентов начинают взаимодействовать, возникают системные риски, которые невозможно предсказать, просто проанализировав каждый компонент по отдельности. Композиционная безопасность, это попытка управлять хаосом, который рождается из порядка. https://seberd.ru/4124 Почему безопасность одного агента не гарантирует безопасность системы Рассмотрим стандартный сценарий: агент оптимизации логистики и … Читать далее

Как ИИ подделывает подпись с одного фото паспорта

от

Мы привыкли, что цифровая безопасность, это про пароли, шифрование и вирусы. Между тем, один из самых древних способов идентификации человека, подпись, оказалась невероятно уязвимой для атаки. ИИ научился смотреть на один-единственный образец, например, на фото паспорта в мессенджере, и генерировать бесконечное количество идеальных, неуловимых человеческому глазу копий. Эта технология уже доступна, и она кардинально меняет … Читать далее

ИИ научился подделывать подпись по фотографии паспорта

от

«Подпись, это не уникальный почерк, а паттерн, который можно разложить на векторы. ИИ делает это лучше человека, потому что видит не образ, а математику движения. Одна фотография паспорта, это уже достаточный датасет.» От уникального жеста к набору параметров Человек воспринимает подпись как цельный визуальный образ или как мышечную память руки. Для нейросети, обученной на генерации … Читать далее

Prompt injection: как атакуют реальные приложения через ИИ

от

То, что ты не управляешь промптом — он управляет тобой. Или, что ещё хуже, тем, кто попросит модель сделать что-то от твоего имени. Prompt injection, это не баг в ИИ, это фундаментальная проблема доверия к любому приложению, которое встраивает языковые модели. Это не про ломку бота, а про получение контроля над бизнес-логикой, которая этому боту … Читать далее

GAN-модели подделывают подписи по единственному скану из паспорта

от

«Рукописная подпись давно перестала быть надежной защитой, но мы всё ещё слепо доверяем её в критичных сделках. Прорыв в области генеративно-состязательных сетей позволяет создать твою идентичную подпись, имея всего одно её изображение из паспорта, а для ИИ, который тренировался на миллионах чужих росчерков, это дело нескольких минут. Наша система безопасности зиждется на артефакте прошлого, а … Читать далее

Машинный перевод в безопасности: как доверять алгоритмам

от

“Машинный перевод для международного сотрудничества по безопасности, это не только перевод. Это вопрос доверия к алгоритмам, который решается чёткой постановкой задачи, правильным выбором модели и жёстким протоколом проверки.” Зачем безопасникам глубокое понимание машинного перевода Когда речь идёт о совместном расследовании инцидента с зарубежными партнёрами, переписка по почте или в мессенджере, это первый барьер. Формулировки в … Читать далее