Спамеры начали применять технику сокрытия вредоносных инструкций для атак на ИИ-агентов, чтобы обходить фильтры почтовых сервисов. Речь идет о сообщениях, которые используются в массовых рассылках и должны выявляться как нежелательные.
Метод получил название ASCII smuggling (сокрытие текста с помощью символов ASCII). Ранее его применяли для маскировки prompt injection (внедрения вредоносных инструкций) в системах на базе больших языковых моделей. Такие команды помещают в электронные письма или другой непроверенный контент, который затем обрабатывает языковая модель.
Вместо обычных символов используются специальные Unicode-теги (символы стандарта Unicode). Например, код U+E0041 соответствует букве «A», а U+E0061 — строчной «a». Эти знаки почти полностью невидимы для человека, однако распознаются компьютерами и языковыми моделями.
В начале года Microsoft зафиксировала резкий рост спама с применением этой технологии. В один из дней в начале февраля число обнаруженных Microsoft Defender for Office сигнатур ASCII smuggling увеличилось примерно с 21 тыс. до более чем 1,3 млн в сутки. Через четыре дня показатель достиг 2,5 млн, после чего массовая рассылка продолжалась несколько месяцев и резко пошла на спад в середине мая.
«Поскольку теговые символы невидимы для людей, но присутствуют на уровне обработки текста, их свойство, позволяющее скрывать инструкции от модели, также помогает маскировать ключевые слова до того, как их проверит детектор», — объяснила Microsoft в сообщении, опубликованном в четверг. В компании добавили, что цель применения изменилась, однако сам механизм остался похожим и не вызывает у пользователя дополнительных подозрений.