"Записки научных семинаров ПОМИ"
Том 552, стр. 7-24
Джейлбрейк больших языковых моделей с помощью мягкого
перефразирования вредоносных запросов
И. Алексеевская, К. Архипенко
Ivannikov Institute for System Programming
Alexander Solzhenitsyn st. 25, Moscow, 109004, Russia
alekseevskaia@ispras.ru
Kaspersky Lab, Leningradskoe Shosse,
39A, bldg. 3, Moscow, 125212, Russia
arxikv@yandex.ru
- Аннотация:
Методы выравнивания (alignment) больших языковых моделей (БЯМ)
позволяют встраивать в них внутренние механизмы безопасности,
обеспечивающие соблюдение этических принципов при генерации ответов.
Тем не менее такие модели остаются уязвимыми к атакам-джейлбрейкам,
которые необходимо учитывать в процедуре выравнивания.
В работе предлагается простая, но эффективная атака-джейлбрейк,
основанная на перефразировании вредоносных запросов ансамблем БЯМ.
Мы разрабатываем специальную инструкцию для перефразирования,
которая сохраняет исходный вредоносный смысл, но убирает явно
выраженную негативную окраску и изменяет стиль текста,
что позволяет осуществить джейлбрейк атакуемых моделей.
Предложенный алгоритм SoftPrompt атакует модели Vicuna-13B,
LLaMA-2-7B и GPT-3.5 Turbo на наборе данных JBB-Behaviors
за один запрос, достигая успеха на уровне существующих методов атак.
Кроме того, использование перефразирования в качестве функции
возмущения делает атаку более скрытной с точки зрения перплексии
входных данных атакуемой модели. Мы также проверяем эффективность
атаки на большом числе БЯМ, в том числе проприетарных:
ChatGPT-4o, Grok-2, LLaMA-3.1-405B и многих других.
Наконец, мы публикуем набор данных для red-teaming, содержащий
перефразированные версии вредоносных запросов JBB-Behaviors
и HarmfulQ, который может способствовать дальнейшему выравниванию БЯМ.
Библ. --- 24 назв.
- Ключевые слова: большие языковые модели,
атаки-джейлбрейки, red-teaming
large language models, jailbreak attacks, red-teaming]
Полный текст(.pdf)