这篇论文的标题是《Prompt Leakage effect and defense strategies for multi-turn LLM interactions》，由 Salesforce AI Research 的研究人员撰写。下面是关于该论文的摘要、研究背景、主要贡献、研究方法、实验结果和结论的介绍：

摘要

本文研究了大型语言模型（LLM）在多轮对话中面临的提示泄露（Prompt leakage）问题，这是一种安全和隐私威胁。泄露系统提示可能会暴露知识产权，并成为攻击者的敌意侦察手段。文章系统地评估了10个闭源和开源LLM在四个领域的提示泄露漏洞，并设计了一种独特的威胁模型，利用LLM的“迎合”效应，将平均攻击成功率（ASR）从17.7%提高到86.2%。研究测量了7种黑盒防御策略的缓解效果，并进行了开源模型的微调，以防御泄露尝试。

研究背景

在现实世界的LLM集成应用中，已经显示出对目标明确的对抗性提示易受攻击，主要是因为它们的安全训练与指令遵循目标相冲突。提示泄露的脆弱性可能导致系统IP暴露给恶意实体，包括在提示中预先添加的敏感上下文知识，以及可能导致声誉损害和数据被盗的风格/格式指南。

主要贡献

1. 提出了一种系统评估LLM在实际多轮场景中提示泄露的方法。

2. 设计了一种独特的威胁模型，利用模型的迎合行为，并在系统提示中分析指令和知识泄露。

3. 评估了多种黑盒防御技术和安全微调在泄露缓解方面的有效性。

研究方法

研究者模拟了一个标准化任务设置，以研究不同黑盒防御策略的泄露缓解效果。实验涉及与用户（对手）的多轮问答交互，并在新闻、医疗、法律和金融四个现实领域中系统地评估泄露。研究者将LLM提示分解为任务指令和领域特定知识，以观察特定提示内容的泄露。

实验结果

研究者发现，在没有任何防御措施的情况下，多轮攻击可以将平均攻击成功率提高5倍。通过结合使用不同的防御策略，可以将黑盒LLM的平均攻击成功率降低到5.3%。对于开源模型，即使应用了所有黑盒防御措施，仍然对提示泄露攻击较为敏感。

结论

本文提供了构建安全的LLM应用程序的关键见解，并为多轮LLM交互中的研究提供了方向。研究表明，通过结合使用查询重写和结构化响应等黑盒防御措施，可以显著降低提示泄露的风险。

一句话总结

这篇论文系统地研究了多轮语言模型交互中的提示泄露问题，并提出了有效的防御策略来提高模型的安全性。

论文链接https://arxiv.org/abs/2404.16251