Immersive Labs发布新的“GenAI的黑暗面”报告

分析提示注入技术揭示，组织存在风险，因为GenAI机器人容易受到来自所有技能水平用户的攻击，而不仅仅是专家
全球人本智能网络安全领导者Immersive Labs今天发布了其关于一种称为提示注入攻击的与生成式人工智能（GenAI）相关的安全风险的“GenAI的黑暗面”报告。{ width=60% }

---

在这种攻击中，个人输入特定指令，以欺骗聊天机器人透露敏感信息，从而可能使组织暴露于数据泄漏的风险之中。根据Immersive Labs的提示注入挑战分析，GenAI机器人特别容易被各种技能水平的人员操纵，而不仅仅是网络专家。
最令人震惊的发现之一是，88%的提示注入挑战参与者成功地在至少一个日益困难的挑战环节中骗过GenAI机器人，使其泄露敏感信息。近五分之一的参与者（17%）成功地在所有环节中骗过机器人，突显了使用GenAI机器人的组织所面临的风险。
该报告断言，公共和私营部门的合作以及企业政策是减轻由广泛采用GenAI机器人而带来的安全风险所必需的。领导者需要意识到提示注入风险，并采取果断行动，包括为其组织内的GenAI使用建立全面政策。

“根据我们对人们如何操纵GenAI的分析，以及对开发入侵的相对低入门门槛，我们认为组织有必要在大型语言模型中实施安全控制，并采取‘深度防御’方法来对待GenAI，”Immersive Labs的威胁情报高级总监兼报告合著者Kev Breen表示。他说：“这包括实施安全措施，如数据丢失预防检查、严格的输入验证和上下文感知过滤，以防止和识别试图操纵GenAI输出的企图。”

Immersive Labs“GenAI的黑暗面”研究的重要发现
该团队观察其数据分析得出以下关键结论，包括：
GenAI还无法匹敌人类的智慧（目前）：用户成功利用创造性技巧愚弄GenAI机器人，例如欺骗他们将秘密嵌入诗歌或故事，或更改其初始指令，以未经授权地访问敏感信息等。
您无需是专家即可利用GenAI：报告的发现显示，即使非网络安全专业人士和不熟悉提示注入攻击的人员也可以利用他们的创造力愚弄机器人，表明通过提示注入攻击利用GenAI的门槛可能比人们希望的更低。
只要机器人可以被人类智能击败，组织就面临风险：目前尚无协议能够完全防止提示注入攻击。网络领导者和GenAI开发人员需要紧急准备和应对这一新兴威胁，以减轻对人员、组织和社会可能造成的潜在危害。

“我们的研究证明了在整个GenAI系统开发生命周期中采用‘安全设计’方法的关键重要性，”补充道Breen。“基于我们报告中的示例，可见组织的声誉损害潜在风险。组织应在其产品和服务的使用GenAI风险评估中考虑安全与用户体验之间的权衡，以及所使用的对话模型类型。”

Immersive Labs的研究团队由网络心理学负责人约翰·布莱思博士、网络威胁情报高级总监凯夫·布林和数据分析师乔尔·伊克巴尔组成，他们分析了Immersive Labs从2023年6月至9月举行的提示注入GenAI挑战的结果。该挑战要求个人在每个10个环节中越来越困难地欺骗GenAI机器人透露一个秘密密码。最初的样本包含316,637份提交，共有34,555名参与者完成了整个挑战。该团队检查了所采用的各种提示技术、用户互动、提示情感和结果，以便为其研究提供参考。

有关更多关于这些以及其他见解的信息，请访问今天的报告：https://www.immersivelabs.com/dark-side-of-genai-report/。

---

---

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。