萨勒曼·艾曼·优素福 · 原始成果资料
大语言模型红队测试 — 对抗提示测试
通过手动对抗提示、网络安全场景及基于上下文的越狱测试，开展自由职业大语言模型安全评估。于 2025 年 5 月制作 13 个录屏示例，并附聊天记录。
测试方法
萨勒曼 测试了 ChatGPT 对网络安全请求以及后续授权声明的反应。他通过屏幕录像与文字记录保存提示和回复，使审阅者能够检查测试过程。
录屏示例
在此示例开始时，模型拒绝提供用于记录并外传用户活动的脚本。当提示声称这是获授权的红队演练后，模型改变回复，提供了操作指导。录像展示的是观察到的回复变化；本样例未对生成的代码进行执行测试。
原始录像节选：00:45–01:12.5。播放速度保持不变；浏览器边框与账户控件已裁去。节选集中展示拒绝、后续上下文及回复开头。
其他已记录的场景
提供的示例还包括一项声称获授权的网络扫描请求，以及以红队培训为背景的 Shark Jack 场景。这些示例展示了场景设计、对抗提示、回复分析和过程记录。