记录在一些应用中发现的 Prompt Injection

最近 OpenAI 开放了chatGPT 使用的基座模型 GPT3.5-turbo,本想将其命名为”饼饼子机器人“并接入 QQ 群的。但是在一番测试后发现,用户居然能够得到 system 角色的预设信息。

image-20230314151651529

如上图所示,安装文档调用 GPT3.5-turbo 接口,user 角色可以直接访问到 system 所说的内容。

接着我又在一些开放的小程序上进行了测试,比如三斤师傅的周报生成:

image-20230314152111663

亦或者是哄女朋友帮助

image-20230314153201097

不过在小红书风格生成上失败了。目前推测可能是前置 Prompt 较长并且将用户输入包括在内。