克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
ChatGPT最新漏洞曝光,一句话就能让训练数据原封不动地泄露。
只需要让它重复一个词,它就会在一定次数后“发疯”,甚至毫无防备说出某人的个人隐私信息。
DeepMind的研究人员联合华盛顿大学、康奈尔大学等高校,发现了ChatGPT的数据泄露漏洞。
利用他们的方法,只要预算充足,可以提取出大约1GB的训练数据。
更可怕的是,训练时间越长——也就是越强大的模型,泄露出来的数据反而越多。
研究团队已在论文发表之前90天把这一情况报告给了OpenAI,后者也做出了一定修复。
但到现在还是有网友发现,把论文里的词改一改,bug就会卷土重来。
那么,这个漏洞究竟是怎么一回事呢?
数据泄露防不胜防
作者攻击ChatGPT(API访问,3.5-turbo版本)的方式,叫做分歧攻击。
他们发现,当ChatGPT被要求重复一个单词多次时,模型会在某些情况下偏离正常的聊天式生成,开始输出与训练数据更接近的文本。
这些内容五花八门,除了个人信息,还包括文学作品、学术论文、链接、代码……甚至是工作场所不宜内容。
为了验证这些内容是否来自于训练数据,作者用了多个公开模型的训练数据组成了AuxDataset数据集(由于ChatGPT数据集未公开,只能通过其他模型的数据来估计)。
结果发现有上万条内容命中了AuxDataset,这些内容长度不等,最长的有4000多token。
作者还发现,这种攻击方法对单词提示更有效,而对多词提示则效果较差,特别是当被要求重复的词是company时,能获得到的信息是最多的。
作者使用Good-Turing估计器估计了ChatGPT中可提取记忆的总量,结论是至少有150万个独特的50-gram序列(相邻的50个token)是可提取的。
不过由于预算有限,作者表示这个估计可能低估了可提取数据的规模。
不仅是API,在正式的网页版ChatGPT中测试,也有概率得到同样的结果,说明模型之外的“系统护栏”也没能防住这波攻击。
我们简单实测了一下,发现这个漏洞到目前仍然没有被完全修复。
当重复词为“text”时,ChatGPT没有输出其他内容,但给对话起了一个奇怪的标题。
而当重复词为“company”时,ChatGPT经过三次regenerate后输出了一段疑似是ins文案的内容。
不过作者表示,这种攻击方法目前只对3.5版本奏效,GPT-4由于专门做过防泄露方面的对齐,逃过了一劫。
这种对齐在3.5版本中也有设置,但3.5的防御措施可以通过论文中展示的提示词攻击方法来绕过。
除了ChatGPT,作者也对Llama、Falcon、Mistral等开源或半开源模型进行了测试,结果发现同样存在数据泄露现象。
而越强大的模型,泄露出的数据也越多,ChatGPT泄露的数据量明显超过了其他模型。
泄露现象出现的范围也不局限在语言模型,该团队之前还从Stable Diffusion中提取了训练数据集中的约100张人物照片和其他类型的图像。
他们发现,当用训练数据集中人物的姓名做Prompt时,Stable Diffusion就会“偷懒”,直接把照片当做输出结果。
网友:还有其他攻击方法
这篇论文中提到的方式并不是孤例,还有其他攻击方法也能达到类似的结果,比如用没什么实际意义的123ABC加上简单的代码就让ChatGPT生成了一段关于臭氧层的文本。
发现者解释到,这是ChatGPT的输入清理机制的漏洞导致的,它清除了套娃式的两个<|endoftext>标签中处于内部的一个,但外部的“壳”则由于初始形态被拆开而被忽略。
作者和网友们的这些新发现,意味着ChatGPT违反了欧盟通用数据保护条例(GDPR)的规定,OpenAI可能会因此遇到麻烦。
GDPR第17条规定,数据主体(用户)有权要求控制者(模型开发者)立即删除与其有关的个人数据,也就是拥有“遗忘权”。
不过,一般个人对此也不必那么担心,因为这种攻击方式成本不低。
在这个实验中,研究者提取几MB数据,就已经花费了200美元。
那么,对于ChatGPT泄露数据这件事,你有什么看法?
论文地址:https://arxiv.org/abs/2311.17035
参考链接:[1]https://not-just-memorization.github.io/extracting-training-data-from-chatgpt.html
[2]https://stackdiary.com/chatgpts-training-data-can-be-exposed-via-a-divergence-attack/— 完 —
量子位 QbitAI · 头条号签约
友情提示
本站部分转载文章,皆来自互联网,仅供参考及分享,并不用于任何商业用途;版权归原作者所有,如涉及作品内容、版权和其他问题,请与本网联系,我们将在第一时间删除内容!
联系邮箱:1042463605@qq.com