时政·财经·军事 | 生活·家庭·娱乐 | 体坛·历史·科技 | 摄影·旅游·文化 | 移民·教育·就业 | 数码·健康·奇闻 | 社区·评论·问卷
留园网首页 · 新闻速递首页 · 【繁體閱讀】 【网友评论:2 条】 【 热评新闻排行 】 【 热门新闻排行 】 【 即刻热度新闻排行 】 【 72小时神评妙论 】   

ChatGPT曝严重漏洞 聊天记录黑客随意看(组图)

新闻来源: 量子位 于2024-10-01 11:35:25  提示:新闻观点不代表本网立场

ChatGPT长期记忆功能出现严重漏洞!

黑客利用漏洞,一能给AI植入虚假记忆,在后续回答中出现误导信息。二能植入恶意指令,持续获取用户聊天数据。

聊点啥都会被看光光。





更可怕的是,即使开始新的对话,它仍阴魂不散,持续窃取数据。

而当你直接问ChatGPT 4o有没有窃取数据,它一口一个“怎么会?我没有”



电子邮件、文档、博客文章等内容都有可能成为植入“恶意记忆”的媒介,一旦植入就是长久性的。



职业安全研究员Johann Rehberger被曝五月份就发现了这个问题,还向OpenAI私下报告了这个漏洞。

但没被当回事儿,据说OpenAI最初将这个问题简单地归类为安全隐患,而非技术层面的安全漏洞,并匆匆结束了调查。

Rehberger随即开发了一个概念验证程序,利用这个漏洞持续窃取用户的所有输入信息,OpenAI工程师这才注意到这一问题。

本月已发布了修复方案。



联系昨天OpenAI高层动荡内幕曝光,奥特曼被指不注重AI安全问题,为狙击谷歌紧急推出4o,安全团队只能在9天极短时间内完成安全测试评估……



这件事被曝出后引发网友热烈讨论。

有网友建议咱大伙儿使用的时候都本地运行。

还有网友觉得本地也没用:

大模型无法区分指令和数据。只要你允许任何不可信的内容进入你的模型,你就可能面临风险。

你允许它读取你的电子邮件,那么现在就有一个攻击途径,因为任何人都可以给你发送电子邮件。允许它搜索互联网,那么现在就又有一个攻击途径,因为任何人都可以在网上放置网页。



究竟怎么回事?长期对话记忆功能,OpenAI今年在产品线中广为应用。

它可以存储之前对话中的信息,并在所有未来对话中将其用作上下文。这样,语言模型就能意识到用户的年龄、性别等各种细节,用户无需在每次对话中重新输入这些信息。

GPT-4o发布时,就向所有Plus用户开放了记忆、视觉、联网、执行代码、GPT Store等功能。

最近高级语音“Her”Plus用户全量发布,也有记忆功能。



一开始记忆功能推出后不久,Rehberger就发现了这一漏洞:

用“间接提示注入”的攻击方法可以创建和永久存储记忆,使模型遵循来自电子邮件、博客文章或文档等不可信内容的指令。

他可以成功欺骗ChatGPT相信目标用户102岁、生活在黑客帝国中、地球是平的。AI会将这些信息纳入考虑,影响所有未来的对话。

这些虚假记忆可以通过在Google Drive或Microsoft OneDrive中存储文件、上传图像或浏览Bing等网站来植入,这些都可能被恶意攻击者利用。

Rehberger在5月向OpenAI私下报告了这一发现,据说当月OpenAI关闭了相关报告。

一个月后,研究员提交了新的披露声明,这次包含了一个概念验证程序。该程序可以使macOS版ChatGPT APP将所有用户输入和ChatGPT输出的原文副本发送到他指定的服务器。

只需让目标指示AI查看一个包含恶意图像的网络链接,之后所有与ChatGPT的交互内容都会被发送到攻击者的网站。

Rehberger在视频演示中表示:

真正有趣的是,这种攻击具有记忆持久性,提示注入将一段记忆插入到ChatGPT的长期存储中。即使开始新的对话,它仍在持续窃取数据。

不过,由于OpenAI去年推出的一个API,这种攻击无法通过ChatGPT网页界面实现。

有研究人员表示,虽然OpenAI目前已推出了一个修复程序,但不可信内容仍可能通过提示注入,导致记忆工具存储恶意攻击者植入的长期信息。

为防范此类攻击,语言模型用户应在对话中密切注意是否有新记忆被添加的迹象。同时,应定期检查存储的记忆,查看是否有可疑内容。

			
网编:和评

鲜花(0)

鸡蛋(0)
2 条
【手机扫描浏览分享】

扫一扫二维码[Scan QR Code]
进入内容页点击屏幕右上分享按钮


敬请注意:新闻内容来自网络,供网友多视角阅读参考,观点不代表本网立场!若有违规侵权,请联系我们。
热门评论当前热评  更多评论...
评论人:未知星球[★品衔R5★][个人频道][个人动态] 2024年10月01日14:59 回复
本来就是alterman 这种脑筋不够用的堆出来的
1  
新闻速递首页 | 近期热门新闻 | 近期热评新闻 | 72小时神评妙论 | 即刻热度新闻排行
科技频道】【宠物情缘
前期相关精彩新闻
新闻速递首页·向留园新闻区投稿·本地新闻·返回前页