通过与 Jira 对比,让您更全面了解 PingCode

  • 首页
  • 需求与产品管理
  • 项目管理
  • 测试与缺陷管理
  • 知识管理
  • 效能度量
        • 更多产品

          客户为中心的产品管理工具

          专业的软件研发项目管理工具

          简单易用的团队知识库管理

          可量化的研发效能度量工具

          测试用例维护与计划执行

          以团队为中心的协作沟通

          研发工作流自动化工具

          账号认证与安全管理工具

          Why PingCode
          为什么选择 PingCode ?

          6000+企业信赖之选,为研发团队降本增效

        • 行业解决方案
          先进制造(即将上线)
        • 解决方案1
        • 解决方案2
  • Jira替代方案

25人以下免费

目录

“邪恶版”ChatGPT 出现:毫无道德限制,专为“网络罪犯”而生?

近几个月来,伴随着 ChatGPT 的热度暴涨,OpenAI 也不断因 AI 的道德问题和数据安全隐患遭到多方质疑,甚至上周还受到了美国联邦贸易委员会(FTC)的正式调查——这也是美国监管机构首次正式发起对 AI 聊天机器人风险的审查。

而正当 OpenAI 因 ChatGPT 疲于应对各方审查时,一款“没有道德界限或限制”的「邪恶版 ChatGPT」悄然在网络上蔓延:WormGPT。

图片

(图片来源:Hacking forum)

「邪恶版 ChatGPT」,每月 60 欧元

根据网络安全公司 SlashNext 博客报道,其团队在研究生成式 AI 在网络犯罪方面的潜在风险时,偶然发现了 WormGPT:“我们最近通过一个与网络犯罪有关的知名在线论坛获得了一个名为 ‘WormGPT’的工具,它是一个 GPT 模型的黑帽替代品。”

据了解,WormGPT 的收费标准是每月 60 欧元(约人民币 479 元),而 SlashNext 对 WormGPT 的形容是:“专为恶意活动而设计”,简直是“网络罪犯的武器库”。

WormGPT 由一位胆大的黑客设计,他写道:“这个项目(WormGPT)旨在提供 ChatGPT 的替代方案,让你做各种非法的事情,你能想到的所有与黑帽相关的事情,都可以用 WormGPT 完成。”为了证明他的说法,他还上传了相关截图,显示用户可要求机器人生成用 Python 编码语言编写的恶意软件。

图片

WormGPT 基于 2021 年开源的 LLM GPT-J 模型开发,工作方式与 ChatGPT 大致相同:可处理人类自然语言提出的要求,并输出所要求的任何内容,包括故事、摘要和代码。但与 ChatGPT 或 Bard 不同的是,WormGPT 不用像 OpenAI 或谷歌这样的大型公司那样,必须要承担相关的法律义务。

据 SlashNext 介绍,WormGPT 在各种数据源上进行训练,尤其集中在恶意软件相关的数据上,加上输出没有道德限制,可以被要求执行各种恶意任务,包括创建恶意软件和“一切与黑帽有关的事情”,对于网络犯罪分子而言无疑是一大利器。

对于 WormGPT,NordVPN 网络安全专家 Adrianus Warmenhoven 的评价是“ChatGPT 的邪恶双胞胎”,因为它显然是从 OpenAI 对 ChatGPT 不断施加限制、而攻击者极力规避这些限制才衍生出来的。

为了全面评估 WormGPT 相关的潜在危险,SlashNext 团队进行了以 BEC 攻击(商业电子邮件泄露,一种通过电子邮件进行的社会工程学攻击,攻击者一般会伪造电子邮件消息以诱骗受害者执行某些操作)为重点的测试:“在一次实验中,我们要求 WormGPT 生成一封电子邮件,内容是向毫无戒心的账户经理施压,迫使其支付虚假发票。”

图片

WormGPT 的输出结果令 SlashNext 直呼危险:“结果令人非常不安。WormGPT 生成的电子邮件不仅极具说服力,而且在战略上也非常狡猾,展示了它在复杂的网络钓鱼和 BEC 攻击中的无限潜力。”

AI 加持下,新手将轻易实现诈骗

通过上面这个测试,SlashNext 总结道,类似于 WormGPT 这样的生成式 AI 技术可能会带来巨大威胁,因为有了这类工具的加持后,就连网络犯罪新手都能轻易实现诈骗。

以 BEC 攻击为例,使用生成式 AI 具有以下两大优势:

(1)卓越的语法:生成式 AI 可以创建在语法上无懈可击的电子邮件,使其看起来合法合理,被系统标记为可疑邮件的可能性会大幅降低。

(2)降低犯罪门槛:生成式 AI 的出现,极大简化了原本复杂的 BEC 攻击,即便是技术有限的攻击者也能使用生成式 AI,它将成为越来越多网络犯罪分子可以使用的工具。

不过同时,针对生成式 AI 可能引发的大范围 BEC 攻击,SlashNext 也建议了两种防范策略:

(1)进行 BEC 专项培训:公司应制定广泛的、定期更新的培训计划,以应对 BEC 攻击,尤其是由 AI 增强的攻击,要让员工了解到 BEC 攻击的威胁,以及 AI 将如何加大这种威胁的原理。

(2)强化电子邮件的验证措施:为防范 AI 驱动的 BEC 攻击,企业应执行严格的电子邮件验证流程,例如当有来自组织外部的电子邮件冒充内部高管或供应商时,系统要自动发出警报等。

AI 领域仍存在不少挑战和局限性

而事实上,除了上文提到的 WormGPT 编写恶意软件、助力 BEC 攻击以外,上个月 ChatGPT 的“奶奶漏洞”也证实了一个事实:尽管 OpenAI 等公司都对 AI 技术做出了许多限制措施,但目前还是无法完全避免这类漏洞的出现。

上个月,一位名为 Sid 的用户发现,只要让 ChatGPT 扮演其过世祖母讲睡前故事,就能顺利骗出 Windows 10 Pro 密钥。

图片

经过 Sid 的分享后,越来越多用户发现了这个漏洞,并开始尝试欺骗 ChatGPT 报出 Windows 11 序列号,其中许多人都成功了。据了解,虽然这些密钥大多是无效的,但有少量序列号也确实是真实可用的。

不论是 ChatGPT 的“奶奶漏洞”,还是“网络犯罪分子专用”的 WormGPT 的出现,都证明了至少现阶段 AI 领域仍存在不少挑战和局限性。为此,一方面,研究人员需继续深入相关技术,在提高数据质量、优化算法的同时,充分考虑伦理道德层面的影响。另一方面,作为用户的我们也应时刻保持谨慎,避免对 AI 产生过度依赖。

文章来源:程序员的那些事

文章来自:https://www.freebuf.com/

相关文章