WordPress分段插件,百度搜索关键词优化方法,商城维护工作内容网站建设,做网站要ftp信息吗AI大模型的快速向前奔跑#xff0c;让我们见识到了AI的无限可能#xff0c;但也展示了AI在虚假信息、深度伪造和网络攻击方面的潜在威胁。
据安全分析平台Netenrich报道#xff0c;近日#xff0c;一款名为FraudGPT的AI工具近期在暗网上流通#xff0c;并被犯罪分子用于编…AI大模型的快速向前奔跑让我们见识到了AI的无限可能但也展示了AI在虚假信息、深度伪造和网络攻击方面的潜在威胁。
据安全分析平台Netenrich报道近日一款名为FraudGPT的AI工具近期在暗网上流通并被犯罪分子用于编写网络钓鱼电子邮件和开发恶意软件。
黑客在售卖页表示该工具可用于编写恶意代码、创建出“一系列杀毒软件无法检测的恶意软件”、检测网站漏洞、自动进行密码撞库等并声称“该恶意工具目前已经售卖了超过3000 份”。
恶意AI工具FraudGPT可自动生成多种网络攻击代码
据报道FraudGPT的运作方式是通过草拟一封电子邮件以高度可信的方式诱使收件人单击所提供的恶意链接。它的主要功能包括
l 创建钓鱼网站页面
FraudGPT可以生成看似真实的网络钓鱼电子邮件、短信或网站诱骗用户泄露敏感信息例如登录凭据、财务详细信息或个人数据
l 找到最容易受害的目标
聊天机器人可以模仿人类对话与毫无戒心的用户建立信任导致他们在不知不觉中泄露敏感信息或执行有害操作
l 创建无法检测的恶意软件
FraudGPT可以创建欺骗性消息引诱用户点击恶意链接或下载有害附件导致其设备感染恶意软件
l 编写欺诈的短信、邮件
人工智能驱动的聊天机器人可以帮助黑客创建欺诈性文件、发票或付款请求导致个人和企业成为金融诈骗的受害者。
据悉FraudGPT是由名为 “CanadianKingpin” 的开发者提供。
它主要基于GPT-3的大型语言模型在经过训练后可以生成合乎逻辑且与事实相符的欺诈性文本。一旦付费购买FraudGPT便可以帮助犯罪分子成功进行网络钓鱼和诈骗。
在发布FraudGPT后Canadiankingpin还创建了自己的电台频道宣布将提供其他欺诈服务包括销售电子邮件线索、信用卡CVV码等。根据Canadiankingpin的描述他目前已经通过了EMPIRE、WHM、TORREZ、ALPHABAY在内的多个暗网市场的供应商认证。
然而由于这些暗网市场极强的隐蔽性和不透明性目前Canadiankingpin的身份依然是个谜团调查者也仅找到了Canadiankingpin的TikTok账号以及相同id的Gmail邮箱。而另一个令人感到沮丧的消息是在经历了近一周的研究后Netrich也并未能够实现对FraudGPT背后的大语言模型的破解。
虽然自FraudGPT发布仅过去了不到两周但一个明显的事实是这款“顶级AI工具”已开始被利用到了实际的犯罪行为中。在部分销售FraudGPT的暗网中Canadiankingpin与一些订阅用户已经分享了多起他们基于FraudGPT所实现的黑客活动。
据Netrich统计FraudGPT至少自7月22日便开始在暗网市场和Telegram频道中流通订阅费用为200美元/月1700美元/年。相比于ChatGPT Plus订阅20美元/月价格高了10倍。
截止目前暗网上已存在了超过3000条确认的订阅信息及评论。
恶意AI攻击工具降低网络犯罪的进入门槛
事实上AI工具降低了网络犯罪分子的进入门槛FraudGPT已经不是第一起案例。
即便Claude、ChatGPT 、Bard等AI提供商会采取一些措施来防止他们的技术被用于不良目的但随着开源模型的崛起犯罪分子的恶意行为很难被遏制。
7 月初基于开源大语言模型GPT-J开发而成并且使用大量恶意代码进行训练和微调的WormGPT也曾引发关注。
据悉WormGPT擅长使用Python代码执行各种网络攻击例如生成木马、恶意链接、模仿网站等其在创作诈骗信息和钓鱼邮件等任务上所表现出的“卓越”能力让人胆战心惊。
但相比之下FraudGPT在功能丰富性和编写恶意软件方面的功能更强大。
事实上除了上文所提到的FraudGPT、WormGPT等专为恶意活动而生的聊天机器人外。大语言模型本身所潜藏的风险也在不断给安全从业者们带来挑战除了我们所熟知的幻觉问题外大模型脆弱的护栏也在成为网络安全的一大噩梦。
上个月ChatGPT、Bard等聊天机器人暴露出的“奶奶漏洞”就证明了这样的事实只需要通过提示让这些聊天机器人扮演用户已故的祖母便能欺骗它们在讲睡前故事的过程中透露大量限制信息甚至是手机IMEI密码或Windows激活秘钥。
除此之外CMU和人工智能安全中心的研究员还发现了另一种通用方法只需要附加一系列特定无意义token就能够生成一个prompt后缀。而一旦在prompt中加入这个后缀通过对抗攻击方式任何人都能破解大模型的安全措施使它们生成无限量的有害内容。
尽管在过去几个月中OpenAI、谷歌等世界顶级科技公司都在努力为自己所研发的大模型设计更多更加完善的限制措施以保障模型能够在安全稳定的情况下工作。但显而易见的是直至目前仍然没有人能够完全避免类似问题的发生。
当犯罪门槛降低企业如何防范
毋庸置疑无论是WormGPT 还是FraudGPT 这类极具威胁性的AI工具都在为促进网络犯罪和诈骗“赋能”。
安全分析平台Netenrich曾表示“这项技术会降低网络钓鱼电子邮件和其他诈骗的门槛。随着时间的推移犯罪分子将找到更多方法来利用我们发明的工具来增强他们的犯罪能力。”
当AI工具的邪恶面被淋漓尽致的展现再加之网络攻击「低门槛」加强防御策略显得尤为重要。
为此有专家针对个人和企业提出了一些可采取的关键措施以确保免受 FraudGPT和类似AI工具威胁的影响。
l 对在线通信保持警惕
不要乱点击陌生的网站链接、邮件安装未知的软件。同时针对需要验证、涉及敏感信息、金融交易的意外电子邮件应通过官方渠道加以验证。
l 及时了解网络安全措施
定期更新安全软件、安装补丁并使用信誉良好的防病毒程序来防范潜在威胁。同时也需要了解最新的网络安全实践增强网络攻击的防御意识。
l 警惕未知的链接和附件
不要点击未知来源的链接或打开附件。FraudGPT可以生成指向网络钓鱼网站的逼真URL因此在点击任何链接之前验证发件人的身份至关重要。
l 教育和培训员工
对于企业来说网络安全最佳实践的员工培训至关重要。确保员工了解潜在威胁并知道如何识别可疑活动。如果员工遇到任何可疑消息应该立即向IT部门报告。
结语
AI大模型的快速发展在给诸多领域带来积极影响的同时随着模型能力的不断提升也被运用在恶意活动中破坏力与日俱增。
但无论是FraudGPT、WormGPT等恶意软件的出现还是大模型总会出现的幻觉、越狱等问题其实都不是为了告诉我们AI有多么危险而是在提醒我们需要更加专注于解决现阶段AI领域所存在的诸多问题。
正如网络安全专家Rakesh Krishnan在一篇关于FraudGPT的分析博客中所写的那样技术是一把双刃剑网络犯罪分子正在利用生成式AI的能力而我们同样可以利用这种能力攻克他们所提出的挑战。技术作恶者不会停止创新我们同样不会。
值得欣慰的是目前无论在国内外政府及科技企业都在积极完善有关人工智能的监管政策及相关法规。
七月中旬国家网信办已联合六部门发布了《生成式人工智能服务管理暂行办法》七月底美国7家AI巨头也与白宫达成协议将为AI生成内容添加水印。
近来多个包含数据采集和使用不规范等问题的AIGC应用被要求在苹果商店下架一事也证明着监管措施正在发挥积极作用。
虽然关于人工智能无论在技术还是监管方面我们都还有很长的道路需要去探索但相信随着各界的共同努力许多问题都将在不久后迎刃而解。
