申请域名 建设网站,广州做网站,一起做网店类型的网站,seo关键词排名如何当前人工智能技术面临的最大风险是大语言模型#xff08;LLM#xff09;和生成式人工智能技术的发展和应用速度已经远远超过了安全和治理的速度。
OpenAI、Anthropic、谷歌和微软等公司的生成式人工智能和大语言模型产品的使用正呈指数级增长。与此同时#xff0c;开源大语…当前人工智能技术面临的最大风险是大语言模型LLM和生成式人工智能技术的发展和应用速度已经远远超过了安全和治理的速度。
OpenAI、Anthropic、谷歌和微软等公司的生成式人工智能和大语言模型产品的使用正呈指数级增长。与此同时开源大语言模型方案也在高速成长HuggingFace等开源人工智能社区为技术社区提供了大量开源模型、数据集和AI应用。
为了追赶人工智能的发展脚步OWASP、OpenSSF、CISA等行业组织正在积极开发和提供人工智能安全与治理关键资源例如OWASP AI Exchange、AI安全和隐私指南以及大语言模型十大风险清单LLMTop10。
近日OWASP发布了大语言模型网络安全与治理清单填补了生成式人工智能安全治理的空白具体内容如下 OWASP对AI类型与威胁的定义
OWASP大语言模型网络安全与治理清单对人工智能、机器学习、生成式人工智能和大语言模型之间的区别给出了定义。
例如OWASP对生成式人工智能的定义是一种专注于创建新数据的机器学习而大语言模型是一种用于处理和生成类人文本的人工智能模型——它们根据所提供的输入进行预测并且输出是类似人类产生的“自然内容”。
对于此前发布的“大语言模型十大威胁清单”OWASP认为它可以帮助网络安全从业者跟上快速发展的AI技术识别关键威胁并确保企业拥有基本的安全控制措施来保护和支持采用生成式人工智能和大语言模型的业务。但OWASP认为该清单并不详尽而且需要根据生成式人工智能的发展而不断完善。
OWASP将AI安全威胁分为以下五种 OWASP的大语言模型安全治理策略部署分为六步 以下是OWASP大语言模型网路安全与治理清单
1 对手风险
大语言模型的对手风险不仅涉及竞争对手还涉及攻击者其关注点不仅是攻击态势还包括商业态势。这包括了解竞争对手如何使用人工智能来推动业务成果以及更新内部流程和政策例如事件响应计划(IRP)以应对生成式人工智能攻击和事件。
2 威胁建模
威胁建模是一种日益流行的安全技术随着安全设计系统理念的推广而获得越来越多的关注得到了美国网络安全和基础设施安全局(CISA)等权威机构的认可。威胁建模需要思考攻击者如何利用大型语言模型和生成式人工智能来加速漏洞利用企业检测恶意大型语言模型的能力以及组织是否能够保护大型语言模型和生成式人工智能平台与内部系统和环境的连接。
3 人工智能资产清单
“你无法保护未知的资产”这句格言也适用于生成式人工智能和大语言模型领域。OWASP清单的这部分内容涉及对内部开发的人工智能解决方案以及外部工具和平台进行人工智能资产清单编制。
OWASP强调企业不仅要了解内部使用了哪些工具和服务还要了解其所有权即谁对这些工具和服务的使用负责。清单还建议将人工智能组件包含在软件材料清单(SBOM)中并记录人工智能数据源及其各自的敏感性。
除了对现有人工智能工具进行清单编制之外企业还应该建立一个安全流程将未来的AI工具和服务添加到清单中。
4 人工智能安全和隐私意识培训
人们常说“人是最大的安全漏洞”企业只有将人工智能安全和隐私培训合理集成到其生成式人工智能和大语言模型的应用过程中才能极大缓解人的风险。
这包括帮助员工了解现有生成式人工智能/大语言模型计划、技术及其功能以及关键的安全注意事项例如数据泄漏。此外建立信任和透明的安全文化至关重要。
企业内部的信任和透明文化也有助于避免影子AI威胁否则员工将“偷偷“使用影子AI而不告诉IT和安全团队。
5 人工智能项目的商业论证
就像云计算一样大多数企业实际上并没有为生成式人工智能和大语言模型等新技术应用制定连贯的战略性商业论证很容易盲目跟风陷入炒作。没有合理的商业论证企业的人工智能应用很可能会产生糟糕结果并增加风险。
6治理
没有治理企业就无法建立人工智能的责任机制和明确目标。OWASP清单建议企业为人工智能应用制定RACI图表(责任分配矩阵)记录并分配风险责任和治理任务建立全企业范围的人工智能政策和流程。
7 法律
随着人工智能技术的飞速发展其法律影响不容低估并可能在给企业带来财务和声誉的重大风险。
人工智能法务涉及一系列活动例如人工智能产品质保、人工智能最终用户许可协议(EULA)、使用人工智能工具开发的代码的所有权、知识产权风险和合同赔偿条款等。简而言之请确保企业的法律团队或专家了解企业使用生成式人工智能和大语言模型时应该开展的各种配套法律活动。
8 监管
人工智能监管法规也在迅速发展例如欧盟的人工智能法案其他国家和地区的法规也将很快出台。企业应该了解所在国家的人工智能合规要求例如员工监控并清楚地了解其人工智能供应商如何存储和删除数据以及如何监管其使用。
9 使用或实施大语言模型解决方案
使用大型语言模型解决方案需要考虑特定的风险和控制措施。OWASP清单列出了诸如访问控制、训练管道安全、映射数据工作流以及了解大型语言模型模型和供应链中存在的或潜在的漏洞等项目。此外还需要对供应商进行第三方审计、渗透测试甚至代码审查这些工作既要初始进行也要持续进行。
10 测试、评估、验证和确认(TEVV)
TEVV流程是NIST在其人工智能框架中特别推荐的流程。这涉及在整个人工智能模型生命周期中建立持续的测试、评估、验证和验证以及提供有关人工智能模型功能、安全性和可靠性的执行指标。
11 模型卡和风险卡
为了合乎道德地部署大语言模型OWASP清单要求企业使用模型和风险卡这些卡可用于让用户理解和信任人工智能系统并公开解决偏见和隐私等潜在的负面后果。
这些卡片可以包含模型详细信息、架构、训练数据方法和性能指标等项目。还强调考虑负责任的人工智能所需要考虑的因素以及对公平和透明度的关注。
12 RAG大语言模型优化
检索增强生成RAG是一种优化大语言模型从特定来源检索相关数据能力的方法。它是优化预训练模型或根据新数据重新训练现有模型提高性能的方法之一。OWASP建议企业实施RAG以最大限度地提高大语言模型的价值和有效性。
13 AI红队
最后OWASP清单强调了人工智能红队的重要性后者模拟人工智能系统的对抗性攻击以识别漏洞并验证现有的控制和防御。OWASP强调红队应该是生成式人工智能和大语言模型的综合安全解决方案不可或缺的一部分。
值得注意的是企业还需要清楚地了解外部生成式人工智能和大语言模型供应商的红队服务和系统要求与能力以避免违反政策甚至陷入法律麻烦。
参考链接
https://owasp.org/www-project-top-10-for-large-language-model-applications/llm-top-10-governance-doc/LLM_AI_Security_and_Governance_Checklist-v1.pdf
