首次登陆建设银行网站图文解说,做的网站打开慢,百度seo排名优化软件,中关村能力建设网站生成增强功能是专门为提高知识工作者的生产力、解决网络安全技能短缺问题并降低大型语言模型带来的风险而构建的。安全和风险管理领导者通过在运营中采用生成增强来提高团队的能力。 主要发现 与其他人工智能实现相比#xff0c;生成式人工智能 (GenAI)解决方案#xff0c;特…生成增强功能是专门为提高知识工作者的生产力、解决网络安全技能短缺问题并降低大型语言模型带来的风险而构建的。安全和风险管理领导者通过在运营中采用生成增强来提高团队的能力。 主要发现 与其他人工智能实现相比生成式人工智能 (GenAI)解决方案特别是大型语言模型 (LLM)具有一系列独特的风险。 部署GenAI能力以支持内部示例的成本更高企业机构的试错空间较小。 GenAI 能够并且将会改变组织在企业几乎所有方面包括安全团队设计工作、资源任务和分配职责的方式。
建议
寻求在组织内采用和部署 GenAI 功能的安全和风险管理 (SRM) 领导者包括 CISO应 开发或获取生成增强(GA)来协调与内部企业用例的大语言模型的交互而不是使用对话界面。这将有助于减轻该技术特有的新的和未探索的风险。 从一开始就确保投资回报率一致并优先考虑在线增强而不是对话部署以减轻标准聊天界面带来的风险并降低开发和运营中的相关复杂性/成本。 专注于构建/获取与业务目标明确一致的劳动力增强而不是寻求 GenAI 可以解决的新挑战。
战略规划假设 到 2025 年30% 的用于内部企业用例的生成式 AI 对话式部署将无法带来任何有意义的投资回报率。 到 2028 年生成增强技术的采用将缩小技能差距从而消除 50% 的入门级网络安全职位对专业教育的需求。
介绍
围绕 GenAI 的最初炒作促使许多组织在没有太多规划的情况下就采用了该技术。像这样的场景伴随着很高的风险因为除了一些边缘案例之外回报永远不会与炒作相匹配。结果通常是经过数月的反复试验然后是追溯评估、财务冲销以及可能的高管离职具体取决于冲销的规模。更大的影响将会在稍后出现表现为当生成能力的推出被延迟时就会失去机会。
讽刺的是GenAI 计划在内部企业用例中失败的风险加大其背后的罪魁祸首是对话界面该界面首先将技术推入了我们的集体意识。失败风险增加至少有两个原因 使用和投资回报率投资回报率 (ROI) 取决于员工积极使用该技术并随后获取收益。无法保证员工会使用对话界面也不保证新鲜感不会消失。如果没有明确的价值主张员工就不会将 GenAI 集成到他们的日常工作流程中。此外展示好处非常困难因为您只能跟踪使用情况其余的都留给用户。 提示和幻觉十个用户将以 10 种不同的方式提出同一问题并可能收到六种不同的答案。根据各自提示的质量答案可能是幻觉。组织必须对员工进行提示培训在他们收到错误答案时为他们提供支持并进一步投资于及时预处理和响应后处理以更好地缓解这些问题。
CISO等 SRM 领导者需要意识到并设法避免这些风险因为 GenAI 在网络安全方面的潜力巨大。这种潜力与 CISO 的三个关键目标相一致 通过提高关键任务的质量和严格性来提高员工生产力。 提高初级员工的工作基准标准并促进招聘。 通过为人手短缺的 CISO 组织添加新的多样化功能成为安全团队的力量倍增器。
部署生成增强功能以增强网络安全劳动力
如果网络安全从业者根据在特定任务中观察到的活动通过预先构建的提示获得主动支持而不是要求他们停止正在做的事情来提出问题那么他们将能够最好地利用生成能力。
这就是生成增强GA成为焦点的地方。 GA 是附加组件例如插件或扩展构建在主机应用程序之上以监视用户。然后增强功能将获取这些观察到的数据以及来自其他系统的数据并将其与一组预编程的提示相结合以便在用户执行关键任务时为他们提供指导。
增强是基于人工智能的代理部署用于观察特定的用户任务和工作流程提供在线支持增强以提高员工的能力使其超出普通人的能力。生成增强顾名思义专注于在增强中使用生成人工智能功能充当用户和大语言模型之间的“即时代理”。
这些提示用于查询 LLM 并接收预定义格式的响应。这反过来又使组织更容易减轻幻觉。增强中的逻辑将在每个响应传递回用户之前验证每个响应。没有可用的对话/聊天界面 (UI)。
大语言模型以矢量数据库为基础其中包含范围内用例所需的任何相关数据见图 1。
图 1嵌入到主机应用程序中的生成增强的图示 这项研究将提供生成增强的示例重点关注它们的作用、可以部署它们的主机应用程序类型以及需要整理的数据在知识图或向量数据库中以补充大语言模型。
分析
开发或获取生成增强来协调与大语言模型的互动
CISO 有两个可预测的选项来开始使用生成增强 购买安全产品供应商正在对其产品进行增强以更好地支持用户。我们在一些主流平台中看到了这一点例如集成到 Mandiant 威胁情报中的 Microsoft Security Copilot 或 Google Duet AI 。尽管其中大多数仍然是对话式的但它们的下一次迭代将“融入”安全从业人员的工作流程中。投资这些已开发功能的局限性在于它们将从自己的数据中获取知识而不是从组织安全生态系统中的数据中获取知识。 构建安全团队可以访问 LLM内部管理的开源或 Azure OpenAI 服务或 NVIDIA NeMo 等平台构建 GA 作为特定任务的浏览器扩展其中一些任务在下一个中定义部分可能是一项低成本的工作可以进一步验证更大的投资。
增强充当用户和大语言模型之间的“即时代理”。它主动使用一组针对特定问题领域的预编程提示。增强将提示大语言模型接收响应然后根据领域验证这些响应。其目标是为用户提供更具上下文的响应而不需要以人为中心的对话界面。
下面列出了各种安全功能可能增强的几个示例。
生成增强可以部署在任何应用程序中以监控用户活动并使用正确的 LLM 来增强手头的任务。
通过生成增强功能开发更安全的应用程序
这些示例生成增强将应用程序安全功能嵌入到软件开发过程中使用的工具中。这些功能可以帮助开发团队通过自动生成以安全为中心的用户故事、思考安全性的技巧和相关测试来创建更安全的软件。
示例1故事生成器
相关角色软件工程师、业务分析师、软件测试员
目标应用 应用程序生命周期管理 (ALM) 或问题跟踪工具允许开发团队创建用户故事Jira、Azure DevOps、Rally 使用 ALM 工具时的浏览器扩展
相关数据知识图/向量数据库ALM/问题跟踪器、新用户故事、威胁情报、应用程序漏洞
结果滥用者的故事重点关注如果没有采取必要的控制措施应用程序可能会被滥用或攻击。这将通过在冲刺规划阶段为开发团队提供以安全为中心的要求来提高应用程序安全性。
工作原理产品团队通常会编写用户故事来解释软件功能所需的功能。这些故事是从最终用户的角度编写的范围很窄并且包含功能的特定要求包括非功能要求。用于创建用户故事的 ALM 工具或 ALM 浏览器扩展可以从攻击者或恶意用户的角度编写推论滥用者故事。
产品团队输入的示例用户故事作为支付应用程序用户我想将资金从我的帐户转移到另一个应用程序用户的帐户。
ALM 系统生成的滥用者故事示例作为恶意用户我想在未经合法用户同意的情况下将资金从合法用户的帐户转移到我的帐户。
示例 2问题跟踪器
相关角色开发团队、架构师、系统设计师
目标应用ALM、问题跟踪或系统设计工具浏览器扩展
相关数据知识图/矢量数据库ALM/问题跟踪器、威胁情报、用户角色
结果通过向开发团队提供提示提醒他们在设计和实现应用程序功能时考虑安全性从而提高应用程序安全性。
工作原理向组织灌输威胁意识思维的一个简单方法是提出有关系统或设计的探究性问题。基本问题来自威胁建模宣言——“可能会出现什么问题” ——但这个过程可以根据具体情况更加复杂和具体。例如在编写用户故事或创建系统设计时应用程序可能会生成有关正在开发的内容的探索性安全问题。如果用户故事需要应用程序处理敏感数据例如PHI、PII那么系统可能会提出以下问题“您是否要求正确加密该数据” “您真的相信该用户不会受到损害并暴露他们的凭据吗”以及“部署此功能时您是否有足够的保护措施来保护应用程序的安全”
用户故事示例作为支付应用程序用户我想将资金从我的帐户转移到另一个应用程序用户的帐户。
示例问题 您对您的用户真正了解多少 他们在转账时都是出于好意吗 身份验证足够吗
示例 3代码助手
相关角色软件工程师
目标应用代码助手工具、VS Code、Visual Studio、Eclipse、IntelliJ、PyCharm、Atom
相关数据知识图谱/向量DB源代码、单元测试、用户故
结果通过为开发人员提供专注于安全性的自动化测试来提高应用程序安全性。
工作原理代码助理人工智能工具可以根据开发人员的提示生成代码和单元测试。其中一些单元测试可能是负面或对抗性测试以对代码进行压力测试。如果开发人员无意中创建了易受攻击的代码系统还可以生成如何利用代码的示例。 开发人员编写的示例单元测试 由 Augment 编写的负面单元测试示例 通过生成增强来扩展安全运营团队
安全运营中心 (SOC) 团队不堪重负且人手不足。接下来是一系列可以嵌入到常见 SOC 工具中的 GA为这些团队充当力量倍增器。 示例4智能SOAR
相关角色SOC 工程师、安全领导者、安全工程师
目标应用安全编排、自动化和响应 (SOAR) 产品例如来自 Cyware、D3 Security、Google、Palo Alto Networks、Rapid7、ServiceNow、Splunk、Swimlane、Tines 和 Torq安全信息和事件管理SIEM系统可观测平台浏览器扩展
相关数据知识图谱/向量DBSIEM数据、云原生应用保护平台CNAPP数据、可观测性数据、漏洞数据、威胁情报
结果通过为团队提供有关如何响应的重点和相关说明来改进事件响应。为初级 SOC 工程师提供有关如何解决事件的指导。
工作原理现有的 SOAR 和安全自动化功能依赖于确定性或静态剧本。 Smart SOAR 增强功能将动态创建剧本以响应检测到的安全事件。
示例 5混沌查询
相关角色平台工程师、安全工程师、DevSecOps 工程师、站点可靠性工程师
目标应用SIEM系统、可观测平台、CNAPP、浏览器扩展
相关数据知识图谱/向量DBSIEM数据、CNAPP数据、可观测性数据、漏洞数据、威胁情报
结果通过小型安全实验不断测试环境的弹性提高云/基础设施的安全性。
工作原理混沌工程是使用实验性和潜在破坏性的故障测试或故障注入来发现分布式复杂系统中的漏洞和弱点。使用这种方法的目标是通过实验来测试系统的弹性并在系统实际发生故障之前发现系统可能在哪里发生故障。安全混沌工程 (SCE) 将这种方法应用于系统的安全弹性。
SCE 使组织能够采用基于弹性的方法使用两个层次评估和实验。评估的目标是描述系统的关键功能和交互及其安全边界类似于传统的威胁建模。评估层的工件包括系统数据流图、关键功能文档和故障行为图。使用决策树是完成此活动的一种方法。借助决策树和其他评估工件团队可以确定在何处引入 SCE 实验来测试系统弹性。
SCE 增强可以主动并生成实验来测试系统的风险最大的地方
示例云安全态势管理 (CSPM) 解决方案报告特定帐户的云权限合规。 SCE 创建一个实验来增加帐户的权限并期望 CSPM 监视器能够识别任何与合规性的偏差。
示例 6可观察性工具
相关角色SOC 工程师、安全架构师
目标应用可观测性工具、浏览器扩展
相关数据知识图谱/向量DB可观测性数据、日志、威胁情报、漏洞数据
结果通过基于动态系统监测自动生成威胁模型提高系统的可见性和安全性。为 SOC 工程师和安全架构师提供有关可能存在安全漏洞的指导。对初级员工进行有关系统和系统威胁的教育。
工作原理可观察性是软件和系统的特征它使软件和系统能够根据其输出被理解并能够回答有关其行为的问题。可观察性工具见图 2将是对此类工具的增强用于创建底层系统的模型包括推理系统内部结构的模型和了解系统威胁的模型即威胁模型。
这种类型的增强可以增强持续威胁暴露管理 (CTEM) 等计划。此功能旨在设计业务主管可以理解并且架构和安全团队可以采取行动的可操作的安全漏洞补救和改进计划。
图 2根据可观测性数据生成威胁模型的图示 示例 7解释器
相关角色SOC 工程师
目标应用SIEM 工具例如 Elastic、Exabeam、IBM、LogRhythm、Microsoft、NetWitness、Rapid7、Securonix 和 Splunk浏览器扩展
相关数据知识图谱/向量DBSIEM日志、威胁情报
结果通过为 SOC 工程师提供有关日志数据的即时指导提高他们的有效性和效率。此外还为初级 SOC 工程师提供有关系统数据的明确指导。
工作原理构建新的检测时通常需要将日志数据加载到 SIEM 工具中。理解日志数据有时对于初级团队成员来说是一个挑战因此增强功能可用于帮助教育用户了解日志消息的各个部分的含义。 实例 当系统生成日志消息并由 SIEM 系统收集时系统应自动寻找对日志消息的含义创建更具描述性的解释。 如果产生以下日志消息 5 月 1 日 16:17:43 owl sshd[9024]接受来自 10.0.0.2 端口 37384 ssh2 的 root 公钥 然后 SIEM或浏览器扩展可以生成以下内容 此日志消息提供有关已成功建立的安全外壳 (SSH) 连接的信息。以下是该消息的关键要素的细分 1. 时间戳5 月 1 日 16:17:43 — 这表示事件发生的日期和时间。 2. 主机名owl — 这是生成日志消息的服务器的主机名。 3. Process: sshd[9024] — 这表示该事件是由进程 ID 为 9024 的SSH守护程序记录的。 4. …… 总之此日志消息表明 root 用户已使用公钥身份验证和 SSH-2 协议从客户端 IP 地址 10.0.0.2 成功建立了 SSH 连接。该事件由主机名“owl”的服务器上运行的 SSH 守护程序在指定时间记录。 根据威胁情报应进一步调查此类事件以确定这是否是合法连接。 示例 8网格生成
相关角色SOC 工程师
目标应用网络安全网状架构CSMA产品、SOAR 产品、SIEM 系统、可观测平台、CNAPP、浏览器扩展
相关数据知识图谱/向量DBSIEM数据、CNAPP数据、可观测性数据、漏洞数据、威胁情报、漏洞数据、监测数据
结果整个安全生态系统具有更好的可见性和可操作性
工作原理CSMA 是一种新兴的可组合且可扩展的架构方法可在分散的 IT 世界中实现安全、集中的安全操作和监督。这种安全方法强调 可组合、独立的安全监控 分析和执行 集中情报和治理 通用身份结构
CSMA 的组成部分之一是安全情报层。该层的关键功能在于能够从许多不同的单点产品例如 SIEM 和 SOAR 解决方案、安全 Web 网关和云访问安全代理获取信号并应用基于关系的风险评分矩阵来提供多种类型的决策点。可以在这一层添加一个增强功能利用基于来自各个单点解决方案的聚合数据的大语言模型为安全生态系统生成建议的操作和风险评分。这可以作为安全智能层中的独立解决方案实施也可以嵌入到 SIEM、SOAR 或网关解决方案中。
赋予员工生成增强功能以防止社工攻击
本节中的示例说明了生成如何帮助员工识别社工攻击例如商业电子邮件泄露 (BEC)。
示例 9BEC 身份识别
相关角色员工
目标应用电子邮件客户端MS Outlook
相关数据知识图谱/向量DB威胁情报
结果改进 BEC 电子邮件的识别并为员工提供有关识别哪些信号以及如何继续的指导
工作原理通过模型自动处理电子邮件寻找 BEC 尝试的关键指标。这些信号可能是一种紧迫感或要求以某种方式转移资金以及其他典型的网络钓鱼属性。然后该扩展程序可以突出显示这些信号在电子邮件中的位置为员工提供有关候选人消息为何可能存在问题的上下文信息。该扩展还可以提供一个侧边栏其中包含有关如何进行的更多信息和指导。
