建设移动端网站,建站之星网站 seo优化,WordPress推送到微信,wordpress page 父页面目前#xff0c;不少企业数据中心使用 FC 交换机和集中式 SAN 存储#xff08;以下简称“FC-SAN 架构”#xff09;#xff0c;支持核心业务系统、数据库、AI/ML 等高性能业务场景。而在开展 IT 基础架构信创转型时#xff0c;很多用户受限于国外交换机#xff1a;FC 交换…目前不少企业数据中心使用 FC 交换机和集中式 SAN 存储以下简称“FC-SAN 架构”支持核心业务系统、数据库、AI/ML 等高性能业务场景。而在开展 IT 基础架构信创转型时很多用户受限于国外交换机FC 交换机市场几乎被 Broadcom 和 Cisco 等国外厂商垄断很难找到成熟的国产替代方案。
而随着 RoCERDMA over Converged Ethernet 这一高性能网络技术的日渐成熟以太网交换机 NVMe-oF 或成为破局关键由于 RoCE 通过以太网使用 RDMARemote Direct Memory Access网络协议用户可以使用国产以太网交换机替代 FC 交换机搭配支持 NVMe over RDMARoCE v2和信创 CPU 架构的分布式存储即可同步实现 IT 基础架构的信创转型与架构升级满足核心业务应用“高性能、低延迟”的需求。
以下将结合权威机构趋势报告和行业用户实践讨论这一转型方案的可行性。 替代可行性技术成熟度与信创实践难度分析 技术成熟度RoCE 成主流 RDMA 实现方案NVMe-oFRoCE获多厂商与权威机构青睐
传统以太网采用 TCP/IP 作为网络传输协议。由于 TCP/IP 协议栈处理带来的延迟较长、服务器 CPU 消耗更高本质上属于有损网络其性能一直比不过 FC 网络这也是为什么企业多采用 FC-SAN 架构支持高性能应用场景。而 RDMA 技术的出现为解决 TCP/IP 的缺陷提供了一种全新且高效的解决思路通过直接内存访问技术数据从一个系统快速移动到远程系统的内存中无需经过内核网络协议栈无需双方操作系统的介入最终达到高带宽、低延迟和低 CPU 资源占用的效果。
RoCE 正在成为主流的 RDMA 实现方案。相比更早出现的 InfiniBand 技术RoCE 支持无损以太网部署无需使用专有网络IB成本也更低。虽然 RoCE 在诞生之初有诸多不足 但经过 10 多年的发展目前的 RoCE v2 技术已具备路由能力且在性能表现上已经达到与 InfiniBand 相同甚至更高的水平。Mellanox 发布的《RoCE in the Data Center》白皮书明确表示直到 RoCE 的出现与成熟RDMA 才在基于以太网的数据中心得到大规模的应用为数据中心业务带来低延迟、高性能的体验。中国移动发布的《以太无损网络测试技术白皮书》也指出“在高性能计算和存储场景中基于 RoCE 技术构建数据中心网络已成为主流解决方案之一该方案融合了 RDMA 和以太网的优势”。 RDMA 三种实现方案对比
目前国际主流的网卡与适配器制造商如 Intel、Mellanox、Cisco、Broadcom 等均提供以 RoCE v2 技术实现 RDMA 能力的产品和方案。众多主流云服务商如 Microsoft – Azure 和 Orcale – Oracle Cloud InfrastructureOCI也利用 RoCE 提升方案网络性能。例如OCI 利用英伟达 ConnectX SmartNICs 和 RoCE 技术构建支持弹性扩展与低延迟的高性能网络为高性能计算、GPU、AI/ML、Oracle 数据库等场景提供高性能网络能力。国内厂商浪潮也帮助用户基于 Kubernetes 和 RoCE v2 构建 AI 训练集群提升整体运算性能。可以看出以 RoCE 支持核心业务场景尤其是高性能业务场景已得到业内广泛认可。
虽然 RoCE 对以太网交换机没有能力要求仅要求网卡支持 RoCE但要求存储产品提供 RDMA/RoCE 支持。其中应用最广泛的技术之一就是 NVMe-oFNVMe over Fabrics。NVMe-oF 是一种数据接入协议将 NVMe 在单系统内部提供的高性能、低延迟和极低的协议开销等优势进一步发挥到客户端与存储系统互联的网络结构当中。
Gartner 在《Top Trends in Enterprise Data Storage 2023》报告中指出NVMe-oF 是块存储领域未来发展的三大重点之一“NVMe-oF 方案适用于基于 NVMe 硬盘的低延迟应用场景 … 该技术可充分满足应用对高性能和灵活扩展的存储能力要求。同时在分布式和软硬件解耦的平台上 NVMe-oF 可进一步发挥和增强存储系统的能力。”
根据 Gartner 的预测到 2027 年至少 25% 的企业都会使用 NVMe-oF 进一步提升存储性能以支持 AI/ML、HPC、数据库、金融核心交易系统等高性能应用场景NVMe-oF 支持多种传输层协议包括 FCNVMe over FC、RDMANVMe over RDMA和 TCPNVMe over TCP。其中NVMe over FC 基于传统的 FC 网络并不适合信创采用。Gartner 在《Competitive Landscape: Innovative All-Flash Array Offerings Architected for the Data-Centric Era》调研中也发现大部分存储厂商对 NVMe-oF 的支持集中在 NVMe over RDMA/RoCE 和 NVMe over TCP 这两种方案上。而相比 TCP 而言RDMA/RoCE 可以提供更好的性能因此数据中心更适合采用 NVMe over RDMA/RoCE支持对性能和延迟敏感的业务。
现阶段NVMe over RDMA/RoCE 的应用情况如何目前国内用户常见的主流存储厂商包括 VMware vSpherevSAN、Dell EMC、IBM、华为 OceanStor、志凌海纳 SmartX 等均提供支持 NVMe over RDMA/RoCE 的方案/版本且在国内已具备实践案例在下文展开解读充分证明了技术的成熟与可靠性。 信创实践难度信创以太网交换机与存储方案成熟行业头部用户已实现转型
“以太网交换机支持 RoCE 的存储”在技术上可以实现 FC 交换机的信创替代在实践层面可行吗有信创方案和实践支持吗
以太网交换机国产以太网交换机已经比较成熟了国内厂商如华为、H3C、锐捷等均可提供国产替代方案。支持 RoCE 的网卡国内品牌如华为可提供 25GbE 支持 RoCE v2 的自研网卡产品但对于更高带宽的使用场景目前的主流选择还是 Intel、Mellanox 等厂商产品。不过这些非国产品牌的网卡目前仍在信创场景中普遍使用且可通过信创验收因此暂不影响用户的选择和使用。支持 RoCE 的 SAN 存储国内厂商如华为 OceanStor 的部分高端集中式存储可支持 NVMe over RDMARoCE v2。
另外可以看到一些国内企业如中国工商银行、中国移动、中国银行等行业头部用户已经先行一步基于 NVMe over RoCE 技术开展了高性能存储网络转型。例如中国工商银行在深入调研高性能网络、存储基础设施等技术及产业应用发展情况后选定 NVMe over RoCE 技术作为金融高性能存储网络的技术路线率先建成 RoCE-SAN 高性能存储网络体系的“多地多中心”高可用架构并进入规模化推广应用阶段有效缓解金融广域骨干网流量压力并降低成本。详细实践经验可参考工商银行率先完成金融高性能存储网络体系重构。
不过类似工行的转型实践是将 FC-SAN 架构替换为 RoCE-SAN即不改变底层集中式存储架构利用 RoCE-SAN 插件实现以太网交换机的替代。还有一种方式是采用软件定义的存储——存算分离架构的分布式存储或超融合。这种“新一代数据基础设施”搭配 RoCE同样能实现 FC 交换机的信创转型同时提供更好的性能和灵活扩展能力为高性能应用和新业务的快速上线提供敏捷支持。 RoCE 软件定义的分布式存储补齐短板相辅相成
作为一种现代化存储软件定义的分布式存储将存储资源池化并将数据分散放置在多个节点中节点通过网络互连提供存储服务从而充分与存储硬件解耦并提升存储资源利用率和扩展能力。虽然分布式架构消除了集中式存储控制器瓶颈使得并发性能能够随节点的增加而线性增长但由于基于 TCP/IP 协议栈的 iSCSI 依然是分布式存储主流的接入方法之一其对 NVMe 新型存储介质的支持已略显疲态难以充分满足高性能应用对“低延迟”的要求。
以 NVMe over RDMARoCE搭配软件定义的分布式存储不仅可以实现低延迟极速网络传输还可以充分发挥分布式存储高性能、易扩展的优势让用户在开展 IT 基础架构信创转型的同时实现基础设施的现代化转型。
国内已有不少用户基于这种方案构建信创基础设施为前沿应用提供高性能、低延迟支持。例如复旦大学为了构建云上科研智能计算平台利用支持 RDMARoCE的信创超融合平台基于分布式存储提升性能与数据传输效率。经测试配置 RDMA 后流量带宽从 6GB 提升至 19GB提升 217%可充分满足科学计算的性能需求。详细实践经验可参考复旦大学 CFFF 计算平台项目高速数据交换平台实践。 替代方案优势总结
同时实现信创转型与架构升级以标准以太网交换机和支持 NVMe over RDMARoCE的存储方案替代 FC 交换机可避免 FC 交换机使用问题同时以更精简的分布式存储架构替代集中式 SAN 存储可进一步实现 IT 基础架构的现代化升级。若采用 SmartX 分布式存储/超融合用户还可使用 海光、鲲鹏等信创 CPU 和 Kubernetes 平台完善信创转型与容器化升级。 提供“高性能”“低延迟”存储支持软件定义的分布式存储搭配 RDMA 协议可在提升存储性能的同时降低网络延迟充分满足高性能业务场景需求。降低成本与运维压力以性价比更高的以太网交换机和分布式存储替代 FC 交换机和高端存储节约成本的同时可有效降低运维压力。SmartX 还提供超融合部署方式进一步精简架构和运维。
