中国现代公路建设有限公司网站,网站建设技巧饣金手指排名27,高校网站建设前言,重庆市建设工程信息网官网入口网址乾明 边策 发自 凹非寺 量子位 报道 | 公众号 QbitAI国产AI框架飞桨刚刚带来新进化#xff1a;Paddle Lite正式发布#xff01;高扩展、高性能、轻量化#xff0c;还是首个支持华为NPU在线编译的深度学习端侧推理框架#xff0c;剑指加大力度攻占移动端侧场景。而且大环境如… 乾明 边策 发自 凹非寺 量子位 报道 | 公众号 QbitAI国产AI框架飞桨刚刚带来新进化Paddle Lite正式发布高扩展、高性能、轻量化还是首个支持华为NPU在线编译的深度学习端侧推理框架剑指加大力度攻占移动端侧场景。而且大环境如此这样的自主研发基础框架进展也有了更多的寄寓。诚意和实力方面也值得称道。针对更广泛、更异构的AI硬件支持是Paddle Lite的核心亮点之一。此次升级发布Paddle Lite的架构有了重大升级在多硬件、多平台以及硬件混合调度的支持上更加完备。不仅涵盖ARM CPU、Mali GPU、Adreno GPU、华为NPU等移动端芯片也支持FPGA等边缘设备常用硬件并具备可兼容支持云端主流芯片的能力。其中Paddle Lite还成为了首个华为NPU在线编译的深度学习推理框架。更早之前百度和华为宣布在AI开发者大会上强强联手。值得一提的是对标Google推出的TensorFlow Lite升级发布的Paddle Lite更是直接围绕前者不足进行了补强。官方表示不仅支持范围更广的AI硬件终端增强了部署的普适性并且具备明显的性能优势。AI框架的竞争愈加激烈也进入全新阶段。何为Paddle LitePaddle Lite是Paddle Mobile的进化版是一款主打端侧高性能轻量化部署的推理引擎。核心用途是将训练出的模型在不同硬件平台场景下快速部署根据输入数据执行预测推理得到计算结果支持实际的业务应用。在AI技术落地中推理阶段与实际应用相关联直接关系到用户的体验是非常具有挑战性的一环。而更具挑战性的是当前承载推理的硬件正日趋异构化。云端、移动端和边缘端对应着各种不同的硬件底层的芯片架构差异很大。如何能够完整地支持如此众多的硬件架构并且实现这些硬件之上人工智能应用性能的优化实现更快的速度Paddle Lite给出的解决方案是通过全新架构高扩展性和高灵活度地建模底层计算模式加强了多种硬件、量化方法、Data Layout 混合调度执行的能力从而保障了宏观硬件的支持能力并通过极致的底层优化实现了领先的模型应用性能效果。Paddle Lite五大特性官方介绍Paddle Lite一共有五大特性高扩展性、训练推理无缝衔接通用性、高性能和轻量化。1、高扩展性。新架构对硬件抽象描述能力更强可容易地在一套框架下对新硬件进行集成具有非常好的扩展性。例如对于FPGA的扩展支持变得非常简单。此外参考了LLVM的Type System和MIR(Machine IR)可以模块化地对硬件和模型进行更细致的分析和优化可以更便捷高效地扩展优化策略提供无限可能。目前Paddle Lite已经支持21种 Pass 优化策略涵盖硬件计算模式混合调度、INT8量化、算子融合、冗余计算裁剪等不同种类的优化。2、训练推理无缝衔接。不同于其他一些独立的推理引擎Paddle Lite依托飞桨训练框架及其对应的丰富完整的算子库底层算子的计算逻辑与训练严格一致模型完全兼容无风险并可快速支持更多模型。和飞桨的PaddleSlim模型压缩工具打通直接支持INT8量化训练的模型并可获得比离线量化更佳的精度。3、通用性。官方发布18个模型的 benchmark涵盖图像分类、检测、分割及图像文字识别等领域对应80个算子Op85个 Kernel相关算子可以通用支持其他模型。而且 还兼容支持其他框架训练的模型对于 Caffe 和 TensorFlow训练的模型可以通过配套的X2Paddle工具转换之后进行推理预测。现在Paddle Lite已经与飞桨的PaddleSlim模型压缩工具打通直接支持INT8量化训练的模型并可获得比离线量化更佳的精度。支持多硬件目前已支持的包括ARM CPU, Mali GPU、Adreno GPU、华为NPU、FPGA等正在优化支持的有寒武纪、比特大陆等AI芯片未来还会支持其他更多的硬件。此外还提供Web前端开发接口支持javascript调用GPU可在网页端快捷运行深度学习模型。4、高性能。在ARM CPU上性能表现优异。针对不同微架构进行了kernel的深度优化在主流移动端模型上展现出了速度优势。此外Paddle Lite也支持INT8量化计算通过框架层的优化设计和底层高效的量化计算实现结合 PaddleSlim 模型压缩工具 中 INT8量化训练功能可以提供高精度高性能的预测能力。在华为NPU FPGA上也有很好的性能表现。5、轻量化。针对端侧设备特点进行深度定制及优化无任何第三方依赖。整个推理过程分为模型加载解析、计算图的优化分析及设备上的高效运行。移动端可以直接部署经过优化分析的图执行预测。Android 平台上 ARMV7 动态库只需要800kARMV8动态库仅有1.3M也可以根据需要进行更深度的剪裁。目前Paddle Lite及其前身的相关技术已经在百度App、百度地图、百度网盘和自动驾驶等产品大规模使用。比如百度App新近推出实时动态多目标识别功能在Paddle Lite的支持下把原来云端200多层的视觉算法模型优化到10几层实现100ms以内识别物体8ms内做出物体位置追踪更新。相比之下人类肉眼识别物体一般需要170ms到400ms追踪物体刷新需要40ms左右这意味着其识别速度已经超过了人眼。而实现这一切正是得益于Paddle Lite强大的端侧推理能力能够完美承担飞桨在多硬件平台上的高效部署并实现了模型应用的极致性能优化。全新架构详解背靠百度Paddle Lite的架构有一系列自主研发技术。据介绍Paddle Lite参考了百度内部多个预测库架构实现以及优势能力整合并重点增加了多种计算模式(硬件、量化方法、Data Layout)混合调度的完备性设计新架构设计如下其中最上面一层是模型层直接接受Paddle训练的模型通过模型优化工具转化为NaiveBuffer特殊格式以便更好地适应移动端的部署场景。第二层是程序层是operator序列构成的执行程序。第三层是一个完整的分析模块包括了 MIR(Machine IR) 相关模块能够对原有的模型的计算图针对具体的硬件列表进行算子融合、计算裁剪在内的多种优化。不同于飞桨训练过程中的IR (Internal Representation)硬件和执行信息也在这一层加入到分析中。最底层是执行层也就是一个Kernel序列构成的Runtime Program。执行层的框架调度框架极低只涉及到Kernel 的执行且可以单独部署以支持极致的轻量级部署。整体上来看不仅着重考虑了对多硬件和平台的支持而且也强化了多个硬件在一个模型中混合执行的能力、多个层面的性能优化处理以及对端侧应用的轻量化设计。国产深度学习框架崛起飞桨(PaddlePaddle)的进化不仅仅只是一个简单的产品升级。放在大趋势与大环境中意义正在变得不同。一方面是大趋势。今年是AI在落地化重要的一年国内在AI硬件AI硬件研发包括百度、阿里、华为等巨头公司都在积极布局AI芯片的设计和制造。硬件的快速发展并不能弥补软件端的缺失国外科技巨头已经加快步伐想要占领这一市场空白地带。今年的TensorFlow开发者大会上谷歌已经将在边缘部署AI应用的TensorFlow Lite作为重点显然这一框架目前并不能很好地适配国内公司开发的各种硬件。国外科技公司也不会去花大量的精力在诸多不同厂商、不同架构的国产芯片上。于是飞桨看到机遇并且初见成效。据百度刚发布的Q2财报显示飞桨的开发者下载量在2019年第二季度环比增加了45。作为目前最流行的国产机器学习框架飞桨推出Paddle Lite着实花了大量精力解决国内AI硬件应用范围小、开发困难的局面。另一方面绕不开的大形势话题。相比以往AI发展中的自主研发和无断供之忧也开始被屡屡谈及。除了专利、硬件底层算法框架在安卓断供华为之后也被抬上桌面。当前两大深度学习框架TensorFlow、PyTorch虽然是开源项目但都在美国公司掌控之下都可能要“遵守美国法律”。所以也不是没有“卡脖子”的风险。之前该如何发展这样的底层核心技术的话题各方专家谈了又谈热切呼吁但真正变成行动依然难上加难。不仅需要时间、人才、资源等各方面的投入也需要恰当的时机——至少没到积重难返的时候。于是Paddle Lite的升级就显得恰逢其时。一来已有积累二来时机不晚可以换道超车。不过说一千道一万最终还是上手试试最直接。话不多说我们看货、验货传送门关于本次发布的Paddle Lite重点功能升级汇总如下1、架构重大升级通过添加Machine IR、Type system、轻量级 Operator 和 Kernel 等增加了通用多平台和多硬件支持多 precision 和 data layout 混合调度执行动态优化轻量级部署等重要特性。2、完善了Java API与 C API 一一对应。3、新增NaiveBuffer 模型存储格式移动端部署与protobuf解耦使预测库尺寸更小。4、通过X2Paddle 支持 Caffe 和 TensorFlow 模型的预测目前官方验证6种模型转化支持。5、新增对华为海思 NPU 的深度支持成为首个支持华为NPU在线编译的框架已验证6、支持FPGA 已验证 ResNet50 模型。7、对于Mali GPU 和 Adreno GPU支持 OpenCL 和 ARM CPU Kernel混合调度已验证了在MobileNetV1、MobileNetV2、ResNet-50等模型上的效果。8、对于ARM架构的CPUPaddle Lite增加了对vgg-16、EfficientNet-b0、ResNet-18等常见模型的支持验证。9、新增各类硬件 Kernel 70种。更多详情欢迎加入官方qq群官网地址https://www.paddlepaddle.org.cn项目地址https://github.com/PaddlePaddle/Paddle-Lite— 完 —直播 | Style-Gan的架构与实现量子位 QbitAI · 头条号签约作者վᴗ ի 追踪AI技术和产品新动态喜欢就点「在看」吧 !
