建设标准 免费下载网站,chatgpt入口,外贸人才网,网站制作哪个好薇前言深度学习训练的模型 如何快速地在工业应用中进行部署#xff0c;这一直是工业领域深度学习技术应用的痛点。我们来看下TIOBE 2020年7月 的 TOP 10 编程语言排行榜#xff1a;从上图中可以看到#xff0c;Python 占据了 第 3 名#xff0c;C# 在 第 5 名。在深度学习的科… 前言深度学习训练的模型 如何快速地在工业应用中进行部署这一直是工业领域深度学习技术应用的痛点。我们来看下TIOBE 2020年7月 的 TOP 10 编程语言排行榜从上图中可以看到Python 占据了 第 3 名C# 在 第 5 名。在深度学习的科研和开发中目前是以 Python 语言为主流但是在传统的工业生产环境中依然是 微软.NET 的天下其中主要的开发语言为 C#。那么如何解决不同语言框架开发之间的兼容如何快速有效地进行模型部署接下来我们介绍 Google 官方推荐 .NET 开发者使用的同时也是 微软 ML.NET 的底层深度学习框架之一的来自 SciSharp 的 TensorFlow.NET 。我们通过图文的方式来逐一看下 TensorFlow.NET 在工业应用中的各种优势。1. 模型部署 无缝对接当前生成环境的工业软件主要有以下特点封闭性和保密性数据敏感无法接入外部互联网整体软件基础架构自主开发运行速度和稳定性要求高离线单机设备多总结自己在工业中的深度学习应用案例模型部署主要有以下 3 种方式我们分别列举其部署方式和优缺点。其中采用 TensorFlow.NET 的方式可以直接在 .NET [ C# ] 环境下集成 GPU 训练和推理代码块可以直接嵌入现有的工业软件框架实现模型部署无缝对接。1.1 Python GPU 训练 推理原理简述训练Python GPU版本 TensorFlow推理Python CPU or GPU版本 TensorFlow模型部署Python 加载模型通过 Post 通讯接收图像进行推理返回 Json 格式结果优缺点优点服务器/客户端分离支持多客户端并行运算缺点需要安装和运行Python和.NET 2种框架部署流程和架构复杂图示说明通讯方式1.2 Python GPU 训练 TensorFlowSharp CPU 推理原理简述训练Python GPU版本 TensorFlow推理CPU版本 TensorFlowSharp模型部署TensorFlowSharp 加载Python训练出的模型并直接进行推理优缺点优点客户端单一的 .NET 环境部署简单代码结构简洁缺点TensorFlowSharp目前社区已不维护无新版本支持且无GPU版本支持 无法进行训练图示说明附TensorFlowSharp 的GPU版本扩展如果需要使用带 GPU 的 TensorFlowSharp就需要自己通过 C 编译带 Cuda 的 DLL编译流程如下或参考Google官网的流程https://www.tensorflow.org/install/source_windows安装 Python 和 TensorFlow 软件包依赖项安装 对应版本的 Bazel安装 MSYS2安装 Visual C 生成工具 2015安装 GPU 环境支持下载 TensorFlow 源代码编译脚本修改 适合自己的系统环境使用编译脚本进行编译将编译后的DLL重命名为TensorFlowSharp默认的 libtensorflow.dll并进行替换即可上述流程整体还是较复杂的其中编译脚本修改的环节可能会出现很多坑需要自己去摸索。1.3 TensorFlow.NET GPU 训练 推理终于来到我们的重点推荐框架来自 SciSharp 社区的 TensorFlow.NET 该框架同时支持 CPU 和 GPU 版本的模型训练和推理同时作者和社区成员们也在持续努力维护中目前 TensorFlow 2.x 对应的框架已经在开发中。原理简述训练GPU 版本 TensorFlow.NET推理CPU or GPU 版本 TensorFlow.NET模型部署TensorFlow.NET GPU版本 训练出的模型直接调用优缺点优点TensorFlow在.NET环境下的GPU支持模型训练和部署 可以在同1套程序中集成无需外部通讯Google官方推荐.NET开发者使用同时作为ML.NET的底层深度学习框架图示说明通过TensorFlow.NET你可以轻松打造1套可视化交互式的深度学习集成软件支持GPU训练和推理同时通过DLL引用即可快速完成工业生产部署所有的操作都在统一的.NET环境进行可以将各操作类库标准化封装部署便利性和稳定性极高。下述是作者基于TensorFlow.NET开发的一套机器视觉的深度学习通用平台集成了OpenCV的大量算子和深度学习模块同时实现大量可视化操作可以直接交付现场生产环境使用达到深度学习无基础快速应用的目的。2. 较Python性能大幅提升我们通过一个相同数据集的1000轮的线性回归的例子的运行我们对比 C# 和 Python 的运行速度和内存占用发现 C# 的速度大约是 Python 的2倍而内存的使用C# 只占到 Python 的1/4 可以说 TensorFlow 的 C# 版本在速度和性能上同时超过了 Python 版本因此在工业现场或者实际应用时TensorFlow.NET 除了部署上的便利更有性能上的杰出优势。下述2个图是具体的对比运行示意图3. GPU环境无需部署 一键使用详细文章请访问路径https://github.com/SciSharp/TensorFlow.NET-Tutorials/blob/master/%E4%B8%89%E3%80%81%E5%B7%A5%E4%B8%9A%E5%BA%94%E7%94%A8%E4%B8%8E%E6%A1%88%E4%BE%8B-1.%20TensorFlow.NET%20%E5%88%9D%E6%8E%A2.md或扫下述二维码转至你是否踩过GPU环境部署中Cuda和cuDNN的坑是否为如何进行深度学习GPU训练软件的移植和快速应用而烦恼那么本文就是为了解决这些问题而制作的一键部署GPU最大化体现.NET优势彻底解决GPU环境配置的繁琐问题让你专注于深度学习算法和模型的开发。本文主要适用于下述情况一键部署深度学习训练软件无需安装复制的Cuda、cuDNN和配置环境变量等希望将GPU加速的训练软件整体打包、移植使用软件安装绿色简便化GPU训练版本软件开发完交付客户避免因客户PC配置差异导致的软件无法正常使用简单地复制粘贴即可一键完成GPU训练环境部署确保GPU环境安装“0”差错需要在一台机器上 同时 跑多个版本TF和多个版本Cuda的开发环境原理说明利用.net的封装优势将 tensorflow.dll、TensorFlow.NET.dll 及 NVIDIA GPU 相关必要的 DLL 全部提取拷贝至应用程序相同目录下伴随可执行文件打包、移植使用实现 GPU 环境跟随主程序版本打包应用的效果。4. 完整案例在C#下使用TensorFlow.NET训练自己的数据集本文主要结合代码来详细介绍如何使用 SciSharp STACK 的 TensorFlow.NET 来训练CNN模型该模型主要实现 图像的分类 可以直接移植该代码在 CPU 或 GPU 下使用并针对你们自己本地的图像数据集进行训练和推理。详细文章请访问路径https://github.com/SciSharp/TensorFlow.NET-Tutorials/blob/master/%E9%99%84%E5%BD%95%EF%BC%9A2.%20%E5%9C%A8C%23%E4%B8%8B%E4%BD%BF%E7%94%A8TensorFlow.NET%E8%AE%AD%E7%BB%83%E8%87%AA%E5%B7%B1%E7%9A%84%E6%95%B0%E6%8D%AE%E9%9B%86.md或扫下述二维码转至加入TFUG苏州参与TFUG社区活动可以是组织者志愿者讲师不一定是大牛只要能分享相关经验即可等也可以是合作伙伴为社区提供各种资源。如果您想作为TFUG苏州的组织者或志愿者或者有任何意见或建议欢迎给我们的公众号留言微信公众号: TFUG苏州Join UsIf you love TensorFlow, machine learning and willing to share, if you have other great ideas about our activities, if you are interested in our community and activities here, please contact us! WeChat: TFUGSuzhou关注我们的公众号第一时间获取最新活动消息Gmail: tfugsuzhougmail.com 微信号
