毕业设计(论文)-基于cms的校园网站建设,怎么做最火的视频网站,六枝特区企业网络推广的方法,爱情动做网站推荐点击上方蓝字关注我们#xff08;本文阅读时间#xff1a;10分钟)Microsoft Azure Machine Learning Studio是微软强大的机器学习平台#xff0c;在设计器中#xff0c;微软内置了15个场景案例#xff0c;但网上似乎没有对这15个案例深度刨析的分析资料#xff0c;所以我… 点击上方蓝字关注我们本文阅读时间10分钟)Microsoft Azure Machine Learning Studio是微软强大的机器学习平台在设计器中微软内置了15个场景案例但网上似乎没有对这15个案例深度刨析的分析资料所以我就计划写一个系列来完成。既然是深度刨析就不再是简单的介绍操作而是深入每一个细节宁愿过度详细扩展也不简单扫过。微软MVP实验室研究员王豫翔Leo微软圈内人称王公子。微软10年MVP大龄程序员。目前核心工作是使用微软AI技术设计可以落地的解决方案也就是写PPT。虽然热爱代码但只有午夜时分才是自由敲代码的时间。喜欢微软技术不喜欢无脑照抄。这次我们刨析的案例是使用 DenseNet 进行的图像分类。预备知识▌PILPython Image Library是 python 的第三方图像处理库PIL 库支持图像存储显示和处理几乎能够处理几乎所有的图片格式所以已经算得上是 Python 平台事实上的图像处理标准库了。但是由于 PIL 仅支持到 Python 2.7所以在3.X Python下你应该使用 PIL 的硬分叉 Pillow 由于 Pillow 兼容 PIL 的绝大多数语法同时因为 PIL 的巨大影响力所以我们一般还是叫 PIL 图片处理。还有一点要注意 Pillow 和 PIL 不能共存在相同的环境中。使用PIL可以帮我们对训练样本进行扩充这意思就是使用PIL库对样本文件随机调整大小的裁剪、随机裁剪、随机水平翻转、随机垂直翻转、随机旋转、随机仿射、随机灰度、随机透视、随机擦除。▌DenseNet密集连接的卷积网络Densely Connected Convolutional Networks一种监督学习的分类算法。在 DenseNet 出现之前CNN 的进化一般通过层数的加深ResNet或者加宽Inception的思想进行,。2017年的 DenseNet脱离了加深网络层数ResNet和加宽网络结构Inception来提升网络性能的定式思维,从特征的角度考虑,通过特征重用和旁路Bypass设置,既大幅度减少了网络的参数量,又在一定程度上缓解了梯度消亡gradient vanishing问题的产生。结合信息流和特征复用的假设DenseNet当之无愧成为2017年计算机视觉顶会CVPR的年度最佳论文Best Paper。简单的说在DenseNet之前有一个问题有没有一种方法可以让网络又深梯度又不会消失DenseNet给出了一个简单优雅的答案直接通过将前面所有层与后面的层建立密集连接来对特征进行重用来解决这个问题。作者主要提出了四种网络架构分别是DenseNet121、DenseNet169、DenseNet201以及DenseNet264现在已经有了大概11中网络架构densenet121, densenet161, densenet169, densenet201, resnet18, resnet34, resnet50, resnet101, resnet152, vgg16, vgg19。Microsoft Azure Machine Learning Studio 提供的是原始恶4种网络结构一般我们选择 DenseNet201 或者 DenseNet169。▌PyTorchpytorch是一个基于Python的科学计算包它主要有两个用途类似于Numpy但是能利用GPU加速一个非常灵活和快速用于深度学习的研究平台所以说PyTorch既可以看作加入了GPU支持的numpy同时也可以看成一个拥有自动求导功能的强大的深度神经网络。PyTorch的优点到底是啥呢PyTorch不仅仅是定义网络结构简单而且还很直观灵活。静态图的网络定义都是声明式的而动态图可以随意的调用函数。PyTorch更有利于研究人员、爱好者、小规模项目等快速搞出原型。而TensorFlow更适合大规模部署特别是需要跨平台和嵌入式部署时。深入分析这套案例一共十二个工作节点但其中有两组五个节点是一样的。这个案例种不需要我们进行编码但提供了我们关于图片分类训练的最佳实践值得我们认真了解。我们逐个分析每一个节点中值得关注的细节和核心信息。▌Animal Images Dataset节点这个节点是数据的输入核心有两个信息Datastore nameazureml_globaldatasets是一个链接点击可以跳转到数据存储的位置Relative path描述在Datastore中当前文件的位置默认是Images/Animals_Images_Dataset点击azureml_globaldatasets将跳转到Datastore浏览器您可以在这个浏览器下观察到您存储的数据。大致的界面如下点击这些图片可以预览Cat前缀为0的是各种喵星人的玉照各种颜色各种卖萌。其中还有一只和人类一起同框的一脸惊讶的黑色喵星人。10张图片Dog前缀为1的是汪星人同样是各种姿态各种萌。10张图片Frog前缀为2的生物以我浅薄的生物知识我一下子无法归纳不知道是青蛙还是癞蛤蟆还是蟾蜍。反正就是蛙类生物就行了。10张图片合计一共30张图片样本。这些文件在存储的时候是以如下命名结构方式存储Your_image_folder_name/Category_1/xxx.png
Your_image_folder_name/Category_1/xxy.jpg
Your_image_folder_name/Category_1/xxz.jpegYour_image_folder_name/Category_2/123.png
Your_image_folder_name/Category_2/nsdf3.png
Your_image_folder_name/Category_2/asd932_.png文件夹的名称被视为图像分类等任务的标签。目前支持“.jpg”“.jpeg”“.png”“.ppm”“.bmp”“.pgm”“.tif”“.tiff”“.webp”类型文件可以在一个文件夹中拥有多种类型的图像。不必在每个类别文件夹中包含相同数量的图像。对了你还可以使用扩展名为“.zip”“.tar”“.gz”和“.bz2”的文件夹或压缩文件。▌Convert to Image Directory节点将图像数据集转换为“图像目录”数据类型这是 Azure 机器学习设计器中的图像分类等与图像相关的任务中的标准化数据格式。这个节点是把所有的图片文件放到一个目录下不在通过目录名称将图片分类但会用images.lst的文件描述了图片的标签类似这样的信息{image_info: {file_name: image/1_134.jpg}, category: dog, id: 134}
{image_info: {file_name: image/0_91.jpg}, category: cat, id: 91}
{image_info: {file_name: image/0_74.jpg}, category: cat, id: 74}
{image_info: {file_name: image/0_60.jpg}, category: cat, id: 60}
{image_info: {file_name: image/0_14.jpg}, category: cat, id: 14}
{image_info: {file_name: image/1_197.jpg}, category: dog, id: 197}
{image_info: {file_name: image/1_172.jpg}, category: dog, id: 172}这个工作你可以看成是Convert to Image Directory组件将指定位置的图片读取并输入给之后的处理。▌Split Image Directory节点Split Image Directory节点有两个分布用于训练模型和验证第一次拆分将90%的样本用于训练将10%的样本用于验证。拆分后用于训练的文件有29张图片用于验证的图片有3张。第二次拆分将用于训练的样本再次拆分依然还是90%用于训练10%用于验证。拆分后用于训练的文件有24张图片用于验证的图片有3张。这两次拆分非常重要请认真理解两次拆分的目的。经过这两次拆分真正最后用于测试的样本占比在81%。▌Init Image Transformation节点初始化图像转换是一个非常重要的工作因为采集大量的图片样本是一个成本很高的工作所以通过将PIL图片做各种变形转换相当于我们又给样本集加入了很多样本。比如我们对原始图片进行放大缩小裁剪部分旋转变成黑白等等。要注意的是Init Image Transformation对我们刚才拆分的三份样本都做了转换这样我们就得到了很多新的样本。图像转换就是使用PIL帮助我们完成。对图像做大量随机转换是图像机器学习种重要初始化工作,图片样本进行了大量的扩充后才提交给DenseNet训练。调整大小Resize将输入 PIL 图像的大小调整为给定大小, 如果选择“True”则可以在 Size 中指定所需的输出图像大小默认情况下为 256。。居中裁剪Center crop如果选择“True”则可以在裁剪大小Crop size中指定所需的作物输出图像大小默认是224。边框填充Pad如果选择True则可以在“Padding”中的每个边框上指定填充要添加的像素数。颜色抖动Color jitter指定是否随机更改图像的亮度、对比度和饱和度。灰度Grayscale指定是否将图像转换为灰度。随机调整大小(Random resized crop):对于随机调整大小的裁剪指定是否将给定的 PIL 图像裁剪为随机大小和纵横比。生成原始大小的随机大小范围从 0.08 到 1.0和原始纵横比的随机纵横比范围从 3/4 到 4/3的裁剪。此裁剪最终调整为给定大小。这通常用于训练Inception网络。如果选择“True则可以以随机大小指定每个边的预期输出大小。可以在随机裁剪大小(Random resized crop size)中指定所需的裁剪输出大小, 默认为 256。随机裁剪(Random crop)指随机位置裁剪给定的 PIL 图像。如果选择“True”则可以在随机裁剪大小(Random crop size)中指定所需的裁剪输出大小, 默认为 224。随机水平翻转(Random horizontal flip)指定是否以概率 0.5 随机水平翻转给定的 PIL 图像。随机垂直翻转(Random vertical flip)指定是否以概率 0.5 随机垂直翻转给定的 PIL 图像。随机旋转(Random rotation)指定是否按角度旋转图像。如果选择“True则可以通过设置随机旋转度(Random rotation degrees)来指定度范围默认情况下为 0。随机仿射(Random affine)指定是否对图像进行随机仿射变换以保持中心不变。如果选择“True则可以在随机仿射度数(Random affine degrees)中指定可供选择的度数范围默认情况下为0。随机灰度(Random grayscale)指定是否将图像随机转换为概率为 0.1 的灰度。随机透视(Random perspective)指定是否以概率 0.5 随机执行给定 PIL 图像的透视变换。▌Apply Image Transformation节点我们存储图片的目录也有了转换图片的能力也有了现在可以通过Apply Image Transformation指出每一个目录如何使用Image Transformation。我们有两种定义用于训练For training被设定的目录里的图形将全面使用nit Image Transformation设置的能力。用于推理For inference被设定的目录里的图形将排除随机创建新样本等转换。这是因为随机创建新样本如“随机水平翻转”的转换操作用于训练中的数据增强这应该在推理中删除因为推理样本需要固定以进行准确的预测和评估。Apply Image Transformation节点有三个分布对应了Split Image Directory拆分出的三部分图片。▌DenseNet节点有了预备知识中的DenseNet内容你就非常容易理解这个节点的任务。使用DenseNet模型对样本进行训练。我们需要选择模型名称Model name内置了121、161、169和201.一般我们可以选择201或者161.预训练Pretrained指定是否使用在 ImageNet 上预先训练的模型。建议选择True。内存效率Memory efficient指定是否使用检查点检查点的内存效率要高得多但速度较慢。模式是False。总体来说DenseNet不需要我们做很多干预。▌Train PyTorch Model节点Train PyTorch Model节点要求三个输入模型、训练数据集和验证数据集。其中模型只接受DenseNet 或 ResNet这一点如果有错误我以后会修正时期Epochs循环访问整个数据集的次数默认是5次批大小Batch size指定在一个批次中训练的实例数默认为 16 个。学习率Learning rate将输出误差反向传播给网络参数以此来拟合样本的输出。本质上是最优化的一个过程逐步趋向于最优解。但是每一次更新参数利用多少误差就需要通过一个参数来控制这个参数就是学习率,也称为步长。设置的学习率越小模型测试就越频繁而且可能会陷入局部停滞。设置的学习率越大收敛速度就越快而且有可能会超过实际最小值。随机种子Random seed可以选择键入一个整数值将其用作种子。耐性Patience所有的标准深度学习神经网络结构如全连接多层感知机都很容易过拟合当网络在训练集上表现越来越好错误率越来越低的时候实际上在某一刻它在测试集的表现已经开始变差。如发现 loss 相比上一个 epoch 训练没有下降则经过 patience 个 epoch 后停止训练。默认是3▌Score Image Model节点为图像模型评分。这个节点没有需要配置的内容。▌Evaluate Model节点评估模型。评估模型返回的指标取决于您正在评估的模型类型分类模型回归模型聚类分析模型我们先了解下错误率和精度真实情况预测结果正例反例正例真正例TP假反例FN反例假正例FP真反例TN错误率分类错误的样本数占样本总数的比例。精度分类正确的样本数占样本总数的比例。查准率在所有的预测为正例的结果中真正例所占的比率。真正例/真正例假正例召回率在所有的正例中有多少被成功预测出来了。真正例/真正例假反例对应我们的模型给出的结果是总体准确率Overall Accuracy每个类别的每个准确度的平均值多分类微观查准率Micro Precision所有类别预测对的数目/测试集的总数多分类微观召回率micro recall所有类别预测对的数目/测试集的总数宏观查准率macro precision该类别预测对的数目/预测为该类别的所有数目宏观召回率macro recall该类别预测对的数目/该类别所有的数目结束语到这里Image Classification using DenseNet案例的分析我们完成了在这个过程中我们详细的了解到各个节点的核心信息和相关的概念。从数据源、图片分类、图片预处理到训练。也同时接触到了大量的机器学习概念本篇非常值得推荐作为Microsoft Azure Machine Learning Studio和机器学习的入门和深入读物。在这之后我将继续编写其他Microsoft Azure Machine Learning Studio案例。每一篇案例都可以独立阅读因此有些概念会重复出现在每一篇中。*未经授权请勿私自转载此文章及图片。微软最有价值专家MVP微软最有价值专家是微软公司授予第三方技术专业人士的一个全球奖项。29年来世界各地的技术社区领导者因其在线上和线下的技术社区中分享专业知识和经验而获得此奖项。MVP是经过严格挑选的专家团队他们代表着技术最精湛且最具智慧的人是对社区投入极大的热情并乐于助人的专家。MVP致力于通过演讲、论坛问答、创建网站、撰写博客、分享视频、开源项目、组织会议等方式来帮助他人并最大程度地帮助微软技术社区用户使用 Microsoft 技术。更多详情请登录官方网站https://mvp.microsoft.com/zh-cn谢谢你读完了本文欢迎在评论区留言分享你的想法并且转发到朋友圈。长按识别二维码关注微软开发者MSDN点击「阅读原文」加入微软MVP~
