织梦通用企业网站模板,哪个省份网站建设便宜,企业网络组网,做企业网站哪家好来源#xff1a;数据派THU任何领域的成功都可以归结为一套小规则和基本原则#xff0c;当它们结合在一起时会产生伟大的结果。机器学习和图像分类也不例外#xff0c;工程师们可以通过参加像Kaggle这样的竞赛来展示最佳实践。在这篇文章中#xff0c;我将给你很多资源来学习…来源数据派THU 任何领域的成功都可以归结为一套小规则和基本原则当它们结合在一起时会产生伟大的结果。机器学习和图像分类也不例外工程师们可以通过参加像Kaggle这样的竞赛来展示最佳实践。在这篇文章中我将给你很多资源来学习聚焦于从13个Kaggle比赛中挑选出的最好的Kaggle kernel。这些比赛是:Intel Image Classificationhttps://www.kaggle.com/puneet6060/intel-image-classificationRecursion Cellular Image Classificationhttps://www.kaggle.com/c/recursion-cellular-image-classificationSIIM-ISIC Melanoma Classificationhttps://www.kaggle.com/c/siim-isic-melanoma-classificationAPTOS 2019 Blindness Detectionhttps://www.kaggle.com/c/aptos2019-blindness-detection/notebooksDiabetic Retinopathy Detectionhttps://www.kaggle.com/c/diabetic-retinopathy-detectionML Project — Image Classificationhttps://www.kaggle.com/c/image-classification-fashion-mnist/notebooksCdiscount’s Image Classification Challengehttps://www.kaggle.com/c/cdiscount-image-classification-challenge/notebooksPlant seedlings classificationshttps://www.kaggle.com/c/plant-seedlings-classification/notebooksAesthetic Visual Analysishttps://www.kaggle.com/c/aesthetic-visual-analysis/notebooks我们会讨论调试深度学习解决方案的三个主要方面数据模型损失函数还有很多例子项目(和参考资料)供你参考。数据图像预处理 EDA 每一个机器学习/深度学习解决方案都从原始数据开始。在数据处理管道中有两个基本步骤。第一步是探索性数据分析 (EDA)。它帮助我们分析整个数据集并总结它的主要特征比如类分布、大小分布等等。通常使用可视化方法来显示这种分析的结果。第二步是图像预处理目的是对原始图像提高图像数据(也称为图像特征)的质量通过抑制不必要的扭曲缩放增强重要的特征使数据更适合模型并提高性能。你可以钻研这些Kaggle笔记本看看一些图像预处理技术Visualisationhttps://www.kaggle.com/allunia/protein-atlas-exploration-and-baseline#Building-a-baseline-model-Dealing with Class imbalancehttps://www.kaggle.com/rohandeysarkar/ultimate-image-classification-guide-2020Fill missing values (labels, features and, etc.)https://www.kaggle.com/datafan07/analysis-of-melanoma-metadata-and-effnet-ensembleNormalisation https://www.kaggle.com/vincee/intel-image-classification-cnn-kerasPre-processinghttps://www.kaggle.com/ratthachat/aptos-eye-preprocessing-in-diabetic-retinopathy#3.A-Important-Update-on-Color-Version-of-Cropping--Bens-Preprocessing数据增强 数据增强可以通过从现有的训练样本中生成更多的训练数据来扩展我们的数据集。通过大量的随机转换生成新的样本这些转换不仅可以生成可信的图像而且还反映了真实的场景 —— 稍后将对此进行详细介绍。这种技术得到了广泛的应用不仅仅是在训练模型的数据样本太少的情况下。在这种情况下模型开始记忆训练集但无法泛化(在从未见过的数据上表现很差)。通常当一个模型在训练数据上表现很好但在验证数据上表现很差时我们称之为过拟合。为了解决这个问题我们通常会尝试获取新数据如果没有可用的新数据则可以使用数据增强。注一般的经验法则是始终使用数据增强技术因为它有助于使我们的模型见识更多的变化并更好地泛化。即使我们有一个很大的数据集也要使用数据增强但这是以较慢的训练速度为代价的因为增强是在线完成的(即在训练期间)。此外对于每个任务或数据集我们必须使用反映可能的现实场景的增强技术(例如如果我们有一个猫/狗探测器我们可以使用水平翻转、剪裁、亮度和对比度因为这些增强匹配不同的照片拍摄方式。这里是一些Kaggle比赛notebooks你可以查看流行的数据增强技术Horizontal Fliphttps://www.kaggle.com/datafan07/analysis-of-melanoma-metadata-and-effnet-ensembleRandom Rotate and Random Dihedralhttps://www.kaggle.com/iafoss/pretrained-resnet34-with-rgby-0-460-public-lbHue, Saturation, Contrast, Brightness, Crophttps://www.kaggle.com/cdeotte/triple-stratified-kfold-with-tfrecordsColour jitterhttps://www.kaggle.com/nroman/melanoma-pytorch-starter-efficientnet模型 开发一个基线在这里我们使用一个非常简单的架构创建一个基本的模型没有任何正则化或dropout层看看我们是否能超过50%的准确率基线。尽管我们不可能总能达到这个目标但如果我们在尝试了多种合理的架构后不能超过基线那么输入数据可能不包含模型进行预测所需的信息。用Jeremy Howard的名言“你应该能够在15分钟内使用50%或更少的数据集快速测试你是否正在朝着一个有希望的方向前进如果没有你必须重新考虑一切。”开发一个足够大可以过拟合的模型一旦我们的基线模型有足够的能力超过基线分数我们就可以增加基线模型的能力直到它在数据集上过拟合为止然后我们就开始应用正则化。我们可以通过以下方式增加模块容量添加更多层使用更好的结构更完善的训练流程结构根据文献以下架构的改进提高了模型的容量但几乎没有改变计算复杂度。Residual NetworksWide Residual NetworksInceptionEfficientNetSwish activationResidual Attention Network大多数时候模型容量和精度是正相关的 —— 随着容量的增加精度也会增加反之亦然。训练过程下面是一些你可以用来调整你的模型的训练过程通过实例项目来看看它们是如何工作的Mixed-Precision TrainingLarge Batch-Size TrainingCross-Validation SetWeight InitializationSelf-Supervised Training (Knowledge Distillation)Learning Rate SchedulerLearning Rate WarmupEarly StoppingDifferential Learning RatesEnsembleTransfer LearningFine-Tuning超参数调试 与参数不同hyperparameters是由你在配置模型时指定的(即学习率、epoch的数量、hidden units的数量、batch size大小等)。你可以通过使用hyperparameter调优库比如Scikit learn Grid SearchKeras Tuner来自动化这个过程而不是去手动配置。这些库会在你指定的范围内尝试所有的hyperparameter组合返回表现最好的模型。需要调优的超参数越多过程就越慢因此最好选择模型超参数的最小子集进行调优。并不是所有的模型超参数都同样重要。一些超参数会对机器学习算法的行为产生巨大的影响进而影响其性能。你应该小心地选择那些对模型性能影响最大的参数并对它们进行调优以获得最佳性能。正则化这种方法迫使模型学习有意义和具有泛化能力的数据表示通过对记忆/过拟合和欠拟合进行惩罚来实现使模型对于它没见过的数据更鲁棒。解决上述问题的一个简单方法是获得更多的训练数据因为一个模型训练的数据越多自然就会泛化得越好。这里有一些技巧你可以试着减轻过拟合和欠拟合项目如下Adding Dropouthttps://www.kaggle.com/allunia/protein-atlas-exploration-and-baselineAdding or changing the position of Batch Normhttps://www.kaggle.com/allunia/protein-atlas-exploration-and-baselineData augmentationhttps://www.kaggle.com/cdeotte/triple-stratified-kfold-with-tfrecordsMixuphttps://arxiv.org/abs/1710.09412Weight regularizationhttps://www.kaggle.com/allunia/protein-atlas-exploration-and-baselineGradient clippinghttps://www.kaggle.com/allunia/protein-atlas-exploration-and-baseline损失函数 损失函数也被称为成本函数或目标函数用于查找目标输出的模型之间的差异并帮助模型最小化它们之间的距离。这里是一些最流行的损失函数与项目实例你会发现一些技巧以提高你的模型的能力Label smoothingFocal lossSparseMax loss and Weighted cross-entropyBCE loss, BCE with logits loss and Categorical cross-entropy lossAdditive Angular Margin Loss for Deep Face Recognition评估 错误分析 在这里我们做消融研究并分析我们的实验结果。我们确定了我们的模型的弱点和长处并确定了未来需要改进的地方。在这个阶段你可以使用以下技术并在链接的示例中查看它们是如何实现的Tracking metrics and Confusion matrixhttps://www.kaggle.com/vincee/intel-image-classification-cnn-kerasGrad CAMhttps://arxiv.org/pdf/1610.02391v1.pdfTest Time Augmentation (TTA)https://www.kaggle.com/iafoss/pretrained-resnet34-with-rgby-0-460-public-lb有许多实验跟踪和管理工具采取最小设置为你自动保存所有数据这使消融研究更容易。最后有许多方法来调整你的模型并且新的想法总是会出现。深度学习是一个快速发展的领域没有什么灵丹妙药。我们必须做很多实验足够的试验和错误会带来突破。 加入知识星球【我们谈论数据科学】300小伙伴一起学习·推荐阅读·
