网站建设 销售人员,学院网站建设策划书,杭州网络公司建网站,wordpress 分类目录置顶摘要#xff1a; 一份机器学习过来人的经验清单分享#xff0c;主要是包含一些关于构建机器学习工作流以及Apache Spark应该注意的一些事项#xff0c;希望这个清单能够帮助那些正在学习机器学习的相关人员少走一些弯路#xff0c;节约一些时间。当我们学习任何一个新的内容…摘要 一份机器学习过来人的经验清单分享主要是包含一些关于构建机器学习工作流以及Apache Spark应该注意的一些事项希望这个清单能够帮助那些正在学习机器学习的相关人员少走一些弯路节约一些时间。当我们学习任何一个新的内容或遇到新的事情时随着时间的推移可能回过头来会发现当时要是怎样结果又会怎样。身边很多人包括我自己在读完大学后发现如果高中再努力一些或重新把大学时间利用好人生的路途是不是能更顺利些……曾经听一位老师说过“青春就像这样不管你怎样过都会过得一团糟”。事实上大多数学生没有利用好时间是由于没有明确的方向。同理对于新入职的员工而言有一个师父在平时的工作中以他过来人的经验引导一下新员工的发展也会更顺利些。那么对于学习机器学习而言这里有一份过来人的经验分享清单希望这个清单能够帮助那些正在学习机器学习的相关人员少走一些弯路节约一些时间。
这份清单主要是包含一些关于构建机器学习工作流以及Apache Spark相关的具体内容。
预测是困难的
对于任何未知的事情很难对其做出一个准确的时间预测但我们会朝着目标前进。然而随着时间的推移在努力的过程中逐渐会出现错误这是由于我们无法预测采用哪种方法就能够得出好的结果能够做的只有确保项目组可以快速地迭代更新。
项目有很大的未知数请确保团队能够进行快速迭代更新
在开始之前验证数据是否完整
当开始使用机器学习管道时我们已经收集了大约3年时间的原始数据。但没有对原始数据做任何处理只是将其存储以防万一。原始数据采用CSV文件形式此时没有注意到这些数据存在问题另外编写这些文件的代码会随着时间的推移而导致一些错误。因此在构建机器学习管道的同时还需要修复造成错误的数据问题最终在Apache Spark中编写相关的代码来清理历史数据。在进行到中间时刻才发现问题而不是在最初这无疑增加了项目的难度。
在开展工作之前请确保数据正确
对数据进行一次预处理对构建模型进行一百万次训练
在最初训练机器学习模型时我们尝试加载所有的数据。而采用的数据大小是TB级别如果每次训练都加载所有数据会导致训练速度很慢。因此每次训练时不需要加载所有的数据可以对其做一些预处理创建一个新的小数据集。此外并没有删掉原始数据集将其作为备份以防后续过程中出现新的错误。
不要将ETL和模型训练混淆。如果你正在训练1000个模型且不想执行1000次预处理可以只做一次预处理并保存然后将其用于所有的模型训练需求。
为不同的团队成员提供轻易的访问途径
在上文说过我们将原始数据存储在AWS S3中备份。当开始使用机器学习开展工作时发现为每个人提供轻松地访问途径显得至关重要。只给予读取权限是不够的科研人员不会通过笔记本下载TB级的数据且不会随身携带笔记本电脑来处理TB级的数据这只会浪费每个人的时间。我们发现使用支持像Apache Spark这样环境的Notebook可以达到这个目的比如Jupyter、zeepelin等读者可以根据自己的平台选择合适的Notebook。
为小组人员提供访问TB级数据的途径此外必须提供合适的工具使其能够从中很好的理解这些数据比如Jupyter、zeppelin等这些基于spark集群的Notebook。
对于大数据而言监控是必须的
当处理大数据时传统的软件工程方法是不起作用的。一般的程序可能花费几分钟就可以运行完毕但大数据可能需要几小时到几天的时间。与传统软件编程相比如何在大数据情况下减少批量处理作业的完成时间这一问题更为复杂。使用云计算可以水平降低机器要求以及缩短运行时间。但是我们应该增加机器的数量还是完全改变机器的类型分布式环境中的瓶颈在哪里等等这些问题都是减少执行时间时需要解决的问题。
对于Apache Spark而言很难弄清楚需要的机器类型。Amazon EMR带有Ganglia这让我们一眼就可以监视集群内存/CPU。但有时候也不得不去检查底层的EC2实例监测因为Ganglia并不完美将二者结合起来使用是很不错的方法。此外与训练机器学习模型的作业相比ETL作业具有不同的执行配置文件。ETL占用了大量的网络和内存机器学习需要更多的计算可以为这两种类型的作业选择不同的实例类型。
需要从CPU/内存/网络/IO监控方面优化成本此外发现不同的工作ETL、机器学习有不同的机器要求。
在一开始就需要对机器学习预测进行基准测试
对机器学习模型的预测有没有延迟要求如果有的话在选择任何具体框架之前请确定该框架的训练模型是否可以满足你的延迟要求。对于基础模型而言很容易就能掌握其中包含的数学基本理论并理所当然的认为它会运行得很快。但事实证明还有一些其它因素可能会导致预测的速度不如理论上预期的那样快。建立一个简单的模型并进行基准测试。如果在建立管道后才发现问题这可能会浪费大量的时间。当发现Spark不能满足延迟要求时可以使用mleap库提升预测延迟。
如果有延迟需求请从要使用的框架中制作出一个简单模型精度、准确率或其它指标都无关紧要只需要以预测延迟为基准点。
无论AWS如何显示S3都不是一个文件系统
使用AWS的GUI或CLI很容易忘记S3不是一个文件系统S3是一个对象存储库存储的对象是json、图片等内容。这个区别很重要因为在S3中重命名内容并不像在真正的文件系统中那样快。如果在一个文件系统中移动一个对象它可能会很快地移动但这在S3中是无法实现的。为什么这个显得很重要呢因为当通过Apache将数据写入S3时Apache Spark会产生临时文件然后将其移动到新的秘钥中。基于以上原因Apache Spark有一个设置可以告诉它不写入临时文件而是写入最终输出。我们使用了这种设置在写入AWS s3上节约了大量的时间。
Apache Spark主要是基于Scala
如果使用的是Apache Spark你应该知道它主要是基于Scala的。Java和Python等应用接口也可以工作但是网上的例子大多是基于Scala的。而我们使用的是Java这是由于之前的技术栈使用的是Java。在刚开始时对于机器学习和Scala等方面都没有任何专业知识我们简单地认为机器学习对于项目而言至关重要而Scala不是。因此无法让团队像处理机器学习问题那样处理Scala曲线。将Scala翻译成Java并不难但将Spark Scala翻译为Spark Java很困难因为这些应用接口在Java中难以使用。
如果你不了解Scala并且还想使用 Spark Mllib那么可能需要在选择语言方面考虑妥协。这种解决方案不是理想的工程解决方案而是一个实用的解决方案。
知识分享对于团队合作而言很重要
如果将机器学习与现有系统集成在一起那么将不得不与其他开发人员打交道。此外还需要与业务、操作、营销等人员进行交流。但是这些人员中的大多数人不会对机器学习有很好的理解因此他们需要这方面的知识但是他们又不能坐下来学习机器学习相关课程。这个时候就应该做一些机器学习方面的知识分享只需要解释一些涉及外行常见的术语即可比如训练集/测试集/验证集、模型等而不必教他们相关算法等深奥的内容。
对于专业人员来说很容易忘记机器学习中充满了术语虽然你可能完全熟悉这些术语但对于团队中的其他人而言这些可能会是完全陌生的词语因为不是所有人都参加过机器学习课程。
对数据库构建版本控制可能是一个好的想法
可能需要对数据库构建版本控制方案并且可以在不重新部署整个软件的情况下切换不同的模型训练代码以使用不同的数据集。我们创建了一些模型并用一些数据对其进行了尝试结果发现数据量不够模型工作得不够好。因此为数据库建立版本控制方案以便可以在V1版本上训练模型并继续生成下一个版本。新版本中足够的数据后就可以切换模型训练代码以使用新数据集。此外还制作了一个UI界面以便控制机器学习的参数、指定用于训练的数据量等。基本上可以通过UI可以轻松地配置一些参数以确保对用于训练的数据进行更改时不需要重新部署相关参数。
作者信息
Aseem Bansal数据科学、机器学习爱好者
原文链接
干货好文请关注扫描以下二维码
