服务器两个域名一个ip做两个网站吗,网站制作培训班,平板做网站服务器,wordpress 中文建站大数据项目中的QA需要迎接新的挑战根据IDC全球半年度大数据和分析支出指南的最新预测#xff0c;到2022年全球大数据和业务分析解决方案的收入将达到2600亿美元。在大数据和业务分析解决方案上投资增长最快的行业包括银行#xff08;复合年增长率13.3%#xff09;、医疗、保…大数据项目中的QA需要迎接新的挑战 根据IDC全球半年度大数据和分析支出指南的最新预测到2022年全球大数据和业务分析解决方案的收入将达到2600亿美元。在大数据和业务分析解决方案上投资增长最快的行业包括银行复合年增长率13.3%、医疗、保险、证券和投资服务、电信每个行业复合年增长率都是12.8%。由此可见大数据类项目在未来的地位将会越发重要而作为QA在大数据项目急速扩张的大背景下也将迎来新的机遇和挑战。 一、大数据项目的数据特点 大数据项目与传统交付项目的不同之处在于其关注的重点为数据、算法而不再是用户操作逻辑、页面展示等整个项目将围绕数据质量和算法结果耗费大量精力。 项目涉及到大量各种格式的数据如图像、平面文件、音频等其结构和格式不尽相同。与传统的交付类项目相比大数据项目的数据量可能会大得多。其数据特点是3 V – VolumeVelocity and Variety 数量收集的数据量很大来自不同的来源来自不同的来源如传感器上传文件商业交易等。速度数据以高速创建必须快速处理。 如RFID标签智能电表等仪器可以以前所未有的速度自动生成数据。多样性数据有各种格式。它可以是音频视频数字文本电子邮件卫星图像大气传感器等。大数据项目中的测试通常与数据测试算法测试、功能测试以及性能测试有关。明确大数据项目中测试关键点将有助于项目的成功交付。 二、数据质量至关重要 大数据项目中数据流转是至关重要的一部分从不同的数据源系统流入至运算操作系统再流出至数据展示系统的过程中都要保障数据质量。 数据质量包括数据的完整性、准确性、一致性、及时性。 完整性指数据记录是否完整是否存在缺失的情况。数据缺失包括整条记录的缺失、某条记录中字段信息的缺失。数据是否完整直接影响到数据统计结果是数据质量的基础。准确性指数据记录的信息和数据是否准确是否存在异常或者错误信息。一致性一般体现在跨度很大的数据仓库体系中当体系中存在很多业务数据仓库分支时对于同一份数据需要保持一致。比如用户ID从在业务库加工到数据仓库再到各个消费节点必须都是同一种类型长度也需要保持一致。及时性对于一些实时系统甚至一些业务系统可以及时的收集数据、展示数据给业务决策提供快速的支持和反馈例如销售日报。除了上述四点之外通常还会根据项目的实际情况进行其他处理以保障数据质量例如数据去重、无效数据过滤等。 1数据在数据系统中的流转 在多数数据系统中数据以下图的模式进行流转关注数据流转过程中数据的质量也是QA所面临的一项重要挑战 1.数据从数据源流入到我们所构建的大数据系统 数据从不同的数据源流入大数据系统一般数据源包括其他数据系统、CSV或EXCEL等文件、传感器、扫描仪、日志等等。在从数据源流入大数据系统前需进行数据清理以确保得到正确的、需要的数据。在数据量极大的情况下可能会引入Hadoop或类似的框架。无论引入何种框架都需数据从数据源中以高质量的形式导入至我们所构建的大数据系统中。为验证此步的数据流转需要掌握SQL、Hadoop命令等这就对QA提出了新的要求。 除此之外在大数据项目的测试中由于数据量非常庞大若非特意进行性能测试通常只需选取有代表性的少量测试数据集进行测试以避免每次测试流程都耗费过多时间。所谓有代表性即这些数据能覆盖全部的主要计算逻辑和大部分的边界场景。 2.在大数据系统中进行运算 数据进入系统后会对数据进一步处理在处理数据中可能会用到HivePython等。作为QA还需掌握以上技能以便开发脚本来提取和处理数据来进行测试。 大数据系统中对数据的处理会包括逻辑处理和算法挖掘两种。前者更偏向于业务处理后者更偏向于数据挖掘或机器学习的算法。例如假设某系统是对未来三天的天气进行预测其用于进行模型训练的数据包括天气、温度、日期、城市等在开发系统时开发人员首先将全部数据按照城市进行分组然后将不同城市的数据输入到机器学习算法中进行预测。在该系统中“按城市进行分组”即为逻辑处理“用机器学习算法进行预测”即为算法挖掘。这是一个简化的例子通常应用程序会更加复杂在该系统中对于逻辑处理部分可按照传统测试方法进行测试对于算法挖掘部分则需重点关注输入至算法的数据的正确性以及输出结果的各项指标表现。 然后将处理后的数据存储在数据仓库中。在将数据存储在数据仓库中之后可再次对其进行验证以确保它与经过数据系统运算后生成的数据一致。 3.数据结果展示 通常最后一步会将数据暴露给业务人员或下游使用者通过可视化或者数据接口的形式进行输出以便产生业务价值。可能会使用商业智能工具或者由业务人员使用R、Python等语言进行数据分析因此有必要对该输出结果进行验证。若通过Web页面将数据以可视化图表的形式展露给客户就需要对Web页面进行测试若通过Report的形式报告给客户就必须对生成的Report进行测试。此步除了验证数据的准确性、完整性外可能还需要验证数据的及时性。比如直播墙需要对数据统计结果进行实时展示业务报表可能需要当天或当周进行展示需满足系统有不同的时限要求。 2以实际项目为例进行简单介绍 根据项目的不同以上的架构可能会有细节上的不同下面以实际项目为例进行简单的介绍。 例如在某智慧物流项目中需对物流订单进行路径规划将全部的物流订单包括接货订单和送货订单分配给各个货车司机根据订单的接货地址和送货地址以及订单的时间要求对每个货车司机的订单进行路径规划。优化的目标是在限制时间内从发货人手中收取全部货物并将货物全部送收货人手里且尽可能使路径总和最小化。其系统结构按照数据流转可以大致按以下方式划分 根据数据在系统中的流转从左至右来看测试注意点包括以下几方面 上传文件校验确保不会有异常数据流入后续的存储及运算系统中。数据从数据源流入数据库时的完整性、准确性确保其从CSV或Excel文件中读取的数据以正确的格式完整的进入到了数据系统的存储空间。数据库中数据按照业务逻辑进行处理后被正确的输入到算法中。算法逻辑。用户可见的数据信息是准确有序的按照算法运算结果呈现给终端用户的。异常情况处理如数据传输过程中突然中断、输入给算法的数据过大或过小等情况。 总而言之数据在系统的各个部分进行流转需根据系统的架构、业务的逻辑等从准确性、完整性、一致性、及时性几个方面保障数据的质量。三、验证算法的结果 对于算法结果的验证是数据类项目中遇到另一个挑战在这里我按照以往的项目经验总结了“三、二、一”三个已践行二个待实现一个贯穿始终。 1三个已践行 1.确保每步逻辑正确 1) 在敏捷实践中对于需求的拆分和追踪是以Story的形式进行的数据项目中尤其要确认好每一个Story的输入数据样式、输出数据样式来确保在开发过程中各个Story之间可以顺利衔接在辅以Kick Off和Desk Check等敏捷实践确保Dev、BA、QA对于需求的理解一致。 2) 算法部分一般是调用外部的包直接实现的一般假设这部分的实现逻辑没有问题故重点需关注输入至算法的数据。 2.向用户或者业务人员展示结果 1) 若在进行探索研究阶段就已经输出完整的数据处理逻辑和算法处理过程且其结果得到验证项目内容主要是对该研究结果进行工程实现则需保障工程实现过程中的质量。该情况下保障质量的方法是把工程实现系统和在探索研究阶段输出的结果进行对比这也是在帮助客户进行工程实现时较为常用的一种方法。 2) 算法有固定的输出结果比如数据分析类项目中需要统计某类订单的数量可以采用构建测试数据和预期输出数据判断系统输出结果是否与预期相同的方法。 3) 没有研究阶段的输出结果也没有固定的输出比如智慧物流系统里路径规划我们采取的方案是将结果展示给货司机让他们去实际按照路线送货由真正的用户来判断是否是其想要的结果。类似于这种结果无法由开发团队直接判断的需尽早且持续的将结果展示给用户或相关业务人员请其对算法结果进行反馈。 3.不同数据集多次验证。 设计不同的数据集进行验证验证算法在不同数据下的表现探究算法的边界。比如上文中提到的智慧物流项目可能适用于上海的场景不一定适用于北京的场景因为该算法用于训练的历史数据多为上海地区数据。 2两个待实现 1.以最终目标为依据 比如智慧物流最终的目标是降低成本、提高收入。所以算法本身的指标比如灵敏度召回率都不是最终的计算甚至路程都不是最终的目标。可以设定一个fx总收入-总成本目标为总成本最低。再比如滴滴的推荐算法加了一个滴滴司机提供的反馈信息这个信息只包括一条“你会不会把这个app推荐给朋友”。该推荐算法的目标为提高司机的满意度以推广软件即为司机将算法推荐给朋友的数量。 2.线上迭代验证 模型的验证指标比如召回率灵敏度等作为一个指标放到线上去做验证。对于上线的模型选取部分测试数据对其进行迭代验证在不满足指标的情况下发出告警。该情况可能是由于随着时间的推移用于训练的历史数据已经不再适应新的情形导致需要算法工程师重新对其进行评估。 3一个贯穿始终的注意点 真实数据对于系统的验证非常重要人为构造的数据无论是在分布形态还是异常场景覆盖上都比不上真实的生产数据。测试数据分布不同于真实数据时可能会导致算法在测试阶段表现良好而在进入到生产系统后表现欠佳。在测试数据构造困难的情况下由于测试数据对异常场景的覆盖不足在进入生产系统引入真实数据后甚至有可能会导致算法实效或系统崩溃等严重后果。 而实际项目中获取可用于测试的真实数据往往也是一大挑战。通常在将真实数据引入测试环节前还需进行至关重要的一步数据脱敏。由于真实数据中包含了大量的机密信息故在将真实数据用于测试前通常会将如身份证号、电话、价钱等敏感信息进行脱敏处理。 目前在网上能找到的跟大数据项目测试相关的文章有限便结合经历过的项目进行了以上的总结。若有同样在大数据项目中担任QA角色的同学欢迎一起来交流讨论。 转载于:https://www.cnblogs.com/iwangwei/p/10408748.html
