知乎 网站建设,云南网站制作需求,网站内页没有排名,大余网站对于自动化测试#xff0c;原来谈这方面的内容比较少#xff0c;但是现在我们做DevOps支撑平台的时候#xff0c;在整个持续集成和交付的过程中#xff0c;有一个重要的内容就是自动化测试。自动化测试的覆盖面相当大#xff0c;其中既包括了CS#xff0c;BS和移动APP的自…对于自动化测试原来谈这方面的内容比较少但是现在我们做DevOps支撑平台的时候在整个持续集成和交付的过程中有一个重要的内容就是自动化测试。自动化测试的覆盖面相当大其中既包括了CSBS和移动APP的自动化测试分类也包括了单元测试接口自动化测试和UI自动化测试的分类。DevOps成熟度中测试管理概述测试管理是一个过程通过该过程所有和测试相关的方法流程人员都被定义。在产品投入到生产环境运行之前通过测试过程验证产品的需求尽可能地发现软件中的缺陷从而提高软件产品的质量。测试管理分为测试分层策略代码质量管理和自动化测试三个维度进行表达。测试分层策略先谈下有哪些测试分类的方法在持续集成里面我们当然更加会强调自动化测试因此可以理解为人工测试和自动化测试两类也可以离开为代码级测试接口测试和前端测试分离。也可以理解为功能测试和非功能测试两类。当然也可以看到在微服务架构下我们希望我们本身的开发也是分层的即中台模块服务接口前台功能即我们通常说的前后端分离在这种前后端分离的情况下可以更加方便我们进行测试分层设计和自动化测试。只要是厚中台薄前台模式那么就越容易实现测试过程的自动化。越是持续集成自动化承担越高那么自动化测试的比重就会越大。可以看到首先在架构设计上就要做到前后端分离中台服务前台这种分离后可以更加方便后面进行后端代码和接口的自动化测试工作。可以看到在测试分层策略里面的四到五级描述里面我们看到TDD测试驱动开发方面的内容比如先写测试代码再写实现代码或者两者同时在进行等。其次我们还是要将在整个devops最佳实践里面不仅仅开发过程是持续增量进行的对于测试过程本身也是持续增量进行的两者必须匹配。或者理想状态应该是没有独立的测试周期开发完成的阶段往往就是测试也配套完成的时间点。代码质量管理是软件研发过程中保证代码质量的一种机制即在代码变更后需要对代码进行检查分析并给出结论和改进建议对代码质量数据进行管理并可以对代码质量进行追溯。主要包括了质量规约检查方式反馈处理三方面的内容。代码质量管理即我们常说的代码静态检查其基于我们制定的代码质量规约进行。质量规约是指对软件代码质量的要求和规范其中包含了编码规范复杂度覆盖率以及安全漏洞合规性要求等多个方面的内容。其中检查方式即包括了我们传统手工方面的检查和CodeReview也包括了运行相关的自动化检查工具进行检查。自动化测试自动化测试是把以人为驱动的测试行为转化为机器执行的一种过程在预设条件下运行系统或应用程序执行测试并评估测试结果以达到节省资源和人力提高测试效率和准确性主要包括了自动化设计自动化开发自动化执行和自动化分析。对于自动化测试可以看到对于服务接口和代码级的自动化测试相对来说比较容易实现但是对于前端和UI级的自动化测试相对来说就比较困难些。因此对于前期实践我们也是建议先实现接口服务和代码级的自动化测试再来靠前端UI的自动化测试。对于性能测试由于可以提前录制脚本相对来说自动化测试实现起来比较容易。不论是那种类型的自动化测试都可以看到实际上可以看到如下几个关键点。自动化测试代码或脚本的编写可以是人工编写也可以通过录制生成。测试数据的产生问题参考测试管理过程域自动化测试脚本能够重复执行的要求确保每次持续集成都能够重复运行测试脚本到了自动化测试的第四级开始可以看到增加了对独立的自动化测试平台的要求同时也增加了对测试结果分析和度量的要求即通过测试结果的度量分析来进一步改进测试效率提升代码质量。自动化测试概述今天只谈下对于常见的一个Web应用的自动化测试应该如何去考虑。要知道自动化测试不是一个新鲜的东西很早就有只是最近几年有了新的发展。比如在10多年前我们做每日构建和冒烟测试持续集成的过程中我们就已经在用Junit做自动化测试并集成到整个持续集成过程。在每日构建完成后自动化运行Junit的自动化测试脚本并输出冒烟测试的测试结果报告。而在当时如果涉及到CS应用的自动化测试包括对于Web类应用的自动化测试我们采用QTP(现在改名为UFT)工具来做自动化测试但是并没有得到广泛的应用一个核心的原因就是QTP来做Web端的自动化测试实际上脚本录制和代码编写量都很大而且很难对所有的测试用例做到完全覆盖同时即使用了QTP工具录制和维护脚本实际的人工测试还是不能省略因此这些都导致了QTP自动化测试并没有大范围推广。而最近几年的发展可以看到对于Web自动化测试Selenium和Robot Framework逐渐成为了主流的自动化测试框架和选择。同时在微服务架构前后端分层开发推广下对于接口的自动化测试也发展很快。UFT/QTP自动化测试工具QTP是Quick Test Professional的简称是一种自动测试工具。当前已经更名为UFT即统一功能测试框架。使用QTP的目的是想用它来执行重复的自动化测试主要是用于回归测试和测试同一软件的新版本。因此你在测试前要考虑好如何对应用程序进行测试例如要测试哪些功能、操作步骤、输入数据和期望的输出数据等。HP QuickTest Professional 提供符合所有主要应用软件环境的功能测试和回归测试的自动化。采用关键字驱动的理念以简化测试用例的创建和维护。它让用户可以直接录制屏幕上的操作流程自动生成功能测试或者回归测试用例。专业的测试者也可以通过提供的内置脚本和调试环境来取得对测试和对象属性的完全控制。以QTP为核心的自动化测试框架优点在于适用性好很多人都已经会用或者至少说可以简单应用脚本也简单易懂大多数无任何代码基础的测试人员都可以加入脚本录制和调试。然而它最大的缺点就是对象库关键字的框架灵活度也不高且加上QTP在对flex等的支持上也是让许多人头疼的问题。在原来对于编码能力往往测试工程师都比较弱因此对于QTP这种可以自动录制自动执行和输出报告完整工具应用相当广泛。而现在的自动化测试技术栈不管是接口、web、移动端绝大多数都是基于开源项目来构建测试人员本身的编码能力也在加强特别是类似Python等脚本语言的大量使用因此现在实际还在采用类似QTP商用工具的已经越来越少。自动化测试更多的采用类似Selenium Robot Framework等开源工具进行集成。Selenium自动化测试工具Selenium是一个用于Web应用程序测试的工具。这个工具的主要功能包括测试与浏览器的兼容性测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成 .Net、Java、Perl等不同语言的测试脚本。Selenium当前免费而且可以和JenkinsMavenTestNG等实现集成同时支持多语言多平台和浏览器。因此当前被使用的相当多。Selenium框架底层使用JavaScript模拟真实用户对浏览器进行操作。测试脚本执行时浏览器自动按照脚本代码做出点击输入打开验证等操作就像真实用户所做的一样从终端用户的角度测试应用程序。对于Selenium里面有一个核心组件即Browser bot类似于浏览机器人可以执行从测试脚本接收到的命令自动化的完成页面浏览和各种操作并记录相应的测试结果。Selenium 是一套完整的web应用程序测试系统包含了测试的录制(selenium IDE),编写及运行(Selenium Remote Control)和测试的并行处理(SeleniuBm Grid)。Selenium的核心Selenium Core基于JsUnit完全由JavaScript编写因此可以用于任何支持JavaScript的浏览器上。Selenium可以模拟真实浏览器自动化测试工具支持多种浏览器。具体可参考https://selenium.dev/http://www.selenium.org.cn/ (中文站点)Robot FrameworkRobot Framework是一个跨平台的通用的与应用程序和技术无关的测试框架。它的优点是易于扩展提供了简单的API用户可以自定义基于Python和Java的测试库。它还提供强大的标签功能来归类测试运行在测试运行时可以选择不同的Tag或tag组合进行测试运行。支持报告合并以便让你可以多机执行然后合并报告全局测试超时时间设置局部可以覆盖全局的设置非常方便不会测试卡壳的等等。其主要优点包括通过使用关键字驱动测试(KDT)方法简化了自动化测试过程。测试数据语法简单易用。生态系统丰富。由各种通用测试库和工具组成这些工具都是作为独立项目开发的。具有高度可扩展性。要注意到Robot Framework本身是关键字驱动的测试库和关键字就很重要对于当前的库和关键字没有的时候你还需要自己写代码进行扩展。在Robotframework当中由SeleniumLibrary(非robot自带需要安装)库提供对网页的操作关键字(功能)。即Robot FrameworkSeleniumLibrary结合基本就能够完成我们需要的Web和UI自动化测试能力。具体可参考http://robotframework.org/https://blog.csdn.net/qq_27534003/article/details/87437195https://www.jianshu.com/p/2ebea3256e21接口自动化测试对于接口自动化测试主要是指类似SOAP , Http Rest等接口服务如何进行自动化测试。实际上在我们SOA管控平台的开发过程中我们也定制化开发了接口自动化测试的工具先是人工运行一篇接口测试这本身类似一个脚本录制的动作然后后续再根据已经录制的脚本批量自动化运行接口测试脚本并输出结果。PythonRequestRequests 是⽤Python语⾔编写基于urllib采⽤Apache2 Licensed开源协议的 HTTP 库。它⽐ urllib 更加⽅便可以节约我们⼤量的⼯作完全满⾜HTTP测试需求。整个测试思路基本如下对于每个Http接口请求手工编写测试脚本把对同一个接口的所有测试用例py脚本封装为方法每个接口封装一个接口类使用Testsuite调用这些接口类构建测试集或利用unittest自动识别测试用例构建自动化测试输出测试结果报告可以看到要使用PythonRequest一方面是要熟悉Python语言和Request库一方面是需要手工编写测试脚本整个代码编写量仍然很大。这个方法跟采用Junit单元测试基本是差不多的。参考https://www.cnblogs.com/ailiailan/p/8535293.htmlhttps://blog.csdn.net/songlh1234/article/details/84317617PostmanPostman一款非常流行的API调试工具。其实开发人员用的更多。因为测试人员做接口测试会有更多选择例如Jmeter、soapUI等。不过对于开发过程中去调试接口Postman确实足够的简单方便而且功能强大。Postman最早是作用chrome浏览器插件存在的2018年初Chrome停止对Chrome应用程序的支持。当前Postman提供了独立的安装包不再依赖于Chrome浏览器了。同时支持MAC、Windows和Linux。具体参考和下载https://learning.getpostman.com/docs/https://www.postman.com/downloads/JMeter开源测试工具Jmeter可以承担接口请求、结果解析和断言的工作可以作为轻量级接口自动化的实现手段对于开发能力不强或规模不大的团队也能接受。Jmeter可以在协议层实现基本的功能包括接口访问、参数化构造、返回值断言和数据库访问基本足够满足一个轻量级的接口自动化框架的功能。注意Jmeter不仅仅是用做接口自动化测试同时更加重要的一个功能是做接口的性能测试我们在录制完成Http请求脚本后可以对脚本的线程数运行时长循环数等进行配置并执行执行完成后会输出详细的性能测试报告。具体参考https://www.cnblogs.com/rd-ddddd/p/9578242.html基于JavaTestNGRest Assured进行自动化测试可以看到TestNG和Rest Assured是两个用于自动化测试的独立类库这种方法偏白盒测试需要自己编写测试代码但是灵活性却相当高同时可以和类似Jekins工具集合当然也就可以和我们DevOps平台集成。Rest-Assured 是一个测试Restful Web Service的Java类库我们可以创建高度定制的HTTP请求以发送到Restful服务器。这使我们能够测试各种各样的请求组合依次测试核心业务逻辑的不同组合。Rest-Assured库提供了验证从服器收到的HTTP响应的功能。例如我们可以验证状态码状态信息标题甚至是响应的正文。这使Rest-Assured成为一个非常灵活,可用于测试的Java库。而TestNG是一个开源自动化测试框架实际上可以看到是和Junit差不多的一个自动化测试框架只是增加了一些新的功能和更强大的集成能力。其优势是支持依赖测试方法并行测试负载测试局部故障灵活的插件API支持多线程测试。同时TestNG不仅仅可以测试Rest接口也可以测试标准的Java API接口方法。具体可参考https://www.cnblogs.com/wade-xu/p/4229805.html注上面这篇文章可以看到采用TestNG实现接口自动化测试同时进行扩展将测试脚本管理和测试数据管理分离。同时测试数据全部体现在Excel中。从Excel中读入测试输入同时将测试接口输出到Excel中。https://my.oschina.net/u/4112294/blog/3037471注上面这篇文章谈到TestNG和Rest Assured相结合如何进行接口自动化测试同时如何和Jekins持续集成工具集成将测试结果报告进行输出。Rest Assured 自带支持对JSON、xml的解析同时也提供了类似hasITems isequalTo等静态方法供使用。尽管Rest Assured 提供了校验方法但是在实际API自动化测试过程中因为往往需要校验的字段非常多建议还是直接先把要校验的JSON字段解析出来再通过TestNG提供的Assert类进行校验。对于Rest Assured的参考网站如下:http://rest-assured.io/https://github.com/rest-assured/rest-assuredLuckyFrame开源测试平台LuckyFrame测试平台是一款免费开源的测试平台最大的特点是全纬度覆盖了接口自动化、WEB UI自动化、APP自动化并且支持分布式测试。既然是一个完整的测试平台那么自然会提供测试用例管理测试数据管理测试执行质量管理测试结果和测试报告查看等相关的功能。这个平台提供在线的Demo可以查看。LuckyFrame自动化测试框架分为两个项目一个服务端项目(LuckyFrameWeb)一个客户端项目(LuckyFrameClient)服务端项目主要负责自动化过程的管理比如用例管理、测试任务管理等等。客户端其实就是测试执行机主要负责测试用例以及任务的执行。Web项目主要分为系统管理、UTP、 质量管理、测试工具测试环境管理等模块。具体演示地址http://www.luckyframe.cn/page/lfdemo.htmlhttps://gitee.com/seagull1985/LuckyFrameWeb这个平台感觉有些思路还是可以借鉴在前面DevOps整个子系统划分的文章里面我也谈到对于测试管理既可以是一个简单的模块放在DevOps支撑平台里面也可以是一个独立的子系统然后再实现和DevOps支撑平台的集成。可以看到整个工具还是基本按照一个完整的测试管理平台来实现覆盖了测试计划测试设计测试执行测试报告等多个方面的内容。同时支持Web UI自动化测试API接口自动化测试整体框架相当也完整但是相关诸多细节估计还需要不断迭代完善。Http Runner自动化测试框架HttpRunner 是一个基于 Python 开发的测试框架2018年python开发者大会上了解到HttpRuuner开源自动化测试框架采用YAML/JSON格式管理用例能录制和转换生成用例功能充分做到用例与测试代码分离相比excel维护测试场景数据更加简洁。HttpRunner 是一款面向 HTTP(S) 协议的通用开源测试框架只需编写维护一份 YAML/JSON 脚本即可实现自动化测试、性能测试、线上监控、持续集成等多种测试需求。为了简化测试用例的编写工作HttpRunner 实现了测试用例生成的功能对应的转换工具为一个独立的项目har2case。即通过当前主流的抓包工具将抓取到的数据包导出为HAR然后再将HAR格式转化为YAML/JSON格式的测试用例文件。对于HTTPrunner当前已经到2.0版本但是整体感觉还不是一个完整的自动化测试框架平台当前对于HTTPrunner可以应用于一些简单的接口测试或者是不会有大改动的接口的回归测试这样也挺方便的。但是对于一些复杂的测试不如采用Rest Assured功能强和灵活毕竟Rest Assured基于Java可以灵活进行Java代码脚本的扩展。具体参考https://v1.httprunner.org/
