搜文章
推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > Testin云测 > 谢春鸿在 NCTS 云测试峰会上进行《自动化脚本录制那点事儿》主题演讲

谢春鸿在 NCTS 云测试峰会上进行《自动化脚本录制那点事儿》主题演讲

Testin云测 2018-10-30


附:演讲 PPT,点击阅读原文下载。



谢春鸿:谢谢大家今天的捧场,我叫谢春鸿,来自Testin,主要负责iTestinPro自动化工具的研发。今天的主题分为四个部分:为什么做脚本的工具,录制工具的原理还有实现,还有一些难点,最后是一点演示。

    

为什么要做脚本录制。现在大部分公司都是有专门的测试人员,有一部分还没有,有专门测试人员的公司有一小部分会做自动化测试,一般是那些实力比较强资金充沛的公司。不做自动化的这部分的公司,不是因为不喜欢自动化,而是因为自动化对于他们来说没有成为一个必要的条件,或者资源还没有满足。如果有一个不花钱又可以实现自动化的方案,其实是谁都是想要的。

    

为什么要做录制工具,其实初衷就是为了让自动化测试没有门槛,想象一下,有这样的工具,不需要做任何的环境搭建,只要下载之后,直接解压就能用,经过几分钟的讲解就可以录制自己的脚本,然后这个脚本可以在云端几百台手机上正确无误的回放。也就是说你不需要懂编程语言,也不需要做环境配置,没有复杂的教程,不需要花大量的时间调试脚本,这样就可以在不增加人员的情况下实现自动化测试的实施。很多人认为有了自动化就可以什么也不干,其实不是这样的,自动化不能满足你百分之百的需求,根据我们的经验,大部分公司的软件测试,能够实现30%的自动化就不错了。

    

做脚本录制是否值得,以我们的经验来说,如果你真的要做好的话需要花大量的成本,需要长时间的积累。我们开始做这个工具,至少有五六年的时间了,但是做了这么多年还是有这么多事情要做,所以它是一个很长时间的积累,而且需要持续的去投入,一般公司去做这个是不值得的。

    

下面我会以这个工具,讲解实现自动化录制工具的原理和经验,供大家参考和了解。iTestinPro工具是一个安卓和IOS的UI自动化脚本录制工具,是云测私有云产品的主要组成部分,也是公有云兼容性测试交付的主要工具。 

    

脚本录制的原理其实很简单,从这么多年的经验来说,总结其实是非常简单,怎么做,只需要满足两个条件,第一个条件就是你可以获取到控件树,第二就是你可以知道用户在做什么,只要满足这两个条件就可以做录制,不管是安卓录制,IOS,还是PC端软件,还是浏览器,只要你能实现这两个条件,就可以实现脚本录制。这是本次分享最重要的内容。


怎么获取控件树,其实在UIAutomator中,它就提供了一个现成的获取方法dumpWindowHierarchy,这个直接就可以用,每个节点有一些关键信息,比如说文本,class,id,控件大小,位置以及层次结构等。其他的测试框架,生成控件树需要自己实现,一般方法是找到root节点,然后一层一层往下遍历,组成跟UIAutomator类似的格式就可以了。


获取用户的操作有好几种方法可以实现,比如说你可以做代码注入,嵌入SDK,或者你用其他的方式,可以取到界面上所有的控件,每个控件你只要在手机上操作,就同时可以获取到控件的信息,同时可以知道用户是做了什么操作。这个方式,它是一种代码入侵的方式,其实在出问题的时候很难说这个问题是谁的,是应用本身的,还是测试SDK的问题。第二种方式,监听系统的event,通过监听系统的getevent方法输出,它的输出是一个持续的输出,你在界面上做任何操作都会有这里输出,你只需要去解析它变成用户的操作就可以了。但是有一个问题,这个只有安卓有,其他没有。另外它需要大量手机的适配,很难去做到通用,工作量很大。第三种方式就是把屏幕映射到PC上,捕捉用户的操作,这种方式最简单,也非常便利,工作稳定,扩展性好,所以一般是用这种方式。

    

有了控件信息和用户的操作,还没有办法录制,还需要知道用户对哪个控件做了操作。选择控件,怎么选也是比较简单的,也是有现成的,像UIAutomatorViewer就可以提供相关的方法。在选取的时候你要选取最小的叶子节点,因为这是最关键的信息,比如文本一般不会在父节点里边,一般在叶子节点里边。如果两个控件位置大小相似,你应该选择更有意义的。这个选择不是说是用户来选择的,是程序自动选择的。用户把鼠标移到控件上的时候,如果这里边有两个控件是重叠在一起的,选更有意义的那个。有一些是互相覆盖的控件,大控件上面套一个小控件,这个时候你可以利用鼠标离那个控件中心最近决定选择那个控件,这样的话每个控件都有可能被选中。另外可以通过鼠标滚轮选择当前控件的父控件。

    

这儿有一个演示,这是类似于UIAutomator控件选择的实现。录制的时候需要记录什么内容呢?对于写脚本来说,人为的选择一个最关键的信息,比如你选择这个文本,这个是在界面上是唯一的,你可能会用ID,对录制来说这些信息都要记录下来,因为在写脚本的时候,人考虑事情的是当前或者手头的这几个手机能不能过。录制工具需要考虑的事情更多,这个步骤是不是可以在决大部分手机通过,这是录制工具考虑的问题,尽量把能够选取到的信息都记录下来。比如说控件的基本信息,ID什么的,这些不用说了,包括控件的位置,控件的样图,还有场景。比如说控件树的信息,录制场景的大图这些信息都要记录下来。

    

下面讲一些你实现录制工具的时候,可以借鉴的一些点,给大家分享一下,比如Xpath的生成,什么是Xpath,xpath即为xml路径,它是一种用来确定xml文档中某部分位置的语言。Xpath的生成,如果你写脚本的时候也需要自己的生成,用录制工具的时候需要由工具来生成。生成的方式大概有两种,第一种是你根据控件本身,在这个界面上它的一些属性的唯一性来生成Xpath。后面会讲一些案例。第二种就是利用控件的相邻关系,比如说这个控件不好识别,它的父控件是不是好识别。比如说它的兄弟控件是否好识别,是一个相邻的关系。有一个例子,比如说怎么理解相邻关系,比如说大家都不认识你,大家都认识你父亲,你父亲可能比较有名,要找到你就是先找到你父亲就能找到你,同样的方式,大家可能只认识你哥哥,可以先找到你哥哥。

    

生成的Xpath需要尽量地短,越短越好,这个原因是控件树,其实它在不同设备上,可能层次是不一样的。如果你是从第一层往下做控件树的话,它的适配性,兼容性会有大的问题,所以需要尽量的让你的xpath变得越短越好。比如说这儿有一个案例,上面有几个数字,这是它的ID,这个ID在界面上是唯一的,你的Xpath可以简单的这样写。利用控件的相邻关系组成的Xpath,比如说你上面这个图表是应用两个字,但要点上面这个图标,怎么做呢?因为这个图标可能不好识别没有什么特征,可能就是一个ImageView,没有id,没有文本。可以利用它下面的应用这两个字,这是比较有特征的,方法是用Xpath里边的特性,就是following sibling来定位这个控件 。

    

录制工具做到一定程度的时候,你会发现,默认的查找策略无法满足用户的所有需求,情况有很多,你需要用一种方式可以让用户自己来调整这个设置。让每个属性都有三种策略可以设置,必选,可选和忽略,必选是你这个条件必须满足,在整个控件树中找到符合必选条件的控件,可选是用于辅助过滤必选条件筛选出来的控件,如果能过滤出唯一的控件则认为控件找到,这样用户可以自己设置这些东西。

    

另外你会找到多个控件,这个时候你可以有一个设置选择第几个的方式。第二点,你这个控件不是一开始就出来的,你需要等一段时间才会出来,需要有一个查找的超时时间,就是界面加载。第三个就是控件本身你录的时候,可能是一个大屏手机,屏幕比较大,当你回放的时候,这个是小屏手机,控件可能在屏幕外面,这时候你需要有一个滚动查找功能。

    

还有是中文输入,中文输入是绕不开的问题,不过你网上可以找到解决方案。比如你可以直接用谷歌拼音输入法改造成自己的输入法,将要输入的内容转化为base64,通过广播方式传给输入法,这样它可以一次性输入任意的内容,包括中文和特殊字符等。另外一个绕不开的问题就是系统弹框处理,在执行过程中弹框每个设备都可能不一样,这个时候,你需要有一个服务并实时监控处理这些东西,这个一般实现就是在UIAutomator里边去实现。比如有一些要取消这些场景你把它收集起来,让各个手机都可以顺利的处理这些问题。

    

另外说几点,怎么提升你脚本的兼容性。因为在Testin里边,你录一个脚本基本要求是能通过600个手机,600个手机是我们交付的一个标准,每做一个功能都是这样去做的。我们的做法这里边有几点,比如说每个控件在每个步骤生成的时候,我们可以生成多个Xpath,每个Xpath适用不同的场景。比如说有一些在跑的时候,文本是变化,比如说实时更新的信息。另外,有一些手机有ID,有些手机没有ID,6点几的手机同样的应用,有些手机有ID,有些手机是没有的。然后你用的好好的文本,有可能也不行了,因为有些手机完全无法识别,你需要用OCR识别,当控件找不到的时候,利用OCR解决,OCR就是文本的识别,利用图片来进行识别。最后利用控件的样图做图像识别,图像识别不是一个万能的方法,这些方法,控件,OCR和图像识别不是一个万能的方法。不能百分百解决问题,但是能够互补起来的话,你的问题就会变小了,大概就是这些。

    

然后有两个简单的演示。这是要做一个case,输入错误的用户名密码验证提示语是否正确,这个是用UIAutomator实现的,获取控件,然后输入东西生成一些步骤。这是对完全没有经验的人来说,直接就可以用的,这是输入文本,这是自己做的一个输入法,验证关键的文字 。

    

下一个是差不多的演示,用的是不一样的方式,用了OCR,图像识别。这是一个弹框,OCR类似于有近视眼的人看东西,有些东西看不清楚,可以在用的时候需要配合着调焦去进行操作。在回放的时候,会有自动的调整参数,确保能够在600百个手机上通过 。

    

好,今天的分享到此结束,谢谢大家。各位有没有什么问题吗?

    

提问:你好,请问一下,你们需要验证码吗?

    

谢春鸿:验证码,短信验证码,还是图型验证码?我们内部有一个服务,利用AI识别图型验证码,把这个字拆开一个一个识别这个字是什么,像特别厉害的验证码是做不了,像你说的那些只要能把这个切开就是没有问题的。

    

提问:我们前期也是合作比较多的,类似于为特殊APP做的安全键盘输入, 以后都会加入到新版本吗?

    

谢春鸿:这些都是普遍的需求,现在我们做成标准的功能,所有的产品都会有安全键盘输入,这个是一个标准的功能了。

    

提问:刚才提到验证码,在合作当中短信这块是怎么做的,就是短信验证码,如果不匹配的话,有什么方法。

    

谢春鸿:有两种方式可以解决,一种方式,如果你们自己有一个服务的话,可以直接用web请求来做。第二种方式,我们现在如果你们这个手机里边有sim卡的话,是直接可以获取到的。我们其实也不是用手机里边本身的数据库,因为这个有各种限制,没有办法获取验证码,我们通过UI跳到短信应用去获取,然后再回到应用上来。

    

提问:我有一个问题,在录制脚本过程中,可能有一些元素没有办法通过Xpath的时候,只能通过其他的来识别,类似这种可能在不同手机上可能存在不兼容的情况,那请问一下,这样怎么处理呢?

    

谢春鸿:比如说你提到Xpath里边可以用控件之间的相邻关系,这是一种解决方式,你这个控件不好识别,你用一个很好识别的,用相邻关系识别这个不好识别的控件。另外一种是类似的,我们有一个偏移点击的方式,这个控件不好识别,我们找一个好识别的,偏移找到你真正要识别的控修的点击它,还有像OCR,图像识别在必要的时候是好用的。大概有三种解决方式。

    

提问:你好,我问一下,OCR是怎么实现的,能不能详细的介绍一下。第二个问题,OCR占比有多大。

    

谢春鸿:OCR在我们交付里边应用的话,占百分之二三十,因为手机有些能获取,有些不能获取,所以这个是比较重要的。但是实现的话,我们这边开源做一些优化,正在改进。

    

提问:识别中文的话,识别率应该不是特别的高?

    

谢春鸿:这个问题,对于自动化来说,如果对内容,对有一些内容是不要求精度的。比如说确定,识别成石角定,本身有一个相似度,通过字偏旁部首,这个字和这个字是类似的,计算出一些相似度就可以找到的。如果你在界面上找到多个相似的,找一个最相似的。

    

提问:刚才说只是在比较特定的场景才去用,如果手机差异化越来越大的话,有没有可能全部OCR录制这样的脚本的可能呢?

    

谢春鸿:后面我们是有一个规划的,会不再用控件的方式,全部用OCR和图像的方式来做,我们未来是这样来做的。


附:演讲 PPT,点击阅读原文下载。


谢春鸿在 NCTS 云测试峰会上进行《自动化脚本录制那点事儿》主题演讲

延伸阅读:


















关注 Testin,了解

产品更新

测试结果通知

技术干货

测试职业规划

版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《谢春鸿在 NCTS 云测试峰会上进行《自动化脚本录制那点事儿》主题演讲》的版权归原作者「Testin云测」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读