提起 ui 自动化大家首先想到的就是基于控件的自动化，比如常见的 xpath、id、css 选择器等手段进行元素定位并进行结果判断。但是在实际应用中，无论是 web 端还是移动端，仍有很多时候需要根据页面内容、页面中的图像进行定位及判定，是这些手段所达不到的，这里我们来介绍一下关于图像识别在测试中的应用。
在具体进行讲解之前先介绍一下图像识别在测试中能够想到的引用场景：
首先分享一下图形识别在自动化测试中的应用，目前比较流行的就是 sikuli，其中关于 sikuli 的安装在这里就不多说了，官网有具体的介绍（）
原理
Sikuli 脚本是由 jython 通过图像识别的方式来模拟键盘和鼠标事件，从而实现 ui 层面的自动化测试。Sikuli 脚本的核心是一个 java 库主要由两部分组成：
java.awt.Robot 这个部分主要是讲键盘和鼠标事件传送给指定的位置，具体的位置是由 c++引擎（基于 opencv 模块）通过脚本中的目标图片去屏幕上搜索并定位。C++引擎与 java 的 JNI 链接并且进行编译来适应不同的平台。在 java 的上层是一个简单的应用层就是我们开发脚本用的，这层给最终用户提供了一套简单易用的命令。
函数介绍
在屏幕上找到相对于的图片，比如选定一个手机
示例代码：
findall(x)
在屏幕上找到所有的相同图片 x，比如可以关注多个手机（一次性把所有的图片的坐标选定，如果选定后再刷新桌面背景有可能出现之前的坐标和之前的功能点对应不上，达不到测试效果）
示例代码：
wait(x，10)
等待图片 x 在屏幕上或者指定的区域中出现，超时时间 10 秒
示例代码：
waitVanish(x，10)
等待屏幕上或者指定区域中给定的 gui 组件消失，最长等待 10 秒（最好设置时间）
示例代码：
在屏幕上或者指定区域中查找指定的 GUI 组件是否存在，若找不到改组件，就返回 none，不抛异常，同时可以设置超时时间
示例代码：
在屏幕上或指定区域中左键单击匹配度最佳的 GUI 组件
示例代码：
dubleclick(x)
在屏幕上或指定区域中双击匹配度最佳的 GUI 组件
示例代码：
rightclick()
在屏幕上或指定区域中右击匹配度最佳的 GUI 组件
示例代码：
将鼠标指针移动到匹配度最佳的 GUI 组件
示例代码：
dragDrop(x，y)
将图片 x 拖拽到图片 y 上
示例代码：
type(x,“text”)
给选定的焦点输入内容
示例代码：
paste(x,“text”)
给选定的焦点粘贴内容（具体和 type 目前没发现具体的区别）
代码介绍
下面是一个用来测试响应时间的一个代码示例
优缺点
优点
介绍到这会有人问有了 webdriver 等 ui 自动化后为什么还要用图像识别呢？我能想出来的理由也只有这几点了：
1、代码简单易懂，简单到什么程度呢？可以说会截图就可以进行自动化测试；
2、针对一些游戏或者一些特殊的应用 ui 控件比较难以识别这样就可以通过图像识别轻易的找到对应的元素；
3、代码的学习成本比较低常用的函数已经封装完毕，而且简单易懂；
4、工具开源可以进行二次开发；
5、可以识别类似 flash 这样不能通过识别控件来进行自动化测试的项目；
缺点
1、 屏幕不能有遮挡，因为 sikuli 是在当前桌面识别 对应的目标并进行操作，如果桌面有遮挡就会导致对应的元素找不到；
2、 如果代码换一个显示屏进行测试就要重新进行截图，因为之前所有的截图分辨率已经不适应当前界面；
3、 不能在后台进行测试，必须前台运行；
原文链接：
