【测试】pywinauto的简单使用（安装、常用对象、元素控件、鼠标操作、键盘操作）

1.说明

pywinauto是一个用于自动化Python 模块，适合Windows系统的软件（GUI），可以通过Pywinauto遍历窗口（对话框）和窗口里的控件，也可以控制鼠标和键盘输入，所以它能做的事情比之前介绍的pysimplegui更多

2.安装

一般使用pip安装就行了

pip install pywinauto

官网文档：https://pywinauto.readthedocs.io/en/latest/

3.Application

我们要控制软件的第一件事就是启动一个Windows软件，每一个软件（进程）都是一个Application对象

实例化Application对象的时候可以传入一个backend参数，可选值为win32（默认）和 uia ，

win32对应的框架：MFC、VB6、VCL、简单的 WinForms 控件和大多数旧的遗留应用程序
uia对应的框架：WinForms、WPF、商店应用程序、Qt5、浏览器
如果无法知道要测试的软件是属于哪种框架，可以使用 Inspect（对应uia） 和 Spy++（对应win32） 看看，你看哪个显示得更全就选哪个。Inspect和Spy++需要自己安装一下

下面是Application对象的主要方法

方法	常用参数	说明
start()	cmd_line、timeout、retry_interval	通过cmd命令启动一个软件（进程）
connect()	process、handle、path、timeout	连接一个进程，一般是使用进程号（任务管理器可以看到）
top_window()	/	获取应用的顶层窗口
window()	title、title_re、class_name、best_match	获取单个窗口（WindowSpecification）
windows()	title、title_re、class_name	获取多个窗口（UIAWrapper）
is64bit()	/	是否64位应用
cpu_usage	interval	CPU占用率
wait_cpu_usage_lower()	threshold、timeout	等待CPU占率小于某个阈值
active()()	/	搜索返回一个激活的窗口
kill()	soft	结束进程
wait_for_process_exit()	timeout、retry_interval	等待进程结束

举例，启动一个微信应用，通过进程号连接，进程号就是在任务管理器里详细信息看到的PID
在任务管理器查看进程号

from pywinauto import Application

app = Application(backend="uia")
# app.start(r"D:\Program Files (x86)\Tencent\WeChat\WeChat.exe")
app.connect(process=6556)
print("is64bit:", app.is64bit())
print("cpu_usage:", app.cpu_usage())
app.wait_cpu_usage_lower()
# app.active()  # 如果指定时间内不激活则报错
print("kill:", app.kill())
print("wait_for_process_exit:", app.wait_for_process_exit())

4.WindowSpecification

我们要获取窗口，一个窗口都是一个WindowSpecification对象，可以通过Application对象的window()方法获取，参数可以是title、classname或者best_match等，这都可以在inspect.exe上看到，不过需要注意的是inspect看到的Name其实对应的是window()的title参数
在这里插入图片描述

WindowSpecification对象常用的方法如下

方法	常用参数	说明
maximize()	/	最大化窗口
minimize()	/	最小化窗口
restore()	/	恢复窗口
close()	/	关闭窗口
get_show_state()	/	获取窗口状态，0正常1最大化2最小化
was_maximized()	/	当前是否最大化
draw_outline()	colour、thickness	给窗口画个框以便定位
print_control_identifiers()	/	打印所有子窗口和子元素（会打印出对应的control_type）
child_window()	title、control_type	获取子窗口
exists()	timeout	窗口是否存在
wait()	wait_for, timeout	等待窗口变成某个状态（exists、visible、enabled、ready、active）
wait_not()	wait_for_not, timeout	等待窗口不处于某个状态（exists、visible、enabled、ready、active）

举个栗子

dlg = app.window(class_name="WeChatMainWndForPC")
# dlg = app.window(title="微信")
print("get_show_state:", dlg.get_show_state())
print("was_maximized:", dlg.was_maximized())
dlg.print_control_identifiers()
dlg.draw_outline()
dlg.maximize()
dlg.restore()
dlg.minimize()
dlg.close()

5.元素控件

一个窗口里一般都会有各种各样的元素，比如说按钮（Button）、编辑栏（Edit）、树状视图（Tree View）、复选框（CheckBox）、对话框（Dialog）、工具栏（Toolbar）、状态栏（StatusBar）、列表框（ListBox）、窗格（Pane）、菜单（Menu）、菜单栏（MenuItem）、静态内容（Static）、工具提示（ToolTips）、列表控件（ListView）、单选框（RadioButton）、组合框（ComboBox）、选项卡控件（TabControl）、组框（GroupBox）、弹出菜单（PopupMenu）、头部（Header）等

因为控件类型太多了不能一个一个学习，但是它们都有一个 element_info 的属性，访问之后会返回一个继承于ElementInfo的对象（UIAElementInfo或HwndElementInfo），比较重要的属性或方法如下

方法或属性	常用参数	说明
name	/	元素的真实名（一般是title）
visible	/	元素是否可见
rich_text	/	元素的全名
rectangle	/	返回元素的位置以及宽高
class_name	/	类名
enabled	/	元素是否处于可用状态
parent	/	返回父元素
children()	title、title_re、class_name、best_match	返回符合要求的子元素（列表）
iter_children()	title、title_re、class_name、best_match	迭代符合要求的子元素（生成器）

这些元素除了有element_info可以获取一些元素的主要信息，它们还都被包装成一个Wrapper，所以也可以学一下BaseWrapper的常用方法和属性。其实BaseWrapper的方法基本上都是对ElementInfo进一步包装，我只列出部分方法，如下表

方法或属性	常用参数	说明
element_info	/	返回当前元素的ElementInfo对象
from_point()	x、y	通过坐标查找ElementInfo
class_name()	/	类名，实际是调用element_info.class_name
friendly_class_name()	/	友好的类名，同上
window_text()	/	元素的文本，实际是调用element_info.rich_text
is_visible()	/	元素是否可见，实际是调用element_info.visible
is_enabled()	/	元素是否可用，实际是调用element_info.enabled
rectangle()	/	元素的位置和宽高，实际是调用element_info.rectangle
process_id()	/	进程号，实际是调用element_info.process_id
draw_outline()	colour、thickness	给当前元素画个框
click_input()	button、coords、double	鼠标操作，实际是调用mouse模块的_perform_click_input()
type_keys()	/	键盘操作，实际是调用keyboard模块的send_keys()

dlg = app.window(class_name="WeChatMainWndForPC")
list_data = dlg.child_window(title="会话", control_type="List")
for item in list_data:
    print(type(item))
    element_info = item.element_info
    print(type(element_info))
    print("window_text:", )
    print("rich_text:", element_info.rich_text)
    print("name:", element_info.name)
    print("visible:", element_info.visible)
    print("rectangle:", element_info.rectangle)
    print("class_name:", element_info.class_name)
    print("enabled:", element_info.enabled)
    print("parent:", element_info.parent)
    print("children:", element_info.children())
    print("iter_children:", element_info.iter_children())
    if item.window_text() == "文件传输助手":
        item.click_input()
        item.type_keys("冰冷的希望")
        item.type_keys("{VK_RETURN}")
    print()

说明一下，每个控件元素都有对应的Wrapper，所以上面的方法也不一定都用，需要根据实际情况进行测试区分。另外，比较有用的click_input()和type_keys()这两个方法分别用于操作鼠标和键盘（输入），下面我会单独拿出来说一下

6.鼠标操作

鼠标点击肯定离不开点击的位置，桌面就是一个坐标，左上角为坐标原点，往右是X轴正向，往下是Y轴正向。pywinauto提供了一个mouse模块用于鼠标操作，最核心的方法是_perform_click_input()，不过它是一个私有方法，我们调用的是基于它的封装方法，如下表

方法	参数
click()	button、coords	单击鼠标某个键
double_click()	button、coords	双击鼠标某个键
right_click()	coords	单击鼠标右键
move()	coords	移动鼠标
press()	button、coords	按下鼠标
release()	button、coords	放开鼠标
scroll()	coords、wheel_dist	滚动鼠标滚轮
wheel_click()	coords	单击鼠标滚轮

参数说明：
参数button的默认值都是“left”，即鼠标左键，可选值有left、right、middle、move、wheel、x
参数coords 的默认值都是元组(0, 0)，元组里的两个整数分别是X、Y轴的值
参数wheel_dist表示滚动的距离，大于0是向上滚动，小于0是向下滑动

举个栗子

from pywinauto import Application, mouse

app = Application(backend="uia")
app.connect(process=4352)
dlg = app.window(class_name="WeChatMainWndForPC")
list_data = dlg.child_window(title="会话", control_type="List")
for item in list_data:
    if item.window_text() == "文件传输助手":
        # item.click_input()
        rectangle = item.element_info.rectangle
        x = int((rectangle.left + rectangle.right) / 2)
        y = int((rectangle.top + rectangle.bottom) / 2)
        mouse.click(button='left', coords=(x, y))
        time.sleep(1)
        mouse.click("right", (x, y))
        time.sleep(1)
        mouse.move((x - 50, y))  # 往左边移动50个像素
        time.sleep(1)
        mouse.click(coords=(x, y))
        break

7.键盘操作

键盘操作主要是按下键盘上的按键，相关方法在keyboard模块，最最主要的是send_keys()方法，第一个参数keys就是我们需要按下的按键，其他参数比如说with_spaces、with_tabs、with_newlines、turn_off_numlock、set_foreground、vk_packet，一看就知道作用，而且都是布尔值，此处不进行举例

pywinauto支持的完整的按键可以在官方文档查看，https://pywinauto.readthedocs.io/en/latest/code/pywinauto.keyboard.html
下面我列举出的是一些比较常用的按键

按键	符号	说明
Shift	VK_SHIFT	上档键
Ctrl	VK_CONTROL、VK_LCONTROL、VK_RCONTROL	Ctrl键、左右Ctrl键
Alt	VK_MENU	Alt键
Windows	VK_LWIN、VK_RWIN	左右win键
Space	VK_SPACE	空格键
backspace	BACKSPACE	退格键
enter	ENTER	回车键
esc	ESC	退出键
table	VK_TAB	制表键
left、right、up、down	VK_LEFT、VK_RIGHT、VK_UP、VK_DOWN	上下左右方向键
f1~f24	VK_F1、VK_F2…VK_F24	f1到f24
capslock	CAPSLOCK	大写键

说明：
1.使用按键时需要搭配大括号，比如说按下回车键是 '{ENTER}' （是字符串）
2.在Windows平台默认是发送虚拟按键的，以VK_开头的按键，都是指虚拟按钮，如果不想使用虚拟按钮可以把VK_前缀去掉，把send_keys()的vk_packet参数改为False即可

单个按键按下抬起还不够，往往需要组合键，这时候就需要修饰符了，在大括号里可以使用down、up控制按键什么时候按下和抬起，如果后面加上数字，表示按下多少次

list_data = dlg.child_window(title="会话", control_type="List")
for item in list_data:
    if item.window_text() == "文件传输助手":
        item.click_input()
        # item.type_keys("冰冷的希望")
        send_keys("   ")  # 随便输入字符串
        send_keys("{VK_CONTROL down} a {VK_CONTROL up}")  # 快捷键Ctrl+a（先按下Ctrl，再按下a，最后放开Ctrl）
        send_keys("{BACKSPACE}")  # 按下退格键删除文本
        send_keys("{. 6}")  # 按6次小数点
        send_keys("冰冷的希望{ENTER}")  # 输入文本，按下回车键

当然，很多时候使用down、up修饰感觉不够简洁，所以pywinauto还提供了简化写法，使用+代替{VK_SHIFT}，使用^代替{VK_CONTROL}，使用%代替{VK_MENU}

send_keys('^a^c') # 按下Ctrl+a之后再按下Ctrl+c，即全选复制
send_keys('+{INS}') # 按下Shift+Ins键
send_keys('%{F4}') # 按下Alt+F4键

如果不想按下按钮，纯属想要输入纯字符串，那就需要取消转义了，注意修饰符和按钮的写法是不一样的

send_keys('{^}a{^}c{%}') # 输入字符串"^a^c%"而不是当成快捷键
send_keys('{{}ENTER{}}') # 输入字符串"{ENTER}"而不是按下回车键