🌈个人主页：易辰君-CSDN博客
🔥 系列专栏：https://blog.csdn.net/2401_86688088/category_12797772.html
目录
前言
一、DrissionPage简介
（一）特点
（二）安装
（三）基本用法
（四）常见操作示例
二、ChromiumPage简介
（一）特点
（二）安装 ChromiumPage 和依赖
（三）基本用法
（四）常见操作
（五）适用场景
（六）ChromiumPage总结
三、总结
前言
在数据抓取与自动化测试领域，处理静态和动态网页的需求日益增加。传统的工具如 requests 和 selenium 虽然各有优势，但往往需要根据需求在二者之间切换，增加了代码的复杂度。DrissionPage 则创新性地整合了这两种模式，提供了统一的 API，使得静态和动态网页的处理变得更加简洁高效。此外，DrissionPage 的 ChromiumPage 模块结合了 Playwright 的强大性能，专为处理复杂的动态网页而设计，让开发者可以在无头浏览器中高效执行 JavaScript、进行模拟操作，为网页自动化和数据抓取提供了理想的解决方案。
一、DrissionPage简介
DrissionPage 是一个基于 Python 的网页自动化和数据抓取库，结合了 requests 和 selenium 两种工具的优势，为开发者提供了统一的 API，从而简化了静态和动态网页的处理。通过 DrissionPage，可以轻松切换不同的操作模式，适用于从简单的数据抓取到复杂的网页自动化操作。
（一）特点
（1）双模式支持：提供了两种模式，分别是 requests 模式和 selenium 模式。
-
requests 模式：适合加载速度快的静态网页抓取。
-
selenium 模式：适合处理动态网页和需要用户操作的网页，比如点击按钮、表单输入等。
（2）统一 API：DrissionPage 提供的 API 简洁且一致，无论是 requests 还是 selenium 模式，使用的接口基本一致，从而简化了代码的切换和维护。
（3）简化浏览器控制：在 selenium 模式下，可以自动加载页面、执行脚本、模拟用户操作（点击、输入等），便于实现自动化浏览器任务。
（4）智能解析与提取：集成了便捷的 CSS 选择器支持，可轻松定位页面元素，适用于快速数据提取和处理。
（二）安装
使用 pip 进行安装：
pip install drissionPage
此外，如果需要使用 selenium 模式，需要确保系统安装了对应的浏览器驱动（如 Chrome 的 chromedriver），或者使用 webdriver-manager 自动管理驱动。
（三）基本用法
以下是一个快速入门示例，展示如何使用 DrissionPage 切换模式来获取网页内容：
from drissionPage import Drission
# 初始化 Drission 对象
drission = Drission()
# 使用 requests 模式获取静态网页内容
page = drission.requests.get('https://example.com')
print(page.text) # 输出网页文本内容
# 切换到 selenium 模式，适用于动态网页
drission.change_mode('selenium')
page = drission.get('https://example.com')
print(page.page_source) # 输出完整的网页源码
（四）常见操作示例
- 定位和获取元素
# 在 requests 模式下查找元素
element = page.ele('h1')
print(element.text)
- 自动化操作（在
selenium模式下）
drission.change_mode('selenium')
page = drission.get('https://example.com')
# 点击元素
page.ele('button#submit').click()
# 输入文本
page.ele('input#name').input('example text')
二、ChromiumPage简介
ChromiumPage 是 DrissionPage 库中的一个功能模块，专门用于控制基于 Chromium 的无头浏览器（headless browser），可以用于在 Python 中实现浏览器自动化和动态网页的数据抓取。ChromiumPage 使用 Playwright 作为底层引擎，能够高效地加载页面、执行 JavaScript 代码，并且可以无缝地处理动态内容（例如 AJAX 加载的内容）。
（一）特点
-
高性能：基于
Playwright引擎的无头浏览器，相比 Selenium 更轻量且性能更好。 -
跨平台兼容：
Playwright支持在 Windows、MacOS 和 Linux 上运行，并且适用于多种浏览器内核（包括 Chromium、Firefox 等）。 -
处理动态内容：可以执行 JavaScript、模拟点击、输入等操作，适合动态网页的数据抓取。
-
API 简单易用：提供了简洁的 API，使得操作元素、提取数据变得更加直观。
（二）安装 ChromiumPage 和依赖
ChromiumPage 依赖 Playwright，因此在安装 DrissionPage 后，还需要安装 Playwright 并下载浏览器二进制文件：
pip install drissionPage[playwright]
python -m playwright install
（三）基本用法
以下是一个简单的例子，展示了如何使用 ChromiumPage 来访问网页、查找元素和执行自动化操作：
from drissionPage import ChromiumPage
# 初始化 ChromiumPage 对象
page = ChromiumPage()
# 访问网页
page.get('https://example.com')
# 查找元素并获取文本
element = page.ele('h1')
print(element.text)
# 模拟点击按钮
page.ele('button#submit').click()
# 在输入框中输入文本
page.ele('input#name').input('Hello, World!')
（四）常见操作
定位元素：可以使用 CSS 选择器或 XPath 定位页面中的元素。
# 查找单个元素
element = page.ele('div.classname')
# 查找多个元素
elements = page.eles('p')
for e in elements:
print(e.text)
获取动态内容：在页面加载完成后，可以轻松获取由 JavaScript 动态生成的内容。
page.get('https://example.com')
content = page.ele('div#dynamic-content').text
print(content)
自动化操作：点击按钮、选择下拉框、输入文本等操作都可以在 ChromiumPage 中实现，比如登录表单填写
page.ele('input#username').input('my_username')
page.ele('input#password').input('my_password')
page.ele('button#login').click()
截图与 PDF 生成：
可以轻松保存页面截图和生成 PDF 文件。
# 保存截图
page.screenshot('screenshot.png')
# 保存页面为 PDF
page.pdf('page.pdf')
（五）适用场景
-
数据抓取：适合处理需要 JavaScript 渲染的动态网页。
-
自动化测试：能够模拟用户的操作，用于自动化测试。
-
网页自动化操作：适用于登录操作、数据提交等任务。
（六）ChromiumPage总结
ChromiumPage 是一个强大的网页自动化和数据抓取工具，通过与 Playwright 的结合，可以实现高效、跨平台的浏览器自动化。无论是用于数据抓取还是自动化测试，它都提供了丰富的 API，适合需要处理动态网页内容的任务。
三、总结
DrissionPage 和 ChromiumPage 的结合，使得 Python 用户能够轻松应对多种网页自动化与数据抓取任务。从简单的数据抓取到复杂的用户交互、从静态页面到动态内容，这两个工具模块通过统一、简洁的 API 极大地降低了开发者的工作量。无论是需要更高性能的动态页面处理，还是简化自动化测试流程，DrissionPage 都是一个强大的利器，尤其在需要高效处理动态内容的场景下，ChromiumPage 的表现尤为出色。
