【Python网络爬虫笔记】11- Xpath精准定位元素

一、Xpath 在 Python 网络爬虫中的作用
- （一）精准定位元素
- （二）应对动态网页
- （三）数据结构化提取
二、Xpath 的常用方法
- （一）节点选取
- （二）谓词筛选
- （三）轴操作
三、Xpath 在 Python 中的安装和使用
- （一）安装
- （二）使用 Xpath提取特定内容
四、Xpath 在 Python 网络爬虫中的典型案例
- （一）新闻网站数据抓取
- （二）电商产品信息抓取

Xpath，能够帮助开发者从复杂的网页结构中精准地提取所需信息。本文将深入探讨 Xpath 在 Python 网络爬虫中的作用、常用方法、安装与使用步骤以及典型案例。

一、Xpath 在 Python 网络爬虫中的作用

（一）精准定位元素

网页是由 HTML 标签构建而成的复杂层级结构，包含了大量的文本、图片、链接等信息。在进行网络爬虫时，我们往往只对特定的部分感兴趣，例如网页中的文章标题、正文内容、商品价格等。Xpath 提供了一种强大的语法，能够通过元素的路径、属性等特征，在整个网页结构中精确地定位到我们想要提取信息的元素，避免了对无关信息的抓取，大大提高了数据采集的准确性和效率。
例如：如果我们要获取必应首页热点新闻，可以直接找他的XPath。（调试工具中找到对应HTML标记，可以复制该span的XPath）
在这里插入图片描述

（二）应对动态网页

传统的基于 HTML 标签的解析方式可能难以获取这些动态加载的数据。而 Xpath 结合一些支持动态网页解析的库（如 Selenium），可以在页面加载完成后，仍然准确地定位到动态生成的元素，从而实现对动态网页数据的抓取，拓宽了网络爬虫的应用范围。

（三）数据结构化提取

网络爬虫的最终目的通常是将抓取到的数据进行整理和分析，以满足特定的业务需求。Xpath 可以将网页中的多个新闻标题和对应的发布时间分别提取并整理成一个数据列表，其中每个元素都是一个包含标题和时间的字典，方便后续的数据处理和存储。

二、Xpath 的常用方法

（一）节点选取

绝对路径选取：从根节点（通常是 html 标签）开始，按照层级关系依次指定每个节点的标签名，直到找到目标节点。例如：/html/body/div[1]/div[2]/h1，表示从根节点 html 开始，依次进入 body 节点下的第一个 div 节点，再进入其下的第二个 div 节点，最后获取其中的 h1 节点。
注意：div[1]表示第1个div，XPath是从1开始的，不是从程序员的0开始的。
相对路径选取：以当前节点为参考点，使用一些特殊符号来表示相对位置关系。例如：//h1，表示在整个文档中查找所有的 h1 节点；./div，表示在当前节点下查找所有的 div 节点；../p，表示在当前节点的父节点下查找所有的 p 节点。

（二）谓词筛选

谓词用于对选取的节点进行进一步的筛选，以满足特定的条件。谓词通常写在方括号 [] 内，紧跟在节点名称或路径后面。例：//div[@class="article"]，表示选取所有 class 属性值为 article 的 div 节点；//a[text()="点击这里"]，表示选取文本内容为 “点击这里” 的 a 节点；//li[position()=3]，表示选取第三个 li 节点。注意：一般把position省略，@后面接标记的属性，除了class，常用的还有id,超链接href

（三）轴操作

轴操作允许我们在文档树中沿着特定的轴（如祖先轴、子孙轴、兄弟轴等）来选取节点。例如：//h2/ancestor::div，表示选取所有 h2 节点的祖先 div 节点；//ul/descendant::li，表示选取 ul 节点下的所有子孙 li 节点；//h3/following-sibling::p，表示选取所有与 h3 节点同级且在其后的 p 节点。轴操作在处理复杂的网页结构时非常有用，可以方便地获取与目标节点相关联的其他节点信息。

三、Xpath 在 Python 中的安装和使用

（一）安装

在 Python 中使用 Xpath，通常需要安装 lxml 库。可以使用 pip 命令进行安装，在命令行中执行以下命令：

pip install lxml

（二）使用 Xpath提取特定内容

以下示例，演示在 Python 中使用 Xpath 解析 HTML 页面中的标题和段落内容：

from lxml import etree

# 假设已经获取到了网页的 HTML 内容，存储在变量 html 中
html = "<html><body><div class='container'><h1>标题</h1><p>这是一段正文内容。</p></div></body></html>"

# 将 HTML 内容解析为 ElementTree 对象
tree = etree.HTML(html)

# 使用 Xpath 选取标题元素并提取文本内容
title = tree.xpath("//h1/text()")[0]
print("标题:", title)

# 选取正文段落元素并提取文本内容
paragraph = tree.xpath("//p/text()")[0]
print("正文:", paragraph)

运行结果：
在这里插入图片描述

在上述示例中，首先使用 etree.HTML 函数将 HTML 字符串解析为 ElementTree 对象，然后使用 xpath 方法传入 Xpath 表达式来选取相应的元素，并通过 text() 函数获取元素的文本内容。

四、Xpath 在 Python 网络爬虫中的典型案例

（一）新闻网站数据抓取

以某新闻网站为例，我们想要抓取该网站首页的新闻标题、发布时间和链接信息。网页结构如下：

<html>
    <body>
        <div class="news-list">
            <div class="news-item">
                <h2 class="news-title"><a href="news1.html">新闻标题 1</a></h2>
                <span class="news-time">2024-12-10 10:00:00</span>
            </div>
            <div class="news-item">
                <h2 class="news-title"><a href="news2.html">新闻标题 2</a></h2>
                <span class="news-time">2024-12-11 15:30:00</span>
            </div>
            <!-- 更多新闻项 -->
        </div>
    </body>
</html>

使用 Python 和 Xpath 实现数据抓取的代码如下：

import requests
from lxml import etree

# 目标新闻网站首页 URL
url = "https://example.com/news"

# 发送 GET 请求获取网页内容
response = requests.get(url)
html = response.text

# 解析 HTML 内容
tree = etree.HTML(html)

# 使用 Xpath 选取新闻标题、发布时间和链接
news_titles = tree.xpath("//div[@class='news-item']/h2[@class='news-title']/a/text()")
news_times = tree.xpath("//div[@class='news-item']/span[@class='news-time']/text()")
news_links = tree.xpath("//div[@class='news-item']/h2[@class='news-title']/a/@href")

# 遍历并打印抓取到的数据
for i in range(len(news_titles)):
    print("标题:", news_titles[i])
    print("时间:", news_times[i])
    print("链接:", news_links[i])
    print("-" * 30)

运行结果：
在这里插入图片描述

在这个案例中，通过构造合适的 Xpath 表达式，分别选取了新闻标题、发布时间和链接元素，并将提取到的数据进行了打印输出。

（二）电商产品信息抓取

对于一个电商网站，我们希望抓取商品列表页面中的商品名称、价格和图片链接。假设网页结构如下：

<html>
    <body>
        <div class="product-list">
            <div class="product-item">
                <img src="product1.jpg" alt="商品图片 1">
                <h3 class="product-name">商品名称 1</h3>
                <span class="product-price">￥99.99</span>
            </div>
            <div class="product-item">
                <img src="product2.jpg" alt="商品图片 2">
                <h3 class="product-name">商品名称 2</h3>
                <span class="product-price">￥199.99</span>
            </div>
            <!-- 更多商品项 -->
        </div>
    </body>
</html>

以下是相应的 Python 代码：


# 导入相关库
from lxml import etree


# 本地新闻网页文件路径
file_path = "goods.html"

# 读取本地文件内容
with open(file_path, 'r', encoding='utf-8') as file:
    html = file.read()


# 解析 HTML
tree = etree.HTML(html)

# 提取商品名称、价格和图片链接
product_names = tree.xpath(
    "//div[@class='product-item']/h3[@class='product-name']/text()")
product_prices = tree.xpath(
    "//div[@class='product-item']/span[@class='product-price']/text()")
product_image_links = tree.xpath("//div[@class='product-item']/img/@src")

# 展示抓取结果
for i in range(len(product_names)):
    print("商品名称:", product_names[i])
    print("价格:", product_prices[i])
    print("图片链接:", product_image_links[i])
    print("*" * 30)