需要在亚马逊网站中通过关键词搜索产品时,实现对网页自动进行点击上下页链接翻页,以便进行数据提取。经观察发现,包含上下页翻页链接的HTML内容及代码如下所示:
<a href="/s?k=iphone+charger&crid=1EE3FWFFFIWJEOF&ref=sr_pg_2" aria-label="Go to previous page, page 1" class="s-pagination-item s-pagination-previous s-pagination-button s-pagination-separator"><svg xmlns="http://www.w3.org/2000/svg" width="8" height="12" viewBox="0 0 8 12" focusable="false" aria-hidden="true"><path d="M5.874.35a1.28 1.28 0 011.761 0 1.165 1.165 0 010 1.695L3.522 6l4.113 3.955a1.165 1.165 0 010 1.694 1.28 1.28 0 01-1.76 0L0 6 5.874.35z"></path></svg>Previous</a>
如下图所示:
每个翻页链接都包括一个属性aria-label及页码说明:
aria-label=“Go to previous page, page 1”
则可以通过下面的JavaScript选择器及字符判断代码定位所要的翻页元素标签,并实现自动点击。
// 通过定位并点击下一页链接Next翻页
function goToNextPage() {
const nextPageLink = Array.from(document.querySelectorAll('a[aria-label^="Go to next page"]'))
.find(link => link.textContent.trim().includes('Next'));
console.log(targetLink);
if (nextPageLink) {
nextPageLink.click();
}
}
自动定位并点击上一页:
// 通过定位并点击上一页链接Previous翻页
function goToPreviousPage() {
const previousPageLink = Array.from(document.querySelectorAll('a[aria-label^="Go to previous page"]'))
.find(link => link.textContent.trim().includes('Previous'));
console.log(previousPageLink);
if (previousPageLink) {
previousPageLink.click();
}
}
另外,如果还想知道当前页的页码,可以通过网页url超链接里的参数page获得,比如当前URL为:
https://www.amazon.com/s?k=iphone+charger&page=3&sprefix=%2Caps%2C620&ref=sr_pg_3
这里的page=3就是当前页码,代码如下:
//获取当前页面url
const urlParams = new URLSearchParams(window.location.search);
const pageValue = urlParams.get('page');
console.log(pageValue);
但是在最开始的第一页,url里面没有page这个参数,可以通过翻页链接里的页码来获取,有一个span是这样的:
<span class="s-pagination-item s-pagination-selected" aria-label="Current page, page 3">3</span>
aria-label=“Current page, page 3”,意思是当前页面为第3页。可以这样获取:
//获取当前页码
const currentPage = document.querySelector('span.s-pagination-item.s-pagination-selected').getAttribute('aria-label').match(/page (\d+)/)[1];
console.log(currentPage);
自动点击回到第1页:
document.querySelector('a[aria-label="Go to page 1"]').click();
这个程序在亚马逊美国站时没有问题,但是在其他非英语站点就会有问题,需要把Go to page换成对应的语言。