使用 puppeteer 库采集豆瓣音频简单代码示例

今天要给大家分享的采集代码，主要是使用 puppeteer 库进行编写的，用于采集豆瓣网相关音频。这段代码也是非常的简单实用，一起来看看吧。
请添加图片描述

// 引入 puppeteer 库
const puppeteer = require('puppeteer');

// 定义获取代理服务器的函数
function getProxy() {
  return new Promise((resolve, reject) => {
    // 使用 https://www.duoip.cn/get_proxy 获取代理服务器
    const url = 'https://www.duoip.cn/get_proxy';
    const proxy = require('proxy-agent');
    const request = require('request');
    const options = {
      url: url,
      agent: proxy(url, options),
      json: true,
    };
    request.get(options, (error, response, body) => {
      if (error) {
        reject(error);
      } else {
        resolve(body.proxy);
      }
    });
  });
}

// 定义下载音频的函数
async function downloadAudio(url, proxy) {
  // 创建一个 puppeteer 的浏览器实例
  const browser = await puppeteer.launch({
    headless: true,
    args: ['--no-sandbox', '--disable-setuid-sandbox', '--disable-dev-shm-usage'],
  });
  // 创建一个新的页面
  const page = await browser.newPage();
  // 设置代理服务器
  await page.setProxy({
    server: proxy,
    port: 8080,
  });
  // 导航到 www.douban.com
  await page.goto('https://www.douban.com', {
    waitUntil: 'networkidle2',
  });
  // 获取音频链接
  // 这里需要根据实际情况获取音频链接，例如通过查找音频播放器的 DOM 元素并获取其 src 属性
  const audioUrl = 'your_audio_url';
  // 使用 JavaScript 下载音频
  const audio = await page.evaluate(async (url) => {
    const response = await fetch(url);
    const blob = await response.blob();
    return URL.createObjectURL(blob);
  }, audioUrl);
  // 保存音频
  const link = document.createElement('a');
  link.href = audio;
  link.download = 'downloaded_audio.mp3';
  document.body.appendChild(link);
  link.click();
  document.body.removeChild(link);
  // 关闭浏览器
  await browser.close();
}

// 主函数
async function main() {
  const proxy = await getProxy();
  const audioUrl = 'your_audio_url';
  await downloadAudio(audioUrl, proxy);
}

main();