基于scrapy框架的单机爬虫与分布式爬虫

我们知道，对于scrapy框架来说，不仅可以单机构建复杂的爬虫项目，还可以通过简单的修改，将单机版爬虫改为分布式的，大大提高爬取效率。下面我就以一个简单的爬虫案例，介绍一下如何构建一个单机版的爬虫，并做简单修改，使其实现分布式功能。

需求分析

  1. 访问页面，并实现1-10页的页面爬取，并保存到data目录下
  2. 解析页面，并获取到图片链接，并下载图片，保存到imgs目录下
    在这里插入图片描述
    在这里插入图片描述

单机版爬虫

准备爬虫项目

使用命令构建爬虫项目

在自己的放置爬虫的目录，或新目录内运行命令scrapy startproject scrapyMovieDemo 创建一个scrapy工程
效果如下：
在这里插入图片描述

使用命令构建爬虫

使用cd scrapyMovieDemo命令进入已经创建的爬虫项目目录
运行scrapy genspider mv_spider_single ssr4.scrape.center命令创建基础爬虫
效果如下：
在这里插入图片描述
下面我们来看一下创建爬虫工程与创建爬虫过程中，我们的工程与项目文件结构
如下：
在这里插入图片描述
最外层是一个名为scrapyMovieDemo的目录

  1. 创建data与imgs目录
  2. 开发单机爬虫
  3. 修改settings配置
  4. 命令启动
  5. 脚本启动
  6. 评估与回顾

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/394079.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

修改vue-layer中title

修改vue-layer中title

左侧目录树点击时同步目录树名称 试了很多方法 layer.title(新标题，index)不知道为啥不行 最后用了获取html树来修改了 watch: {$store.state.nowTreePath: function(newVal, oldVal) {if (document.querySelectorAll(".lv-title") && document.q…
阅读更多...
AD高速板常见问题和过流自锁

AD高速板常见问题和过流自锁

可以使用电机减速器来增大电机的扭矩，低速运行的步进电机更要加上减速机 减速电机就是普通电机加上了减速箱，这样便降低了转速增大了扭矩 HDMI布线要求： 如要蛇形使其等长，不要在HDMI的一端绕线。 HDMI走线时两边拉线&#xff0…
阅读更多...
见智未来：数据可视化引领智慧城市之潮

见智未来：数据可视化引领智慧城市之潮

在数字时代的浪潮中，数据可视化崭露头角，为打造智慧城市注入了强大的活力。不再被深奥的数据所束缚，我们通过数据可视化这一工具，可以更加接近智慧城市的未来。下面我就以可视化从业者的角度来简单聊聊这个话题。 数据可视化首先为…
阅读更多...
wps快速生成目录及页码设置（自备）

wps快速生成目录及页码设置（自备）

目录 第一步目录整理 标题格式设置 插入页码（罗马和数字） 目录生成（从罗马尾页开始） ​编辑目录格式修改 第一步目录整理 1罗马标题 2罗马标题1一级标题 1.1 二级标题 1.2二级标题2一级标题 2.1 二级标题 2.2二级标题3一级标…
阅读更多...
HTML5+CSS3+JS小实例：锥形渐变彩虹按钮

HTML5+CSS3+JS小实例：锥形渐变彩虹按钮

实例：锥形渐变彩虹按钮 技术栈：HTML+CSS+JS 效果： 源码： 【HTML】 <!DOCTYPE html> <html lang="zh-CN"><head><meta charset="UTF-8" /><meta http-equiv="X-UA-Compatible" content="IE=edge" /…
阅读更多...
【ansible】认识ansible，了解常用的模块

【ansible】认识ansible，了解常用的模块

目录 一、ansible是什么&#xff1f; 二、ansible的特点&#xff1f; 三、ansible与其他运维工具的对比 四、ansible的环境部署 第一步&#xff1a;配置主机清单 第二步&#xff1a;完成密钥对免密登录 五、ansible基于命令行完成常用的模块学习 模块1&#xff1a;comma…
阅读更多...
huggingface库LocalTokenNotFoundError：需要提供token

huggingface库LocalTokenNotFoundError：需要提供token

今天刚开始学习huggingface&#xff0c;跑示例的时候出了不少错&#xff0c;在此记录一下&#xff1a; (gpu) F:\transformer\transformers\examples\pytorch\image-classification>.\run.bat Traceback (most recent call last):File "F:\transformer\transformers\e…
阅读更多...
6.s081 学习实验记录（七）Multithreading

6.s081 学习实验记录（七）Multithreading

文章目录 一、Uthread: switching between threads简介提示实验代码实验结果 二、Using threads简介实验代码 三、Barrier简介实验代码实验结果 一、Uthread: switching between threads 简介 切换到 thread 分支 git fetchgit checkout threadmake clean 实现用户态线程的…
阅读更多...
SHOT特征描述符、对应关系可视化以及ICP配准

SHOT特征描述符、对应关系可视化以及ICP配准

一、SHOT特征描述符可视化 C #include <pcl/point_types.h> #include <pcl/point_cloud.h> #include <pcl/search/kdtree.h> #include <pcl/io/pcd_io.h> #include <pcl/features/normal_3d_omp.h>//使用OMP需要添加的头文件 #include <boo…
阅读更多...
考完PMP如何让学习价值最大化？考PRINCE2！

考完PMP如何让学习价值最大化？考PRINCE2！

01什么是PRINCE2 PRINCE2的全称是Project IN Controlled Environment。也就是受控环境下的项目管理&#xff0c;国际项目管理师认证&#xff0c;在国际上被称为王者认证。PRINCE2描述了如何以一种逻辑性的、有组织的方法&#xff0c;按照明确的步骤对项目进行管理。 95%以上全…
阅读更多...
软件实例分享，酒店酒水寄存管理系统软件教程

软件实例分享，酒店酒水寄存管理系统软件教程

软件实例分享&#xff0c;酒店酒水寄存管理系统软件教程 一、前言 以下软件教程以 佳易王酒水寄存管理系统软件V16.0为例说明 软件文件下载可以点击最下方官网卡片——软件下载——试用版软件下载 1、寄存的商品名称可以预先设置 2、寄存人可以使用手.机号识别 3、会员充值…
阅读更多...
C#，计算几何，贝塞耳插值（Bessel‘s interpolation）的算法与源代码

C#，计算几何，贝塞耳插值（Bessel‘s interpolation）的算法与源代码

Friedrich Wilhelm Bessel 1 贝塞耳插值&#xff08;Bessels interpolation&#xff09; 首先要区别于另外一个读音接近的插值算法&#xff1a;贝塞尔插值&#xff08;Bzier&#xff09;。 &#xff08;1&#xff09;读音接近&#xff0c;但不是一个人&#xff1b; &#x…
阅读更多...
嵌入式调试工具之GDB

嵌入式调试工具之GDB

在单片机开发中&#xff0c;我们可以通过集成式的IDE 来进行调试&#xff0c;比如 MDK、IAR 等。 GDB 工具是 GNU 项目调试器&#xff0c;基于命令行使用。和其他的调试器一样&#xff0c;可使用 GDB工具单步运行程序、单步执行、跳入/跳出函数、设置断点、查看变量等等&#…
阅读更多...
基于SSM的宁夏旅游网站平台（有报告）。Javaee项目。ssm项目。

基于SSM的宁夏旅游网站平台（有报告）。Javaee项目。ssm项目。

演示视频&#xff1a; 基于SSM的宁夏旅游网站平台&#xff08;有报告&#xff09;。Javaee项目。ssm项目。 项目介绍&#xff1a; 采用M&#xff08;model&#xff09;V&#xff08;view&#xff09;C&#xff08;controller&#xff09;三层体系结构&#xff0c;通过Spring …
阅读更多...
《苍穹外卖》知识梳理P11-Apache POI导出报表

《苍穹外卖》知识梳理P11-Apache POI导出报表

一.Apache POI 可以通过Apache POI处理excel文件&#xff0c;核心操作是读和写 应用场景 银行网银交易明细各种业务系统导出Excel报表批量导入业务数据 使用步骤 1.导入maven坐标 <dependency><groupId>org.apache.poi</groupId><artifactId>poi&…
阅读更多...
使用C++，实现高精度加减乘除法运算！

使用C++，实现高精度加减乘除法运算！

我的个人主页 {\large \mathsf{{\color{Red} 我的个人主页} } } 我的个人主页 我的专栏&#xff1a; \mathcal{{\color{Green} 我的专栏&#xff1a;} } 我的专栏&#xff1a; 《精选文章》《算法》《每日一道编程题》《高精度算法》 文章目录 前言高精度计算初始模版string 转…
阅读更多...
游泳听音乐最好的耳机推荐，游泳防水耳机排行榜推荐

游泳听音乐最好的耳机推荐，游泳防水耳机排行榜推荐

在当今社会&#xff0c;随着人民生活水平的不断提高&#xff0c;人们对健康生活的追求也越来越高。运动成为了人们日常生活中不可或缺的一部分&#xff0c;而游泳作为一种全身性的锻炼方式&#xff0c;更是受到了广大人群的喜爱。然而&#xff0c;对于音乐爱好者来说&#xff0…
阅读更多...
【机构vip教程】​python(1)：python正则表达式匹配指定的字符开头和指定的字符结束

【机构vip教程】​python(1)：python正则表达式匹配指定的字符开头和指定的字符结束

一&#xff0c;使用python的re.findall函数&#xff0c;匹配指定的字符开头和指定的字符结束 代码示例&#xff1a; 1 import re 2 # re.findall函数;匹配指定的字符串开头和指定的字符串结尾(前后不包含指定的字符串) 3 str01 hello word 4 str02 re.findall((?<e).*?…
阅读更多...
Java学习笔记------static

Java学习笔记------static

static 创建Javabean类 public class student {private int age;private String name;private String gender;public student() {}public student(int age, String name, String gender) {this.age age;this.name name;this.gender gender;}/*** 获取* return age*/public…
阅读更多...
数据结构——lesson3单链表介绍及实现

数据结构——lesson3单链表介绍及实现

目录 1.什么是链表&#xff1f; 2.链表的分类 &#xff08;1&#xff09;无头单向非循环链表&#xff1a; &#xff08;2&#xff09;带头双向循环链表&#xff1a; 3.单链表的实现 &#xff08;1&#xff09;单链表的定义 &#xff08;2&#xff09;动态创建节点 &#…
阅读更多...
最新文章

Copyright @ 2022~2023