python爬虫学习(2)——requests模块

520那天我向心仪的女孩要微信:“女神,能给我你的微信号吗?”
女神:“给我——爬!!!!”
从那天开始,我就决定要学好爬虫,爬到女神微信号!!!

文章目录

  • 一、requests模块是什么?
    • 二、如何使用:(requests模块的编码流程)
  • 三、使用步骤(爬取搜狗首页的页面数据)
    • 1.引入库(环境安装)
    • 2.完整代码
    • 3.运行代码爬取成功
  • 总结

一、requests模块是什么?

简单来说:python中原生的一款基于网络请求的模块,功能非常强大,简单便捷,效率极高。

作用:模拟浏览器发请求。

二、如何使用:(requests模块的编码流程)

1.指定URL;
2.发起请求;
3.获取响应数据;
4.持久化存储;

三、使用步骤(爬取搜狗首页的页面数据)

1.引入库(环境安装)

pip install requests

在这里插入图片描述

2.完整代码

#!usr/bin/env python3
# -*- coding: utf-8 -*-
#需求:爬取搜狗首页的页面数据
import requests
if __name__ == '__main__':
    #step1: 指定url
    url = 'http://www.sogou.com/'
    #step2: 发起请求
    #git方法会返回一个响应对象;
    response = requests.get(url=url)
    #step3: 打印响应数据(在响应对象里面)
    page_text = response.text
    print(page_text)
    #step4: 保存响应数据到文件(持久化存储)
    with open('sogou_homepage.html', 'w', encoding='utf-8') as fp:
        fp.write(page_text)
    print('保存成功!')

3.运行代码爬取成功


在这里插入图片描述

总结

`Python代码使用requests库从指定的网址下载网页内容,
然后将其保存到本地文件中,
最后打印出保存成功的消息。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/651405.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

分布式锁的原理和实现(Go)

文章目录 为什么需要分布式锁?go语言分布式锁的实现Redis自己的实现红锁是什么别人的带红锁的实现 etcdzk的实现 面试问题什么是分布式锁?你用过分布式锁吗?你使用的分布式锁性能如何,可以优化吗?怎么用Redis来实现一个…

CHI Read传输——CHI(3)

目录 一、Read操作概览 二、DMT(Direct Memory Transfer) 三、DCT (Direct Cache Transfer) 四、without Direct Data Transfer 五、ReadNoSnp and ReadOnce* structure with DMT 本篇我们来介绍一下CHI传输类型中的Read 一、Read操作概览 read操作有以下几种&#xff1…

详解CSS(二)

目录 1.背景属性 1.1背景颜色 1.2背景图片 1.3背景平铺 1.4背景位置 1.5背景尺寸 2.圆角矩形 3.元素的显示模式 3.1行内元素/内联元素(Inline element) 3.2块级元素(Block-level element) 3.3行内块元素(In…

css-垂直居中的几种写法

图示 1、使用line-height属性(当div有固定高度时) 2、使用flexbox布局

AGV与智能仓储的应用案例

背景介绍 该企业的智能工厂专注于高端家用电器的生产与研发,包括电子坐便盖、电子坐便器、吸尘器、洗碗机等,覆盖8条关键产线。面对日益增长的市场需求和生产节奏的加快,传统的物流方式已无法满足高效、精准的生产要求。为此,企业…

报名倒计时!「飞天技术沙龙-CentOS 迁移替换专场」参会指南

为帮助广大用户诊断 CentOS 迁移替换过程中的疑难杂症,「飞天技术沙龙-CentOS 迁移替换专场」将于 5 月 29 日(周三)在北京举办,将围绕如何在确保服务的连续性和稳定性的前提下实现平滑迁移及如何最大限度地利用现有资源前提下确保…

【LeetCode】【9】回文数(1047字)

文章目录 [toc]题目描述样例输入输出与解释样例1样例2样例3 提示进阶Python实现 个人主页:丷从心 系列专栏:LeetCode 刷题指南:LeetCode刷题指南 题目描述 给一个整数x,如果x是一个回文整数,返回true;否…

春秋云境CVE-2018-7422

简介 WordPress Plugin Site Editor LFI 正文 1.进入靶场 2.漏洞利用 /wp-content/plugins/site-editor/editor/extensions/pagebuilder/includes/ajax_shortcode_pattern.php?ajax_path/../../../../../../flag看别人wp做的。不懂怎么弄的,有没有大佬讲一下的

科技引领未来:高速公路可视化

高速公路可视化监控系统利用实时视频、传感器数据和大数据分析,通过图扑 HT 可视化展示交通流量、车速、事故和路况信息。交通管理人员可以实时监控、快速响应突发事件,并优化交通信号和指挥方案。这一系统不仅提高了道路安全性和车辆通行效率&#xff0…

由于找不到d3dx9_39.dll,无法继续执行代码的5种解决方法

在现代科技发展的时代,电脑已经成为我们生活中不可或缺的一部分。然而,由于各种原因,我们可能会遇到一些电脑问题,其中之一就是“d3dx9_39.dll丢失”。这个问题可能会导致我们在运行某些游戏或应用程序时遇到错误提示,…

第53期|GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区,集成了生成预训练Transformer(GPT)、人工智能生成内容(AIGC)以及大语言模型(LLM)等安全领域应用的知识。在这里,您可以找…

07_Servlet

Servlet 一 Servlet简介 1.1 动态资源和静态资源 静态资源 无需在程序运行时通过代码运行生成的资源,在程序运行之前就写好的资源. 例如:html css js img ,音频文件和视频文件 动态资源 需要在程序运行时通过代码运行生成的资源,在程序运行之前无法确定的数据,运行时动态生成…

洛谷 CF1209D Cow and Snacks

题目来源于:洛谷 题目本质:并查集 解题思路: 我们以每种化为一个点,以每个客人喜欢的两朵花给两朵花连一条无向边。则会出现一定数目的连通块,连通块总个数为 ans。 对每个连通块进行分析:第一个客人买走…

重大新闻! AUS GLOBAL 上线积分商城

AUS Global Mall:概述 AUS Global Mall是由AUS Global ,一家外汇经纪公司推出的令人兴奋的新在线商店。作为一个尊贵的客户,你现在可以获得广泛的产品和服务,可以通过积分兑换。通过AUS Global Mall,我们旨在为您提供…

软考高项 各章节知识点【细】

文章目录 前五章项目管理概论项目立项管理项目整合管理范围管理进度管理成本管理质量管理资源管理沟通管理风险管理采购管理干系人管理绩效域配置与变更管理招投标、政府采购 前五章 数字经济是继农业经济、工业经济之后的主要经济形态,是以数据资源为关键要素&…

深入解析淘宝详情api接口

一、淘宝详情api接口简介 淘宝详情api接口是淘宝开放平台提供的一种商品详情数据接口,允许开发者通过调用该接口获取淘宝平台上商品的详细信息,包括商品标题、描述、价格、库存、销量、评价等。联讯数据该接口为开发者提供了丰富的商品数据,…

RabbitMQ 之 死信队列

目录 ​编辑一、死信的概念 二、死信的来源 三、死信实战 1、代码架构图 2、消息 TTL 过期 (1)消费者 (2)生产者 (3)结果展示​编辑 3、队列达到最大长度 (1)消费者 &…

雷军-2022.8小米创业思考-8-和用户交朋友,非粉丝经济;性价比是最大的诚意;新媒体,直播离用户更近;用真诚打动朋友,脸皮厚点!

第八章 和用户交朋友 2005年,为了进一步推动金山的互联网转型,让金山的同事更好地理解互联网的精髓,我推动了一场向谷歌学习的运动,其中一个小要求就是要能背诵“谷歌十诫”。 十诫的第一条就令人印象深刻:以用户为中…

rfid资产管理系统如何帮助医院管理耗材的

RFID资产管理系统可以帮助医院管理耗材,提高耗材管理的效率和准确性。以下是它可以发挥作用的几个方面: 1. 实时跟踪和定位:使用RFID标签附加在耗材上,可以实时跟踪和定位耗材的位置。医院可以通过系统查询耗材的实时位置&#xf…

“AI黏土人”一夜爆火,图像生成类应用应该如何长期留住用户?

文章目录 最近大火的“AI黏土人”,一股浓浓的《小羊肖恩》风。 凭借这这种搞怪的风格,“AI黏土人”等图像生成类应用凭借其创新技术和市场需求迅速崛起并获得巨大关注。然而,要保持用户黏性并确保长期发展,这些应用需要采取一系列…