520那天我向心仪的女孩要微信:“女神,能给我你的微信号吗?”
女神:“给我——爬!!!!”
从那天开始,我就决定要学好爬虫,爬到女神微信号!!!
文章目录
- 一、requests模块是什么?
- 二、如何使用:(requests模块的编码流程)
- 三、使用步骤(爬取搜狗首页的页面数据)
- 1.引入库(环境安装)
- 2.完整代码
- 3.运行代码爬取成功
- 总结
一、requests模块是什么?
简单来说:python中原生的一款基于网络请求的模块,功能非常强大,简单便捷,效率极高。
作用:模拟浏览器发请求。
二、如何使用:(requests模块的编码流程)
1.指定URL;
2.发起请求;
3.获取响应数据;
4.持久化存储;
三、使用步骤(爬取搜狗首页的页面数据)
1.引入库(环境安装)
pip install requests
2.完整代码
#!usr/bin/env python3
# -*- coding: utf-8 -*-
#需求:爬取搜狗首页的页面数据
import requests
if __name__ == '__main__':
#step1: 指定url
url = 'http://www.sogou.com/'
#step2: 发起请求
#git方法会返回一个响应对象;
response = requests.get(url=url)
#step3: 打印响应数据(在响应对象里面)
page_text = response.text
print(page_text)
#step4: 保存响应数据到文件(持久化存储)
with open('sogou_homepage.html', 'w', encoding='utf-8') as fp:
fp.write(page_text)
print('保存成功!')
3.运行代码爬取成功
总结
`Python代码使用requests库从指定的网址下载网页内容,
然后将其保存到本地文件中,
最后打印出保存成功的消息。