爬取全国高校数据

网站：

运行下面代码得到网站.

import base64
# 解码
website = base64.b64decode('IGh0dHA6Ly9jb2xsZWdlLmdhb2thby5jb20vc2NobGlzdC8='.encode('utf-8'))
print(website)

分析：

我们需要爬取的字段，高校名称，高校所在地，高校类型，高校性质，高校特色，高校隶属，学校网站。

该网页静态网页，内容就在网页里面，一共107页数据，向每一页发送请求，直接使用Xpath解析的页面数据即可拿到我们想要的数据。

Xpath提取字段：

然后点击我们需要提取的字段。

//*[@id=“wrapper”]/div[4]/div[1]/dl[1]/dt/strong/a ， 然后我们看一下页面结构 ，对Xpath进行修改即可。

我们不难发现每一个dl标签就是一个学校的所有信息，这个学校的信息的Xpath：

//div[@class="cont_l in"]//div[@class="scores_List"]/dl

学校名称：

//div[@class="cont_l in"]//div[@class="scores_List"]/dl//strong/@title

然后我们就可以得到所有的信息，xpath如下：

高校所在地：

//div[@class="cont_l in"]//div[@class="scores_List"]/dl//ul/li[1]/text()

高校类型：

//div[@class="cont_l in"]//div[@class="scores_List"]/dl//ul/li[3]/text()

高校性质：

//div[@class="cont_l in"]//div[@class="scores_List"]/dl//ul/li[5]/text()

高校隶属：

//div[@class="cont_l in"]//div[@class="scores_List"]/dl//ul/li[4]/text()

高校网站：

//div[@class="cont_l in"]//div[@class="scores_List"]/dl//ul/li[6]/text()

是否211：

//div[@class="cont_l in"]//div[@class="scores_List"]/dl//ul/li[2]/span[1]/text()

是否985：

//div[@class="cont_l in"]//div[@class="scores_List"]/dl//ul/li[2]/span[2]/text()

但是有一个问题：如果某个学校是985不是211，则对应的211标签提取就会报错，我们需要异常处理，如果有这个标签怎么样，没有怎么样。

爬虫代码：

import requests
from lxml import etree
import time
import random
import pandas as pd
from fake_useragent import UserAgent
import os

def crawl(pages, filename, start_page=1, end_page=None):
    # 设置请求头信息
    ua = UserAgent()
    headers = {'User-Agent': ua.random}
    # 获取网页内容
    url_template = 'http://college.gaokao.com/schlist/p{}/'
    data = []
    for page in range(start_page, min(end_page or pages, pages) + 1):
        url_page = url_template.format(page)
        response = requests.get(url_page, headers=headers).text
        # 设置请求时间间隔，防止被反爬虫
        time.sleep(random.uniform(1, 3))
        # 解析网页内容，提取需要的信息
        html = etree.HTML(response)
        rows = html.xpath('//div[@class="cont_l in"]//div[@class="scores_List"]/dl')

        for row in rows:
            name = row.xpath('.//strong/@title')[0]  # 获取的每一个都是列表 只有一个元素

            location = row.xpath('.//ul/li[1]/text()')[0]
            location = location.split('：')[1]  # 将字符串按照冒号分割成两部分，获取第二部分

            school_type = row.xpath('.//ul/li[3]/text()')[0]
            school_type = school_type.split('：')[1]

            school_property = row.xpath('.//ul/li[5]/text()')[0]
            school_property = school_property.split('：')[1]

            school_affiliation = row.xpath('.//ul/li[4]/text()')[0]
            school_affiliation = school_affiliation.split('：')[1]

            website = row.xpath('.//ul/li[6]/text()')[0]
            website = website.split('：')[1]
            # feature_211= row.xpath('.//ul/li[2]/span[1]/text()')[0]
            try:
                feature_211 = row.xpath('.//ul/li[2]/span[1]/text()')[0]
            except IndexError:
                feature_211 = "0"

            try:
                feature_985 = row.xpath('.//ul/li[2]/span[2]/text()')[0]
            except IndexError:
                feature_985 = "0"
            data.append(
                [name, location, school_type, school_property, school_affiliation, website, feature_211, feature_985])
            # ['北京大学', '北京', '综合', '本科', '教育部', 'www.pku.edu.cn', '211', '985']
            # ['中国矿业大学(徐州)', '江苏', '工科', '本科', '教育部', 'http://www.cumt.edu.cn/', '211', '0']

    # 将提取的数据存储到pandas的DataFrame中
    df = pd.DataFrame(data,
                      columns=['学校名称', '高校所在地', '高校类型', '高校性质', '高校隶属', '学校网站', '是否211',
                               '是否985'])
    # 将DataFrame中的数据保存到CSV文件中
    df.to_csv(filename, mode='a', index=False, header=not os.path.exists(filename))
    # 追加写入数据，如果文件不存在则写入表头


if __name__ == '__main__':
    # 第一次爬取前20页，保存到university.csv文件中
    crawl(pages=20, filename='demo.csv')
    # 第二次爬取21到40页，追加到university.csv文件中
    crawl(pages=40, filename='demo.csv', start_page=21, end_page=40)
    # 第三次爬取41到60页，追加到demo.csv文件中
    crawl(pages=60, filename='demo.csv', start_page=41, end_page=60)
    # # 第四次爬取61到80页，追加到university.csv文件中
    crawl(pages=80, filename='demo.csv', start_page=61, end_page=80)
    # # 第五次爬取81到100页，追加到university.csv文件中
    crawl(pages=100, filename='demo.csv', start_page=81, end_page=100)
    # # 第六次爬取101到107页，追加到university.csv文件中
    crawl(pages=107, filename='demo.csv', start_page=101, end_page=107)

ok!结束！