今天看到一个Python 100例的在线资源,感觉每个都需要去点,太费时间了,于是,使用Python将数据爬取下来,方便查看。实际效果如下:
。。。。。。
用了13分钟,当然,这是优化后的效果,如果没有优化,需要的时间更长。
爬取url如下:
https://www.runoob.com/python/python-exercise-example{}.html
起初代码如下:
import requests
from lxml import etree
import os
import time
headers = {
'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36",
}
url = "https://www.runoob.com/python/python-exercise-example{}.html"
def fetch_exercise(url):