为了找到一个好店铺好位置，往往要花费很大精力和财力过去寻找，就有有某些出租平台但是一个个查找下来也是十分麻烦，所以我利用我们的C语言基础，给大家写个商品转租的爬虫程序，让找店铺不在那么费时费力，至少获取信息比自己单个来的更容易。
import requests
from bs4 import BeautifulSoup
import json
import time
proxy_host = "duoip"
proxy_port = "8000"
def get_html(url, proxy_host, proxy_port):
提取免费ip (jshk.com.cn/mb/reg.asp?kefu=xjy&csdn)
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
proxies = {
'http': 'http://' + proxy_host + ':' + proxy_port,
'https': 'https://' + proxy_host + ':' + proxy_port
}
try:
html = requests.get(url, headers=headers, proxies=proxies)
if html.status_code == 200:
return html.text
else:
return None
except Exception as e:
print(e)
return None
def parse_html(html):
soup = BeautifulSoup(html, 'html.parser')
title = soup.find('div', {'class': 'title'}).text
content = soup.find('div', {'class': 'content'}).text
return title, content
def save_to_json(content, file_name):
with open(file_name, 'w', encoding='utf-8') as f:
json.dump(content, f, ensure_ascii=False, indent=4)
def main():
url = "https://bj.zufang.com/ershoufang/"
html = get_html(url, proxy_host, proxy_port)
if html:
title, content = parse_html(html)
save_to_json({"title": title, "content": content}, "data.json")
print(f"爬取成功：{title}")
time.sleep(10) # 等待10秒再进行下一次爬取，防止被封IP
if __name__ == '__main__':
main()
上述代码是一个简单的爬虫程序，用于爬取58商铺出租转让信息。程序的运行步骤如下：
1、首先，我们需要导入requests库用于发送HTTP请求，BeautifulSoup库用于解析HTML页面，json库用于保存数据，以及time库用于等待一段时间。
2、然后，我们定义了一个函数get_html，用于发送HTTP请求并获取HTML页面。在这个函数中，我们首先定义了请求头和代理信息。然后，我们使用requests.get方法发送GET请求，如果请求成功，我们就返回获取到的HTML页面，否则返回None。
3、接着，我们定义了一个函数parse_html，用于解析HTML页面并提取我们需要的数据。在这个函数中，我们首先使用BeautifulSoup库解析HTML页面，然后使用find方法找到我们需要的元素，并使用text属性获取元素的文本内容。
4、然后，我们定义了一个函数save_to_json，用于保存数据。在这个函数中，我们首先打开一个文件，然后使用json.dump方法将数据保存到文件中。
5、最后，我们在main函数中定义了要爬取的URL，然后调用get_html函数获取HTML页面，如果获取成功，我们就调用parse_html函数解析HTML页面并提取数据，然后调用save_to_json函数保存数据，最后打印出爬取成功的信息，并等待10秒再进行下一次爬取。
注意：在实际运行该程序时，需要确保代理信息是有效的，否则可能无法正常爬取网页。同时，需要确保爬取的网页内容不违反相关法律法规，否则可能会引发法律问题。
其实开店最麻烦的就是店铺产品类别，店铺选址，人流量，以及产品口碑这几个方面，想必在开店前已经深思熟虑过了，所以最重要的还是店铺选址的问题，上面我通过详细的代码示例写的一个爬虫教程，让后期店铺选址效率更高。如果大家有任何问题可以留言一起讨论。
