Python爬虫实战之爬取京东商品数据并实实现数据可视化

文章目录

- 一、开发工具
- 二、环境搭建
- 三、原理简介
- 四、数据可视化
- - 关于Python技术储备
  - - 一、Python所有方向的学习路线
    - 二、Python基础学习视频
    - 三、精品Python学习书籍
    - 四、Python工具包+项目源码合集
    - ①Python工具包
    - ②Python实战案例
    - ③Python小游戏源码
    - 五、面试资料
    - 六、Python兼职渠道

一、开发工具

Python版本：3.6.4

相关模块：

DecryptLogin模块；

argparse模块；

以及一些python自带的模块。

二、环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

三、原理简介

原理其实挺简单的，首先，我们利用之前开源的DecryptLogin库来实现一下微博的模拟登录操作：

'''模拟登录京东'''
@staticmethod
def login():
    lg = login.Login()
    infos\_return, session = lg.jingdong()
    return session

然后写几行简单的代码来保存一下登录后的会话，省得每次运行程序都要先模拟登录京东：

if os.path.isfile('session.pkl'):
    print('\[INFO\]: 检测到已有会话文件session.pkl, 将直接导入该文件...')
    self.session = pickle.load(open('session.pkl', 'rb'))
    self.session.headers.update({'Referer': ''})
else:
    self.session = JDGoodsCrawler.login()
    f = open('session.pkl', 'wb')
    pickle.dump(self.session, f)
    f.close()

接着去京东抓一波包，一样的套路，有种屡试不爽的感觉：

看看请求这个接口需要提交的参数：

我们可以简单分析一下每个参数的含义：

area: 不用管，可以看作一个固定值
enc: 指定编码, 可以看作固定值"utf-8"
keyword: 搜索的关键词
adType: 不用管，可以看作一个固定值
page: 当前的页码
ad\_ids: 不用管，可以看作一个固定值
xtest: 不用管，可以看作一个固定值
\_: 时间戳

也就是说我们需要提交的params的内容大概是这样子的：

params = {
            'area': '15',
            'enc': 'utf-8',
            'keyword': goods\_name,
            'adType': '7',
            'page': str(page\_count),
            'ad\_ids': '291:19',
            'xtest': 'new\_search',
            '\_': str(int(time.time()\*1000))
        }

构造好需要提交的params之后，只需要利用登录后的session去请求我们抓包得到的接口：

response = self.session.get(search\_url, params=params)

然后从返回的数据里解析并提取我们需要的数据就可以啦：

response\_json = response.json()
all\_items = response\_json.get('291', \[\])
for item in all\_items:
    goods\_infos\_dict.update({len(goods\_infos\_dict)+1: 
                                {
                                    'image\_url': item.get('image\_url', ''),
                                    'price': item.get('pc\_price', ''),
                                    'shop\_name': item.get('shop\_link', {}).get('shop\_name', ''),
                                    'num\_comments': item.get('comment\_num', ''),
                                    'link\_url': item.get('link\_url', ''),
                                    'color': item.get('color', ''),
                                    'title': item.get('ad\_title', ''),
                                    'self\_run': item.get('self\_run', ''),
                                    'good\_rate': item.get('good\_rate', '')
                                }
                            })

注：爬虫部分代码仅提供思路，网站在不断更新。