「爬虫职海录」三镇爬虫

HI，朋友们好

「爬虫职海录」第三期更新啦！

本栏目的内容方向会以爬虫相关的“岗位分析”和“职场访谈”为主，方便大家了解一下当下的市场行情。

本栏目持续更新，暂定收集国内主要城市的爬虫岗位相关招聘信息，有求职和跳槽打算的小伙伴们，可以多多关注。

本期为武汉篇！

新年伊始，传说中找工作、换工作的“金三银四”马上就要到了。

这次我也从招聘网站找来了200+份当前武汉的爬虫岗位JD，整理了数据并做了一定的分析。

目前在武汉或者以后打算在武汉发展的小伙伴可要搬好小板凳仔细看啦！

尽管武汉不在一线城市之列，但作为九省通衢的中部地区城市之首，我还是用北上广深杭来进行比较。

且武汉在校大学生近170W，居全国第一，每年都会产生大量的毕业生。

而这么多的毕业生，尤其是计算机专业，对爬虫岗感兴趣或者是打算从事爬虫岗的同学，是该留在武汉，还是流向发展更好的一线城市呢？

这时候拿武汉来与其他一线城市作比较得出的数据，对同学们就具有一定参考意义了。

（各大城市当前爬虫工程师岗位收入）

从上边可以看到，目前武汉的爬虫工程师们，平均收入为11207元，收入中位数是10500元。

同时我找来了武汉市统计局已公布的官方数据：2022年武汉市城镇单位在岗职工年平均工资103308元。(2023年数据尚未公布)

也就是月均8609元。假设按5％的年增速来看，那么2023年武汉市城镇在岗职工的平均月收入大致就是9039元左右。

武汉的爬虫岗薪资虽然低于北上广深杭，但毕竟是IT行业，还是跑的赢当地社会平均收入的。

工资较低的同时，生活成本也相对较低，这就看大家怎么取舍了。

（各大城市当前爬虫工程师岗位需求）

但爬虫岗的岗位数量，确实是远远落后。目前BOSS直聘上显示在招爬虫岗的公司不过百十家，初中高级的岗位共计也就两百左右。

所以若是想找到一份在薪资待遇、职业发展、通勤时间、工作强度各方面都符合自己要求的爬虫工作，还是比较不容易的！

下边我们再看看当下的实际招聘薪资。

（广州当前爬虫岗位招聘薪资）

招聘信息上挂出的薪酬，月薪大多在5~10K，10~15K这两个区间内，合计占据了全部爬虫岗的三分之二，这基本也代表了大部分爬虫工程师在初级岗和中级岗能拿到的薪资收入。

老样子，K哥在收集招聘信息时，顺便为大家整理了一些关键词，包括公司行业、公司规模、岗位title、技能标签、学历要求、福利待遇等方面，兄弟们可以瞅瞅。

（武汉爬虫岗位招聘信息词云图）

可以看到，“python”、“20~99人”、“本科”、“带薪年假”、“爬虫”、“大专”、“1~3年”这些词在招聘jd里高频出现，反映了大部分公司当前的招聘情况。

(这里提醒一下大家，武汉的公司也许加班没那么多，但双休和公积金缴纳情况，相当堪忧)

K哥锐评—城市&岗位

wu han

岗位情况：★★（2）

武汉的爬虫岗数量只有北京的1/8，也远低于其他一线城市，岗位竞争压力相对较大。

但另一方面，工作经验在3年内就符合条件的岗位占比达到三分之一，武汉对初级或者刚毕业的爬虫工程师还算友好。

薪酬水平：★★★（3）

武汉的爬虫岗工资是高于当地社会平均收入的，虽不及一线城市，但生活成本也相对较低，工作几年后能够拿到一份每月过万的薪水，生活是不至于过的太差的，还能稍有盈余。

城市魅力：★★★（3）

一方面武汉每年都会涌进大量的年轻人，还算是一座比较年轻化的城市。

另一方面武汉具有得天独厚的地理位置优势，不管你籍贯何处，回家都不会太远。

尽管收入和岗位并不占优，但也只是相对几座一线城市而言，况且并不是所有人能接受一线城市的压力和“内卷”。

综合得分：★★★★★★★★（8）

工资水平是选择城市&岗位的重要标准，但不会是唯一标准。

若你喜欢热情滚烫的风土人情，大江大湖的地理禀赋，那么武汉也许会适合你！

武汉丨爬虫岗位

（以下岗位为随机列举，信息来源——BOOS直聘）

01 集度

-1000-9999人

-互联网 AI 汽车

地址｜武汉洪山区国采中心T3

Spider工程师

15-25K·16薪

职位详情：
1.负责爬虫系统的架构设计与研发，管理分布式爬虫服务器，开发任务调度引擎；
2.负责指定网页或APP的定向爬取以及内容的抽取和去重等分析工作
3.负责爬虫核心算法的策略优化和研究，提升爬虫抓取效率和质量
任职要求：
1.熟悉Python/PHP/JavaScript等脚本语言中至少一种；
2.熟悉html/css/xpath等常用的web知识和正则表达式
3.有分布式爬虫系统的开发、架构经验，至少熟悉并使用过一种主流的爬虫架构，如Scrapy、Gocolly、Webmagic等优先；
4.熟悉Linux系统环境和Mysql、Redis、MongoDB等数据库。
其他：
上午09:30 - 下午06:30
双休、弹性工作

02 超越芯科技

-100~499人

-电子/半导体/集成电路

地址｜武汉洪山区铭丰大厦1510

python爬虫开发工程师

11-18K·13薪

职位详情：
1.负责相关网站、论坛、app的爬虫设计和开发，以及策略持续优化；
2.分析项目的可行性和数据采集方案，负责核心算法的策略优化研究，充分利用资源，避免限制；
3.参与开发数据采集程序，对目标站点/app进行结构化和非结构化数据数据分析，并对数据抓取，对各种目标数据进行信息提取、清洗、去重、整理及优化；
4.不断完善数据采集框架，对框架进行优化和改进；
5.参与数据分析处理流程、数据分析汇总报告的设计与开发；
6.优化和管理入库的数据。
任职要求：
1.专科及以上学历，计算机软件或相关专业，3年及以上python开发经验；
2.掌握爬取的各类实现方式和技术细节，包括不限于：熟悉常见的反爬策略、掌握网络协议分析（http1.1/http2等）、有JavaScript反爬/逆向（AST）、APP反爬/逆向等；
3.掌握tls指纹ja3,能够对抗akamai，PerimeterX，cloudflare风控优先；
4.掌握网络爬虫开发原理，熟悉互联网各种类型数据交互模式，熟悉TCP/IP、HTTP、HTTPS等网络协议，熟悉web前端；
5.熟悉使用python主流爬虫框架，有分布式爬虫经验；
6.熟练掌握正则表达式、XPath等信息抽取技术；
7.熟悉Redis、Mysql、MongoDB等常用的数据库；
8.具有较强的分析和解决问题的能力；
9.具备良好的沟通能力和团队协作能力。
其他：
上午09:30 - 下午06:30
双休、不加班