注意!
1.本项目仅供学习研究,禁止用于任何商业项目
2.运行的时候为被爬方考虑下!尽量不要爬全站。请在配置文件中设置你需要的城市爬取即可!
如果你是一个正准备逃离北上广等一线城市却又找不到去处的IT人士,或许这个项目能给你点建议。
或许你跟我一样困惑,为此我通过爬虫抓取了智联招聘跟链家这2个平台的全部数据。最终拿到了18W+全国各个城市的招聘数据与81W+全国各地的房屋成交记录数据。
其中,招聘数据我抓取了工作年限,公司名称,公司规模,公司类型,工作类型,创建时间,工作名称,结束时间,教育情况,薪资字段。
职位我使用了['php', 'java', 'python', 'c/c++', 'c#', 'mysql', 'oracle', 'javascript', 'linux', 'SQL', '软件', '程序员']作为关键词搜索。基本上涵盖了程序猿们绝大部分工作
对应房屋成交记录,我抓取了成交时间,成交价格,每平米均价,地址字段。
首先,房价和薪资都没法代表一个地方的生活成本情况。因此我使用了(月薪/每平米房价)的倒数值来表示一个城市的生活成本。这个值越大,表明这个地方的生活成本越高。结果如下图
结果很明显了,如果你想去一个安稳生活的地方,这个表中前几的城市都不错,买房压力较低,并且我相信经常逛Github的程序猿肯定都是平均薪资几倍的收入。反之,如果你想挑战人生的地狱模式,emmmmm
首先,我计算了各个城市的平均薪资情况,为什么不包含博士学历呢?因为智联上面写明要博士的职位很少(硕士其实也不多,只有几百的量),抓下来每个城市都是几十的量,这种数据不具有统计意义如下:
可见,硕士的薪资跟本科比并没多大差距。另外,别小看了拉萨,拉萨的薪资并不低,但是方差特别大,说明如果你愿意去拉萨,其实你的薪资会很高,平均薪资低是因为有很多1000 2000的工作拉下去的
其他都是意料之中的了
其实,平均值并没有多大参考意义,因为被平均的东西太多了,比如工龄就是很重要一个,于是我又取了各工龄的情况,如下
对于一个地方是否合适自己发展,房价非常重要,于是我也分析了各个城市的房价数据。
其次,也来个近10年房价的走势图吧
似乎有个大致规律,上半年涨,下半年跌。
这应该是你在Github上能找到的运行最简单的爬虫项目! 如果你想要运行这个项目,在releases里面下载你需要的操作系统平台,修改配置文件,双击运行,搞定!
1.Go语言重构后目前只写了链家和智联招聘的爬虫,自如的还没写
2.有空再加一些其他网站的数据进来
3.加入租房数据,计算各个城市的租售比
为了能够在树莓派(没错,我就是拿树莓派跑爬虫服务的)上面有更好的运行效率,使用了Golang语言重构了整个项目,数据库换为MongoDB
爬取数据源修改:链家改为爬取二手房数据,而不是以前的二手房交易记录