通过爬取智联招聘网站获取有关python职位的信息。(基于python3.5)
爬虫文件,运行后会生成demand.txt
,location.txt
,treatment.txt
,salary.txt
四个文件用于之后的分析,在运行过程中也会保存到Mongo数据库。
对保存的txt文件分词并统计出现次数。
根据词频统计生成词云。
- pymongo
- requests
- pyquery
- matplotlib
- wordcloud
- jieba
pip3 install -r requirements.txt