480284856/Lagou_NLP_Crawl

爬取拉钩上关于NLP岗位的信息，了解现在公司都需要什么技能的人才。

main.py: 爬取代码

主要需要修改的地方：

# 修改为你的电脑的edge浏览器的启动的地方，主要是改那串数据
options.binary_location = r'C:\Program Files (x86)\Microsoft\EdgeCore\106.0.1370.42\msedge.exe'
# executetable_path修改为你下载的edge驱动器的路径，百度搜索edge driver即可下载，要注意于浏览器版本号对应
driver = Edge(options=options,executable_path=r'X:\Code\Scrapy\Crawl\edge_driver\msedgedriver.exe')
# 修改你想要爬的职位的，把最后的kd=NLP改为kd=xx即可
driver.get('https://www.lagou.com/wn/jobs?labelWords=&fromSearch=true&suginput=&kd=NLP')

修改完成后，直接运行，结果在当前目录下的database.txt里面

data ananlyze: 里面有我爬好的数据以及词云图