/IT_Orange

:rainbow:Multiprocessing多进程爬取IT桔子网站的10万+公司信息

Primary LanguagePython

多进程爬取IT桔子网站的10万+公司信息 enter image description here

IT桔子官网 - https://www.itjuzi.com/

Author 😎Henryhaohao😎
Email ♥️1073064953@qq.com♥️

🐬声明

软件均仅用于学习交流，请勿用于任何商业用途！感谢大家！

🐬介绍

  • 项目介绍:该项目为爬取IT桔子10万+公司信息
  • 爬取内容:通过IT雷达**公司信息展示平台，爬取了101865家公司信息（包括公司名、logo、城市、上市情况、融资情况等）
  • 爬取方式:我爬取时刚注册赠送了会员,可以查看后面页数的公司信息,而目前由于IT雷达需要会员注册方可查看后面页数的公司,所以此代码需带入会员的登录cookie才可行
  • 运行方法: 直接运行Spider目录下的main.py即可
  • 数据截图:

    • enter image description here

    • enter image description here

🐬运行环境

Version: Python3

🐬存储数据库

MongoDB

🐬安装依赖库

pip3 install -r requirements.txt

🐬总结

最后，如果你觉得这个项目不错或者对你有帮助，给个Star呗，也算是对我学习路上的一种鼓励！
哈哈哈，感谢大家！笔芯~💘💘