/DoubanSpider

豆瓣电影Python爬虫

Primary LanguagePython

豆瓣电影Python爬虫

采用随机延迟执行、user-agent代理,ip代理尽量防止被反爬程序拒绝服务,适合新手练习

现有功能
  • TOP250电影
  • 全部分类电影(目前基于豆瓣api,网页还待完善)
  • 搜索(基于selenium包含豆瓣搜索,其他资源网站(最大资源网)搜索)
  • 插入数据库
  • 代理ip抓取、保存、检测