/zxcs_spider

爬取知轩藏书的玄幻小说, 并用django展示

Primary LanguagePython

zxcs_spider

爬取知轩藏书的玄幻小说, 并用django展示

使用方法

  • 初始化django数据库, 并使用爬虫积累数据
python manage.py makemigrations
python manage.py migrate
python manage.py createsuperuser
cd zxcs_spider
python spider
  • 积累数据完毕后, 使用django的后台功能查看数据结果
cd ..
python manage.py runserver
浏览器输入 127.0.0.1/admin
进入 Novels 板块查看数据

爬虫特性

  • 协程并发
  • 可拓展代理
  • 闭包requests, 完善requests功能
  • 日志记录错误

进一步拓展

  • 使用更多Djnago功能和JavaScript的逻辑
  • 这个工作当然是由你来做

不要暴力爬取

  • 知轩藏书是个好网站, 大家不要伤害他的服务器...一定要加延时