/Scrapy-Redis_Demos

Python分布式爬虫学习笔记,各种Demo同步

Primary LanguagePython

Scrapy-Redis_Demos


🐳Python分布式爬虫学习记录🐳

🍭🍭🍭👋👋👋

生命苦短,我用Python!
Python Scrapy-Redis Demos.

简易结构

学习路线

├─── Demo_ProxyHandler
│    ├── 实现代理登录
│    │    ├── CookieJar.py
│    │    ├── Cookie_login.py
│    │    ├── MozillaCookieJar.py
│    │    ├── ProxyHandler.py
│    │    ├── cookie.txt
│    │    └── renren.html
│    └── END 
│
├─── Demo_Requests
│    ├── Requests库基本用法
│    │    ├── requests_demo1.py
│    │    ├── requests_demo2.py
│    │    ├── requests_demo3.py
│    │    ├── requests_demo4.py
│    │    └── renren.html
│    └── END 
│
├─── Demo_XPath
│    ├── 结合xpath和lxml对html进行解析
│    │    ├── XPath_demo1.py
│    │    ├── demo_lxmlWithXPath.py
│    │    ├── dianping.html
│    │    ├── lagou.html
│    │    └── tencent.html
│    └── END
│
├─── douban_spider
│    ├── 【xpath解析:实战-豆瓣电影爬虫之正在上映电影数据爬取】
│    │    └── main.py
│    └── END
│
├─── dytt_spider
│    ├──  实战-电影天堂爬虫 ->最新电影->前七页全部电影信息
│    │    └── main.py
│    └── END
│
├─── Demo_BeautifulSoup
│    ├── BeautifulSoup笔记和CSS选择器在BeautifulSoup中的应用
│    │    ├── BeautifulSoup.ipynb
│    │    ├── BeautifulSoup_demo1.py
│    │    └── BeautifulSoup_demo2.py
│    └── END
│
├─── Demo_RegularExpression
│    ├── 正则表达式和re模块
│    │    ├── RE_demo1.py
│    │    ├── RE_demo2.py
│    │    └── RE_demo3.py
│    └── END
│
├─── .idea
│
├─── .gitattributes
│
├─── README.md
│
└─── END