本仓库课程笔记来自互联网，相关资料均是公开。
首先从为什么需要爬虫开始，通常所讲的爬虫就是网页爬虫。
想要知道最新一个商品价格,最新的新闻视频以及相关评论我们可以手动点开网址去浏览网页上的内容。
但是你同时想知道100个商品价格，100个电影的评论那就要依赖爬虫技术。
最大的爬虫就是搜索引擎，因为他要去收集互联网所有网页的数据资料。做一个存储，然后你才能百度一下搜到你想要的东西。
所以爬虫就是发起网络请求，只不过是有目标的访问并且将返回的数据采集存储起来。
近年来APP移动端的流量已经成为主流入口，对比上