用Scrapy爬取www.ycgkja.com所有分类的图片，并根据分类以及写真集名称实现分目录存储。
首页 --> 12个category --> 每个category的所有写真集(里面有分页) --> 每个写真集的图片(获取每个页面的图片url) --> 图片分目录下载
如图所示：
对于每一个分类，获取到的数据如下：
- category: 写真集分类
- url: 写真集每张图片的url链接
- title: 写真集标题
- update_time: 更新时间
- click_amount: 点击量
- tags: 标签
- content: 写真集简介
针对于爬取到的数据，这里只对下面的三个字段进行处理，category和title进行创建目录，根据url对图片进行下载。 (如果要在本机运行此示例代码，注意修改下对应的文件路径，settings.py中的IMAGES_STORE)
- response.meta 传值发生覆盖
在处理的时候发现response.meta传值的过程中发生了覆盖，把所有的图片都存入了一个目录中。 错误原因：二者公用的是同一个内存地址，使用深拷贝来拷贝内存地址，这样可以避免上面的错误。
- 点击量获取
在代码解析的过程中，点击量不能获取到，看了下代码结构，发现那是通过js动态响应的值，所以在这里加了个从js中获取值的解析。
MySQL数据库中存储的是获取到的7个字段，存储到本地。
数据库的创建语句已经给出了，里面的SQL已经测试通过。下面是写SQL的过程中遇到的问题。
- not all arguments converted during string formatting
执行insert的时候前后字段数量不一样
- Error 1064
MySQL语法错误
预计总共有6万张左右的照片需要下载，下面是在本地win7系统测试的结果。
- 图片下载速度
如下图所示，这里下载了部分图片，耗时大约6个小时，所以6万张图片如果全部都存储到本地，则大约耗时18小时左右。（预计如果在Linux或者Mac上面速度可能会更快）
- MySQL数据存储速度
下面发送邮件目录的图片中有爬取耗时，爬虫内部自动记录了爬虫开始的时间以及结束时间。不过观察这两个时间发现，并不与本地的时间（北京时间）一致，所以估计应该是UTC时间。
- MySQL数据存储以及图片下载
如果说把代码全部放到一起的话，预计爬取耗时会在一天左右，毕竟图片下载相对比较耗时。
当爬取结束以后，通过发送邮件提示爬虫已经爬取结束，邮件内容为Scrapy内置的内容，并没有进行修改。
发送邮件只需要配置settings.py文件的相关字段即可，其它地方没有进行修改。
修改配置如图：
爬虫代码结束后邮件内容如图所示：
