- 确定是单个值使用get()
- 可能存在多个值的一律使用getall()
- 值不能为NoneType，需使用空字符串''替换None
| 中间件 | 所在模块 | 作用 |
|---|---|---|
| ProxyMiddleware | proxy.py | 设置代理 |
| SplashArgsMiddleware | splashargs.py | 设置splash常用的参数 |
| HtmlUnEscapeMiddleware | unescape.py | 反转义HTML转义字符 |
| 中间件 | 所在模块 | 作用 |
|---|---|---|
| StripAllMiddleware | strip.py | 去除内容前后空白 |
| SpliceCategoryMiddleware | splice.py | 拼接category |
| SpliceListMiddleware | splice.py | 拼接列表字段 |
| GenerateSkuMiddleware | genku.py | 生成sku及库存 |
| ProcessSpecialCharMiddleware | special.py | 处理特殊字符 |
| 管道 | 所在模块 | 作用 |
|---|---|---|
| FilterBrandPipeline | pipelines.py | 过滤违禁品 |
| MysqlPipeline | pipelines.py | 数据存放到mysql数据库 |
| AioMysqlPipeline | pipelines.py | mysql异步支持 |
数据库所需的信息
add db_info.json to ～/resource
{
"host": "host",
"user": "username",
"password": "password",
"database": "database"
}代理相关
add proxy.json to ～/resource
{
"proxy_url": "ip:port",
"splash_url": "ip:8050"
}违禁品清单
disallow_brand.txt