列表页面和详情页面分成两个DataFlow
Chfei1 opened this issue · 3 comments
Chfei1 commented
循环完所有列表页面才会执行到详情页面。怎么写才可以抓取完当前分页列表 继续抓取当前分页下的详情，然后再继续下一页。
songyunhmiLY commented
我是做成2个spider，处理列表内容的时候再spider.run，不知道是否合理
zlzforever commented
Scheduler 可以配置深度优先，广度优先
Chfei1 commented
Scheduler 可以配置深度优先，广度优先
Ok 谢谢