[问题]爬取列表页API的场景

[a157147899]

如题，目前使用的是实体配置的方法，然后有一个产品列表页API返回JSON数据（带分页），其中页码会通过URL传入(如：api.com/product/?page=1)，API返回数据中包含总页数字段。

请问如何自定义处理去识别这个总页码字段，继而添加新的请求，类似于‘FollowRequestSelector’ 的效果。

感觉如果必须先请求一次API获取总页数来循环创建Request对象的做法有些不太理想。

[zlzforever]

DataParser 里其实可以任意定制逻辑的。也可以addRequest

[a157147899]

感谢！