monkey-soft/MoivesSpider

question

Opened this issue · 2 comments

请问如何限制爬取电影的数量呢?

请问如何限制爬取电影的数量呢?

@young2333 限制爬取电影数量,这个需要对代码进行改造下。大体思路是:TopWorkThread 类中增加判断 TaskQueue 中的 contentQueue 的大小逻辑。因为程序用到多线程,需要要考虑到线程安全,建议加个 锁。

另外补充下这几个类的作用:

  • middleQueue
    middleQueue 是一个队列,里面存放着带有电影详情页的电影分页的 url 地址。每个 url 地址(电影分页)有 25 部电影。

  • TopWorkThread
    TopWorkThread 的作用是依次从 middleQueue 中的获取一个 url 地址,然后访问该 url 地址。从返回结果中,解析出 电影详情页的 url 地址,然后存储到 ContentQueue 中。

好的,谢谢回复