qinxuye/cola

在parser中获取网页html信息时卡住出不来

tottilin opened this issue · 0 comments

之前是抓取pinterest网站的数据,大概重现需要五个小时,所以在您的帮助下,开启一个daemon线程去openUrl,到期报错来打断(使其不被卡住)。
现在在抓取tumblr,发现很容易出现这种情况几分钟就出来一次