ramsayleung/jd_spider

使用scrapy-splash渲染javascript

Closed this issue · 3 comments

使用scrapy-splash渲染javascript

可否描述一下你的问题呢,你只是发一个标题,我真的不知道你想要做什么?

安装scrapy-splash:

$ pip install scrapy-splash

爬取前开启splash:

$ docker run -p 8050:8050 scrapinghub/splash

settings.py中:
加入splash服务器地址 SPLASH_URL = 'http://127.0.0.1:8050'
并启用splash中间件(也就是将

DOWNLOADER_MIDDLEWARES = {
...
}

变为以下:)

DOWNLOADER_MIDDLEWARES = {
    'scrapy_splash.SplashCookiesMiddleware': 723,
    'scrapy_splash.SplashMiddleware': 725,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
}

并且将SplashDeduplicateArgsMiddleware加入SPIDER_MIDDLEWARES

SPIDER_MIDDLEWARES = {
    'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
}

在spider.py中:
yield Request(url, self.parse_result)改为

yield SplashRequest(url, self.parse_result,
    args={
        # optional; parameters passed to Splash HTTP API
        'wait': 0.5,

        # 'url' is prefilled from request url
        # 'http_method' is set to 'POST' for POST requests
        # 'body' is set to request body for POST requests
    },
    endpoint='render.json', # optional; default is render.html
    splash_url='<url>',     # optional; overrides SPLASH_URL
    slot_policy=scrapy_splash.SlotPolicy.PER_DOMAIN,  # optional
)

上面不懂的话,改为

yield SplashRequest(url, self.parse_result,
    args={
        'wait': 0.5,#结果不全或者没结果的话,加大这个值
    }
)

就能在http://你的服务器外网ip(如果在本机部署的话就是127.0.0.1):8050初步看到结果了
其余蜘蛛代码简单情况下可以不变

你能否表述一下你的问题呢?使用 scrapy-splash 干什么,解决了什么问题,和现在这个项目有什么相关的东西?