princehaku/pyrailgun

Simple And Easy Python Crawler Framework，支持抓取javascript渲染的页面的简单实用高效的python网页爬虫抓取模块

NEED Python2.7 or Python3+

功能

• 支持从json文件读取抓取任务

• 支持 python字典数据源方式 定义抓取任务

• 通配符和多页码抓取

• 参数暂存和传递 深度抓取

• css选择器

• 使用requests抓取网页

• 使用webkit内核抓取网页

安装

• [从pip安装] (https://pypi.python.org/pypi/pyrailgun) pip install pyrailgun

• 源码安装 python setup.py install

语法

• json对象说明

例子

• [快速入门] (https://github.com/princehaku/pyrailgun/wiki/简单使用说明)

• [全功能简单例子] (https://github.com/princehaku/pyrailgun/blob/master/demo/tour/)

• [读取输入变量] (https://github.com/princehaku/pyrailgun/blob/master/demo/userinput/)

• [WebKit抓取] (https://github.com/princehaku/pyrailgun/blob/master/demo/webkit/)

• 在没有X的服务器上运行webkit内核抓取

贡献者

• hitmaft lekko

其他

• python2.7 是必须的

• _pages

更新

• 0.25 fix 一个crash问题

• 0.24 受版权限制，替换webbroser为自己写的版本 去除yaml的支持