/xqiu-spider

自制爬虫框架:抓取雪球stock实时价格数据

Primary LanguagePython

xqiu-spider

抓取雪球stock实时价格数据

  • 实现了实时抓取stock数据,

  • mysql database、table自动创建,

  • 按股票代码生成mysql的table,

  • 每60秒抓取一次,存入mysql,

  • 登陆获得cookie,

  • 伪头设置,

  • json数据解析,

  • 加入logging系统,

todo:

  • 加入proxy代理,