/XMQ-BackUp

知识星球（原小密圈）备份，圈子/话题/图片/文件。

Primary LanguagePythonMIT LicenseMIT

XMQ-BackUp

小密圈备份，圈子/话题/图片/文件。

2017年7月25日，小密圈官方微博以及微信公众号发出公告，由于“技术升级”，改名为“知识星球 ”。我在原作者代码上更改了域名以及api版本信息。

api version v1.10

Usage

  1. 安装 chromedriver

仅用于自动登录，如果你愿意自己抓包，则不需要安装

  • brew install chromedriver
  • 或前往官网/镜像下载
    • 将包含可执行文件的目录添加至环境变量
    • 或设置settings.py/CHROME_DRIVER_PATH为完整执行路径
  1. 安装 XMQ-BackUp
git clone git@github.com:Lodour/XMQ-BackUp.git
cd XMQ-BackUp
mv xmq/settings.exammple.py xmq/settings.py
virtualenv env -p python3.5
source ./env/bin/activate
pip install -r requirements.txt
  1. 运行
  • scrapy crawl backup
  • 手动指定token及User-Agent
    • 浏览器端登录后抓包获取request headers中的authorization和User-Agent字段
    • 在xmq/settings.py末尾将其设置为XMQ_ACCESS_TOKEN和XMQ_USER_AGENT  

Note

  • phantomjs渲染所得到的access_token不合法，所以换成了chromedriver
  • virtualenv下使用scrapy有问题的请参照这里
  • 如果你的浏览器版本有更新，是需要重新设置UA的。
  • 欢迎交流