抖音、快手、哔哩哔哩、小红书、淘宝、京东、微博平台爬虫服务器项目。它可以获取这些平台上的公开信息,但请遵守下方的的免责声明。
本项目的初衷是为了帮助开发者更好地了解和掌握这些平台,也希望能帮助企业和安全工程师了解爬虫手段,提高平台的反爬虫措施,而不是用于非法用途,反对用于任何违反相关法律法规的行为。
仅供学习和研究使用,不得用于任何商业用途或非法目的。使用本项目提供的功能时,用户需自行承担可能带来的一切法律责任。
我们提供的爬虫仅能获取抖音,快手、哔哩哔哩、小红书、淘宝、京东、微博平台上公开的信息,我们强烈反对任何形式的隐私侵犯行为。如果你使用本项目进行了侵犯他人隐私的行为,我们将与你保持距离,并支持受害者通过法律手段维护自己的权益。
使用本仓库的内容即表示您同意本免责声明的所有条款和条件。如果你不接受以上的免责声明,请立即停止使用本项目。
如有侵犯到您的知识产权、侵犯到您的个人隐私等,请立即联系我们, 我们将积极配合保护您的权益。
如有任何问题,可联系我的邮箱 lishilong0101@gmail.com 。
-
准备好python
-
准备好js运行环境
curl -fsSL https://deb.nodesource.com/setup_20.x | sudo bash - sudo apt-get install -y nodejs
-
执行下列命令
cd Crawler make run
可选,通过
port
、thread
参数指定端口(默认8080)和线程数(默认4)。 -
查看日志
日志默认存放在
.log/
目录下,access.log
和error.log
为访问日志和错误日志,crawler.log为爬虫日志。
-
一键启动
sudo docker run -d --name crawler -p 8080:8080 shilongli0101/crawler
可选,通过
docker
环境变量THREADS
指定线程数(默认4)。 -
查看日志
sudo docker exec -it crawler /bin/bash cat .log/crawler.log # access.log error.log
首次使用需添加账号,例如:调用http://localhost:8080/{platfrom}/add_account
添加账号,platfrom取douyin
、kuaishou
、bilibili
、xhs
、taobao
、jd
、weibo
,接口详情请参考API 文档。
然后在你的代码中调用API,获取公开的信息。
API文档:API 文档
- Bilibili
- 小红书
- 微博
- 抖音全面更新a_bogus
- 淘宝详情、评论功能
- 京东详情、评论功能
更新记录:更新记录
- 如果该项目对你有帮助,star一下 ❤️❤️❤️
如果你有任何想法或者建议,欢迎提交issue或者pull request。
本项目遵循非商业使用许可,详情请见LICENSE文件。
注意: 本项目不承担用户因违反这些使用条件而产生的任何直接或间接的损失或责任。