/Python3-Spider-Practice

Python3 各种爬虫实战练习,JS 逆向、反反爬、验证码处理、登录签到抽奖、数据可视化,Python 3 practice of various spiders.

Primary LanguageJavaScript

Python3 Spider Practice —— Python3 爬虫实战练习


CSDN 爬虫实战专栏    个人博客爬虫实战专栏

BLOG URL    CSDN URL    Zhihu URL    MAIL    GitHub followers    GitHub Repo stars

Python3 Spider Practice 微信公众号:K哥爬虫

关于 💡

  • ❗ 主要保存了本人在学习爬虫过程中写的代码,稍微复杂一点的在我博客里面有写分析过程,比较简单的项目,分析思路会直接写在 README 里面。

  • ❗ 项目中部分代码可能已失效,原因可能是反爬措施更新、页面结构发生变化等,失效的可以提 issue,有时间会更新代码。

  • 本仓库中所有内容仅供学习交流,严禁用于商业用途、非法用途,否则由此产生的一切后果均与作者无关,在本仓库中下载的文件学习完毕之后请于 24 小时内删除。

分类 🏷️

  • Material:爬虫相关资料,均从互联网收集;

  • AutomationTool:使用自动化工具进行数据采集、验证码处理等;

  • BasicTraining:基础训练,一般是比较简单的爬虫;

  • CommentPlugin:针对各大评论插件的爬虫,如 Facebook 评论插件等;

  • FightAgainstSpider:针对常见的反爬虫手段的爬虫,如字体加密等;

  • JSReverse:JS 加密解密、JS 逆向相关文章,重点关注逆向解密过程;【可以关注 K 哥爬虫 同步更新】

  • SignIn:针对各种签到、抽奖的爬虫;

  • SpiderDataVisualization:爬虫与数据可视化,如 COVID-19 数据可视化等。

目录 📑

目标 / 文章 代码
BasicTraining 基础训练
安居客武汉二手房【Beautiful Soup、CSV】 anjuke
豆瓣电影TOP250【Xpath、正则表达式、CSV】 douban-top250
瓜子全国二手车【Cookie、XPath、MongoDB】 guazi
虎扑论坛步行街【Beautiful Soup、MongoDB】 hupu
猫眼电影TOP100【lxml、Xpath、CSV 】 maoyan-top100
AutomationTool 自动化工具
模拟登陆哔哩哔哩【滑动验证码、Selenium】 bilibili-login
模拟登陆12306【点触验证码、Selenium】 12306-login
SpiderDataVisualization 数据可视化
前程无忧招聘信息【MongoDB、Numpy、Pandas、Matplotlib】 51job
COVID-19 肺炎疫情数据实时监控【openpyxl、pyecharts、wordcloud】 COVID-19
SignIn 签到抽奖
CSDN 自动签到抽奖【GitHub Actions、钉钉、企业微信机器人】 csdn-sign-in
CommentPlugin 评论插件
Facebook 评论插件、留言外挂程序 facebook-comments
Vuukle 评论插件 vuukle-comments
FightAgainstSpider 反反爬
58同城武汉出租房【网站加密字体、MySQL】 58tongcheng
JSReverse JS 逆向
JS 逆向百例
【爬虫知识】浏览器开发者工具使用技巧总结 \
【爬虫知识】爬虫常见加密解密算法 \
【JS 逆向百例】百度翻译接口参数逆向 fanyi_baidu_com
【JS 逆向百例】有道翻译接口参数逆向 fanyi_youdao_com
【JS 逆向百例】建筑市场监管服务平台企业数据 jzsc_mohurd_gov_cn
【JS 逆向百例】当乐网登录接口参数逆向 oauth_d_cn
【JS 逆向百例】房天下登录接口参数逆向 passport_fang_com
【JS 逆向百例】37网游登录接口参数逆向 www_37_com
【JS 逆向百例】层层嵌套!匀加速商城 RSA 加密 www_15yunmall_com
【JS 逆向百例】转变思路,少走弯路,小米加密分析 account_xiaomi_com
【JS 逆向百例】元素ID定位加密位置,天凤麻将数据逆向 tenhou_net
【JS 逆向百例】复杂的登录过程,最新微博逆向 weibo_com
【JS 逆向百例】无限debugger绕过,三河市政务网站互动数据逆向 zwfw_san-he_gov_cn
【JS 逆向百例】DOM事件断点调试,中烟新商盟登录逆向 应版权方要求已删除
【JS 逆向百例】XHR 断点调试,Steam 登录逆向 store_steampowered_com
【JS 逆向百例】如何跟栈调试?某 e 网通 AES 加密分析 web_ewt360_com
JS 逆向之 Hook,吃着火锅唱着歌,突然就被麻匪劫了! \
【JS 逆向百例】Fiddler 插件 Hook 实战,某创帮登录逆向 m_wcbchina_com
【JS 逆向百例】浏览器插件 Hook 实战,亚航加密参数分析 www_airasia_com
爬虫逆向基础,理解 JavaScript 模块化编程 webpack \
当爬虫工程师遇到CTF丨B站1024安全攻防题解 \
【JS 逆向百例】webpack 改写实战,G 某游戏 RSA 加密 www_gm99_com
【JS逆向百例】某音乐网分离式 webpack 非 IIFE 改写实战 www_kuwo_cn
爬虫逆向基础,认识 SM1-SM9、ZUC 国密算法 \
【JS 逆向百例】医保局 SM2+SM4 国产加密算法实战 fuwu_nhsa_gov_cn
【JS 逆向百例】某易支付密码 MD5+AES 加密分析 epay_163_com
【JS 逆向百例】cnki 学术翻译 AES 加密分析 dict_cnki_net
【JS 逆向百例】Ether Rock 空投接口 AES256 加密分析 etherrock_ne
【JS 逆向百例】你没见过的社会主义核心价值观加密 www_appmiu_com
【JS 逆向百例】反混淆入门,某鹏教育 JS 混淆还原 learn_open_com_cn
【JS 逆向百例】W店UA,OB反混淆,抓包替换CORS跨域错误分析 d_weidian_com
【JS 逆向百例】WebSocket 协议爬虫,智慧树扫码登录案例分析 passport_zhihuishu_com
【JS 逆向百例】网洛者反爬练习平台第一题:JS 混淆加密,反 Hook 操作 spider_wangluozhe_com_challenge_1
【JS 逆向百例】网洛者反爬练习平台第二题:JJEncode 加密 spider_wangluozhe_com_challenge_2
【JS 逆向百例】网洛者反爬练习平台第三题:AAEncode 加密 spider_wangluozhe_com_challenge_3
【JS 逆向百例】网洛者反爬练习平台第四题:JSFuck 加密 spider_wangluozhe_com_challenge_4
【JS 逆向百例】网洛者反爬练习平台第五题:控制台反调试 spider_wangluozhe_com_challenge_5
【JS 逆向百例】网洛者反爬练习平台第六题:JS 加密,环境模拟检测 spider_wangluozhe_com_challenge_6
【JS 逆向百例】X球投资者社区 cookie 参数 acw_sc__v2 加密分析 xueqiu_com
【JS 逆向百例】PEDATA 加密资讯以及 zlib.gunzipSync() 的应用 max_pedata_cn
某空气质量监测平台无限 debugger 以及数据动态加密分析 www_aqistudy_cn
【JS 逆向百例】HN政务服务网登录逆向,验证码形同虚设 www_hnzwfw_gov_cn
【JS 逆向百例】吾爱破解2022春节解题领红包之番外篇 Web 中级题解 \
RPC 技术及其框架 Sekiro 在爬虫逆向中的应用,加密数据一把梭! \
深度剖析 JA3 指纹及突破 \
【JS 逆向百例】拉勾网爬虫,traceparent、__lg_stoken__、X-S-HEADER 等参数分析 www_lagou_com
华强电子网登录 passport_hqew_com
学易云登录 passport_xueyiyun_com
天安保险登录 tianaw_95505_cn
宁波大学登录 uis_nbu_edu_cn
航班管家人口流动大数据 unicom_trip_133_cn
惠金所登录 www_hfax_com
咪咕视频登录 www_miguvideo_com
企名片创业项目数据 www_qimingpian_cn
**移动掌上门户登录 wap_10086_cn
**联通网上营业厅登录 uac_10010_com
**电信网上营业厅登录 login_189_cn
爱应用登录 www_iappstoday_com
360 登录 i_360_cn
1号店登录 passport_yhd_com
魅族登录 login_flyme_cn

交流群💬

K哥爬虫交流群