基于爬虫批量爬取网页美团美食评论、单视频抖音美食评论
基于python的爬虫库，使用了基本的request网页同步请求模块，利用线程池获得全国城市所有美食店的评论url链接，使用异步下载获取评论信息。
基于python爬虫库中selenium模块，使用无头浏览器模拟上网，半人工采集评论，效率较获取美团评论较低。
- 基本网页源代码分析，动态请求分析。
- 分析不同数据链接载荷中细微差异，批量获取并生成。
- 线程池+协程+异步下载
- 无头浏览器获取网页数据并下载
截至2023年8月9日，美团官网目前已经全面整改，商家数据全部被清除，本项目仅供学习参考。