推特 图片 & 视频 & 文本 下载,以用户名为参数,爬取该用户推文中的图片与视频(含gif)
支持排除转推内容 & 多用户爬取 & 时间范围限制 & 按Tag获取 & 纯文本获取
目前老马加了API的请求次数限制
当程序抛出:Rate limit exceeded
即表示该账号当日的API调用次数已耗尽
if 选择包含转推:
爬完一个用户需要调用的API次数约为:总推数(含转推) / 19
elif 不包含:
会大大减少API调用次数
下载不计入次数
-
2024-05-24
- 按Tag获取支持保存文本内容
-
2024-05-11
-
支持获取纯文本推文--请直接配置text_down.py文件并运行(临时功能)
// (下方有预览) 注意,此功能会大量消耗API次数(参考上方公式),默认排除转推内容
-
-
2024-05-10
-
支持按Tag获取--请直接配置tag_down.py文件并运行(临时功能)
// 保存格式 (下方有预览):. / {#Tag} / {datetime} _ {@username} _ { md5( media_url )[:4] } . { png / mp4 }
-
-
2024-03-09
- 支持记录已下载内容,避免重复下载 (如有问题请发issue)
- 支持自动同步最新内容
-
2024-01-16
- 适配 [ 喜欢(Likes) ] 标签页
-
2024-01-10
- 新增统计数据 [ Favorite, Retweet, Reply ]
-
2024-01-05
- 适配Twieer新标签页 [ 亮点(HighLights) ]
-
2023-12-12
- 适配Twitter新API
-
2023-10-12
- 添加 生成爬取信息 功能
-
2023-10-06
- 添加 时间范围限制 功能
- 统一文件保存格式
- 文件夹:用户id (@后面的)
- 文件:推文日期-[img/vid]_下载计数.文件后缀
-
2023-09-15
- 添加 视频下载 功能
(๑´ڡ`๑) |
Linux :
git clone https://github.com/caolvchong-top/twitter_download.git
cd twitter_download
pip3 install httpx==0.23.0
#非0.23版本可能会出现不知名问题
运行 :
配置settings.json文件
python3 main.py
Windows 和上面的一样,配置完setting.json后运行main.py即可
settings.json
↑↑图是bug修复前的,仅效果参考
按Tag获取(仅媒体文件)
纯文本推文获取(仅文本)
图片下载效果
视频下载效果
生成的CSV统计