抓取并保存了v2ex的每日热点列表,按年月日保存成markdown文件。
首先clone代码到本地,然后使用pipenv安装依赖。
git clone git@github.com/w169q169/v2ex_hot_daily
cd v2ex_hot_daily
pipenv sync
pipenv run python main.py
这个脚本可以将抓取后的数据push到github或者其他远程仓库。
bash git_push.sh
# 每隔1个小时,抓取数据
00 */1 * * * cd /root/tool/v2ex-host-daily && bash get_data.sh >> /tmp/push.log 2>&1
# 每日23点的45分时,提交到github上
45 23 * * * cd /root/tool/v2ex-host-daily && bash git_push.sh >> /tmp/push.log 2>&1