crawl facebook article spider using go language
- 框架搭建，技术选型colly
- csv读取，格式化
- 爬虫的header头封装
- colly乱码问题，Accept-Encoding问题
- 模拟登陆，Post登录Content-Type问题
- 登陆后保持cookie，redis持久化
- cookie过期的情况
- 抓取post，更多的问题，递归调用
- 抓取comment，更多，递归
- 随机refer，随机user-agent，随机事件抓取
- facebook的时间格式化
- 评论的回复抓取
- 定时任务
- 国际化