日常使用北邮人论坛时,常感觉到浏览帖子不太方便╮(╯▽╰)╭,于是就用寒假时间捣鼓了一下这个项目。
不想看废话的直接点击这里:
举个栗子:采用降序的方式浏览某个帖子,不用刷新就可以看到最新的回帖。
此处应有图~= ̄ω ̄=~,然而并没有...
当前进展到 v0.3.0+,搜索功能计划在 v0.4.0+ 实现。进展估计不会太快...
啊!啊!啊!因为简历还没写啊!摔!人家居然都已经去面试了啊!
- roadmap: 点击这里查看
已开源:github地址
另一个基于 nodeJs(superagent/cheerio/async/mongoose) 爬虫的项目 byr-crawler,爬取并整理来自 北邮人论坛移动版 的内容。目前仅开源了爬取十大部分的内容,爬取全部文章的部分还在测试开发中,主要原因如下:
- 错误处理:爬取失败的文章的再爬取。
- 代码、注释的完善。
- 一次任务中海量数据的处理(MongoDB的cursor限制了10分钟,超过时间就会断开), 目前采用stream + batchSize的方式。
- 学习使用 DBRefs:目前采用朴素的保存 _id 的方法。(这样就可以方便地展示分区列表啦)
- 更复杂的定时任务。
- 语言:JavaScript
- 框架:Meteor(一个基于nodeJs的全栈式开发框架)
- 数据库:MongoDB(一个 nosql 数据库)
- 更多技术细节请提问,或者关注我的
有时间才会写的Blog (ps 搭建服务器那篇需要大改...)
只要装了浏览器,都可以...
持续更新ing...
暂时(以后也)不支持发布内容(除了点赞),所以并没有另立山头的意思呀亲!(此外也容易被查水表)
只是校内热门内容的搬运工罢了╮(╯▽╰)╭