/spider-web-system

spider-web-system

Primary LanguageJavaScript

及时雨 - 一个更快更全的新闻嗅探器

此系统是我的毕业设计,目的是给广大新闻媒体从业者提供一个更及时,覆盖面更广的新闻平台。本平台UI及体验类似百度这样的搜索引擎。只展示新闻相关的内容,点击后跳转到源网页。

模块

本系统主要包含爬虫 + web服务两个模块。

爬虫

  1. Spider类包含爬虫中的基础功能,单例爬虫继承Spider类,自定义内容链接分析函数。
  2. 根据config.json的配置,创建针对单一网站的单例爬虫。
  3. 存放进数据库。

web服务

  1. 登录注册功能。
  2. 用户根据现有网站的栏目进行个性化订阅。
  3. 新闻检索。
  4. 爬虫状态管理。
  5. 用户点击分析。

进度

  1. 完成4个新闻门户的单例Spider。
  2. 完成登录注册首页等客户端页面。
  3. 完成管理端页面框架。

维护

TODO放入ISSUES,根据ISSUE完成开发。ISSUE中需要指出TODO的具体及优先级。 希望有感兴趣的coder能加入我,构建一个完整的,具有良好体验新闻平台。