uubook 后台管理系统

图表分析

  • 查看网站访问量的分析

    - 查看网站每天的访问流量(PV)趋势 (可以按照时间单位,和时间段进行筛选)
    - 查看网站每天的用户流量(UV)趋势 (可以按照时间单位,和时间段进行筛选)
    - 查看哪个连接访问是最多的 (给个排名的面板,点击面板的查看详细,可以按照时间来查看)
    - 查看全国访问的散点图
    
  • 爬虫爬取的趋势分析

    - 查看爬虫每天爬取的任务数量,以及可以查看执行的成功率
    - 查看从不同站点每天获取的数量,已经历史总的数量
    

爬虫管理

  • 爬虫任务

    - 用户可以创建爬取url连接的任务 (单次任务)
    - 用户可以创建以url或者关键词的爬虫爬取监控任务
       . 如果是基于url的话,爬虫会以这个url作为root,根据url表达式不断的深入挖掘和爬取链接
       . 如果是基于关键词的话,爬虫每天会定时地去查询百度前50条结果,然后分析抓取数据
    
  • 爬虫配置

    - 用户可以自定义,自己想要抓取的某个网站的解析规则
    例如 ,servername blog.cnblogs.com (最好是server而不是domain)
          url匹配规则 http://www.cnblogs.com/*/p/*.html
          内容配置规则 #content,#main-content(对应到页面的样式,可以使数组,以逗号隔开) content(解析到的对象字段)
          备注        博客园博文页面抓取
    

内容管理