/meimiao

美秒科技任职期间所做的项目

Primary LanguageJavaScript

QiaoSuan System


README只提供有限的信息,更详细的资料请查阅WIKI

监控系统

Kue监控

任务状态监控

认证测试页

Git 分支及模块:

  • master:主分支,用于线上环境部署
  • staging:用于测试环境部署的分支
  • 任务调度模块 —— scheduler文件夹
  • 数据发送模块 —— sendServer文件夹
  • 获取用户信息模块 —— servant文件夹
  • Kue UI 监控模块 —— kueMonitor文件夹
  • 监控及一些 web 服务 —— monitor文件夹
  • 爬虫模块 —— spider文件夹

文件及文件夹作用

  • 文件夹绝大部分属于相关任务模块
  • lib —— 自己封装的模块文件夹
  • instance —— 配置文件及log文件夹
  • newStart —— 用于pm2启动的脚本存放文件夹
  • run.js —— 程序启动文件
  • node run.js -i 配置文件夹下的某个文件夹名 -a 启动文件中定义的方法名

主要模块及作用

其他技术

视频需要信息

  • author 发布者
  • platform 平台id
  • bid 帐号id
  • aid 视频(文章)id
  • title 视频(文章)标题
  • desc 视频描述
  • play_num 播放量
  • read_num 阅读数
  • forward_num 转发数
  • comment_num 评论数
  • save_num 收藏数
  • follow_num 关注数
  • support 顶
  • step 踩
  • a_create_time 视频(文章)发布时间
  • v_url 播放地址
  • v_img 头图
  • tag 标签
  • class 分类
  • long_t 时长

专辑视频需要信息

  • platform 平台id
  • bid 帐号id
  • program_list 专辑栏目列表数组(里边存储的是整个列表里的专辑信息)
  • program_id 专辑id
  • program_name 专辑名称
  • link 专辑链接
  • play_link 专辑播放链接
  • thumbnail 专辑截图
  • video_count 专辑视频数量
  • view_count 专辑总播放量
  • published 专辑创建时间
  • video_list 单个专辑里所有的视频ID存储数组

评论需要信息

  • platform 平台id
  • bid 帐号id
  • aid 视频(文章)id
  • cid 评论id
  • content 评论内容
  • ctime 评论发布时间
  • support 评论信息顶量
  • step 评论踩数
  • reply 评论回复数
  • c_user 用来存放评论者的信息对象
  • uid 评论者id
  • uname 评论者名称
  • uavatar 评论者头像

平台ID

  1. 优酷视频
  2. 爱奇艺
  3. 乐视视频
  4. 腾讯视频
  5. 美拍
  6. 今日头条
  7. 秒拍
  8. 哔哩哔哩
  9. 搜狐
  10. 天天快报
  11. 一点资讯
  12. 土豆视频
  13. 爆米花
  14. 酷6视频
  15. 北京时间
  16. 微视
  17. 小影
  18. 百思不得姐
  19. 内涵段子
  20. YY
  21. 56视频
  22. AcFun
  23. 微博
  24. 凤凰号
  25. 网易号
  26. UC头条号
  27. 芒果视频
  28. 百家号
  29. qq空间
  30. 央视网-爱西柚
  31. PPTV
  32. 新蓝
  33. 第一视频
  34. 风行网
  35. 华数TV
  36. 暴风影音
  37. 百度视频
  38. 梨视频
  39. YouTube
  40. Facebook
  41. 人人视频
  42. 点视
  43. 小米想看(spider未支持,巧发支持)
  44. 网易菠萝
  45. 火山小视频

流程图

spider-flow