bowengithubi/bigdata-hub

数据建设与大数据技术知识体系

bigdata-hub

大数据相关的技术可以分为：传输、存储、计算三大方面

pom相关

1. 《hadoop权威指南》第4版使用的pom

• hadoop-book-pom-manager
• hadoop-pom

知识体系

• 基础重要框架

  • hadoop：HDFS、MR、YARN及高级话题、企业优化
  • hive：基础使用、优化、SQL编译过程、数据血缘、进阶、权限控制
    • hive优化
    • hive数据血缘
    • 数仓工作与建设
    • 数仓建模
  • spark：spark-core、spark-sql、streaming、优化、进阶
  • flink：flink基础知识、API、CEP、CDC、流式架构、案例实践

• 数据存储

  • hbase：核心API、进阶、与Hive和MR集成、Phoenix集成
  • kafka：命令行、API、企业级实战
  • elasticsearch
  • zookeeper

• 数据传输（数据交换、数据集成）

  • datax
  • sqoop
  • flume

• 大数据调度：满足复杂大规模作业的调度场景

  • oozie
  • azkaban
  • dolphinscheduler

• 第三方or商业集成技术

  • aliyun-bigdata：阿里云大数据（包括DataWorks、MaxCompute等）
  • dss：微众开源一站式数据平台（DataSphere Studio）
    • 计算中间件：linkis
    • 数据交换：exchangis

• 环境搭建

  • apache版本搭建
  • CDH集群搭建
  • HDP集群搭建

• 大数据建设

  • 可视化
  • 标签/指标体系
  • 数据质量
  • 混合计算

• 前沿

  • 增强性数据分析
  • 数据中台
  • 数据湖
  • 湖仓一体Lakehouse

• 其他

  • 数字化转型

程序包下载

• Apache版本： http://archive.apache.org/dist/

• CDH5单个版本： http://archive.cloudera.com/cdh5/cdh/5/

• CDH5离线包： https://archive.cloudera.com/cdh5/parcels/

• CDH6： https://archive.cloudera.com/cdh6/

• CM6： https://archive.cloudera.com/cm6/

• 清华Apache镜像： https://mirrors.tuna.tsinghua.edu.cn/apache/

学习资料

• 《离线和实时大数据开发实战》-朱松岭
• 《Hadoop构建数据仓库实践》-王雪迎
• 《Hadoop技术内幕：深入解析YARN架构设计与实现原理》
• 《spark快速大数据分析(learning-spark)》: https://github.com/databricks/learning-spark
• 《Hive性能调优实战》-林志煌
  • 笔记：01感受hive性能调优的多样式
  • 笔记：02Hive问题排查与调优思路