/SuperBigData

大数据全栈学习【生态组件,技术栈,数据流,数据仓库,数据库,指标体系,血缘关系,元数据管理,数据质量,DataWorks,Hadoop,Spark,Flink,面试,笔记文档,实战练习,公共脚本,常用Shell脚本,Java,Scala,离线,实时,采集,计算,存储,可视化】

Primary LanguageShell

SuperBigData

大数据全栈学习【又名超级大数据项目】

大数据架构图

https://github.com/al1020119/SuperBigData/blob/master/.images/大数据平台架构图v3.5.png

大数据数据流

https://github.com/al1020119/SuperBigData/blob/master/.images/架构.jpg

模块

1. collection【生态组件集合模块】
2. apache-spark【Spark模块】
3. apache-flink-java【Flink Java模块】
4. apache-flink-scala【Flink Scala模块】
5. compute【计算层】
6. storage【存储层】
7. visual【可视化层】
8. warehouse【数据仓库】
9. services【服务模块】
10. off-line【离线模块】
11. real-time【实时模块】
12. common【公共模块】
13. producer【生产者】