writing-spark-from-scratch

本项目依据spark源码的Master分支,经过阅读研究后,想对底层实现进行深入探究,从零开始自己编写实现。全部标有中文注释。 主要涉及:多节点通信协作,任务调度分发,分布式计算范式map、reduce等操作算子

目录

  • core: spark核心代码 其中resources中包含一些比较复杂逻辑的序列图(plantUML)
  • akka-learning: 涉及到akka的相关知识内容
  • scala-learning: 涉及到scala的相关知识内容