/spark_study

spark源码学习

Apache License 2.0Apache-2.0

Spark Study


通过spark源码阅读,把spark内部运行逻辑用图表+文字说明的形式展现出来。 图表能够清晰表达全局的逻辑关系和细节部分

目录

  1. Graphx:构建graph和聚合消息
  2. 从SparkPi图解Spark core (hangzhou spark meetup分享过一次)
  3. spark UI源码阅读 2015.6.11
  4. 食不厌精,脍不厌细:如何一步步将kcore算法提升5倍性能 2014.12.27
  5. 图解spark repl 2016.1.12

Spark八法

@玄畅 @明风

“井中八法”一共八式,因寇仲天赋行军打仗的超卓领导才能,以兵法入刀,故各式均含用兵之道。

总纲:故善战者,立于不败之地,而不失敌之败也。是故胜兵先胜而后求战,败兵先战而后求胜,因敌而制胜。

从八个方面分析spark, 观脉络看细节。

  1. 概要
  2. Spark八法之方圆: RDD
  3. Spark八法之不攻: DAG、Lazy 进行中

微博: @时金魁