/spark-sandbox

Experiments made with Spark

Primary LanguageJava

Comptage des arbres dont la hauteur est non-nulle

Cf. http://aseigneurin.github.io/2014/10/29/introduction-apache-spark.html

  • Télécharger les données avec le script data/get-arbres.sh
  • Lancer la classe TreesSample1

Calcul de la hauteur moyenne des arbres

Cf. http://aseigneurin.github.io/2014/11/01/initiation-mapreduce-avec-apache-spark.html

  • Télécharger les données avec le script data/get-arbres.sh
  • Lancer la classe TreesSample2

MapReduce et manipulation par clés sur les stats Wikipedia

Cf. http://aseigneurin.github.io/2014/11/06/mapreduce-et-manipulations-par-cles-avec-apache-spark.html

  • Télécharger les données avec le script data/get-wikipedia-pagecounts.sh
  • Lancer la classe WikipediaMapReduceByKey