/spark_learning

My spark learning code using Scala.

Primary LanguageScala

Welcome to spark_learning

Here is my spark learning code using Scala.

主要代码在src中,包含了Scala基础和Spark的一些常用算子操作。

在src/basic中包含了Scala一些基本语法和使用。

在src/bigdata下提供了spark的一些常用操作。

目前主要包括

1、用10种方法写了最经典的word count例子

2、spark DataFrame的常用操作

3、spark SQL的操作和UDF的简单使用

4、尝试练习网上较为经典的50道SQL练习题,分别用Spark算子和SQL解决

数据在Data中,提供了一份csv数据和一个文本数据供参考使用。