/spark-demo

一些通过spark进行的数据处理的练习

Primary LanguageScala

1. 利用spark进行单词计数

2. 利用spark分析点击流日志数据PV和UV指标开发

3. 利用spark分析点击流日志数据进行URL的TopN排序

4. 通过日志信息和城市ip段信息来判断用户的ip段,统计热点经纬度

5. 编写Spark SQL程序实现RDD转换成DataFrame,DataFrame的DSL语法操作与SQL操作风格

6. 编写Spark SQL程序实现RDD转化为DataFrame,利用structtype直接指定schema

7. 编写Spark SQL程序操作HiveSql

8. 编写SparkSql从MySQL中加载数据

9. 编写SparkSql将数据写入到MySQL中