/SparkDemo

spark官方提供的示例和我自己写的一些例子

Primary LanguageScalaApache License 2.0Apache-2.0

SparkDemo

spark官方提供的示例和我自己写的一些例子,streaming和sql常用作于任务批处理和任务批计算,MLlib和GraphX是机器学习和图计算和并行图计算,主要是机器学习。

开发运行环境

下载scala2.11.8和spark-2.3.1-bin-hadoop2.7

添加系统变量

SPARK_HOME   E:\SparkSource\spark-2.3.1-bin-hadoop2.7
Path    E:\SparkSource\scala\bin;%SPARK_HOME%\bin;

因为我是在windows上开发,linux下环境变量路径有差异,不知道的可以百度一下

流处理所需要的数据文件可在我的github下载