内容:运行原理,RDD设计,DAG,安装与使用 第1章 Spark的设计与运行原理(大概了解) 1.1 Spark简介 1.2 Spark运行架构 1.3 RDD的设计与运行原理 1.4 Spark的部署模式 第2章 Spark的安装与使用(主要内容) 2.1 Spark的安装和使用 (如果想在window上安装,参考https://blog.csdn.net/SummerHmh/article/details/89518567,之后可以用pyspark或者jupyter上进行学习)(地址有问题,可以使用这个https://www-eu.apache.org/dist/spark/spark-2.4.3/) 2.2 第一个Spark应用程序:WordCount
内容:RDD编程,熟悉算子,读写文件 第3章 Spark编程基础 3.1 Spark入门:RDD编程 3.2 Spark入门:键值对RDD 3.3 Spark入门:共享变量(提升-分布式必备) 3.4 数据读写 3.4.1 Spark入门:文件数据读写
内容:DataFrame,SparkSQL 第4章 4.1 Spark SQL简介 4.2 DataFrame与RDD的区别 4.3 DataFrame的创建 4.4 从RDD转换得到DataFrame
内容:MLlib流设计,特征工程 第6章 Spark MLlib 6.1 Spark MLlib简介 6.2 机器学习工作流 6.2.1 机器学习工作流(ML Pipelines) 6.2.2 构建一个机器学习工作流 6.3 特征抽取、转化和选择 6.3.1 特征抽取:TF-IDF 6.3.4 特征变换:标签和索引的转化 6.3.5 特征选取:卡方选择器