本项目主要提供了 Spark 示例,示例涵盖了 python,java,scala,r 语言,且包括 Streaming,Sql,Mllib,GraphX,SparkR 等方面示例。
本项目代码示例参考了:spark 项目中的示例,当然我们也加入和修改了很多内容, 对于代码的使用也做了充分的说明。
我们还提供了一些实际的案例, 这些案例是对真实场景的抽象, 展示了一个实际项目开发需要考虑的问题, 这些案例经过了充分测试, 读者完全可以在实际项目中参考.
hadoop: 2.6.0
spark: 1.6.1
集群的搭建方式请大家参考官网的说明.