为Spark提供常见数据源的读写工具类
- MySQL
- ElasticSearch
- 目前主要提供了ES 写的Java API实现方法,读取/查询ES的方法可参考ES JAVA API
- REST FUL方式读写ES
待补充
- 也可参考github上的三方实现spark-es
- Redis
- 提供Redis连接池对象的创建/释放静态类方法,及读写示例
- HBase
- 可直接使用社区提供的三方连接器spark-hbase-connector
- HDFS
- 可直接调用Spark的原生API进行HDFS的读写操作
- DataFrame也提供了方便的读写parquet文件的API