/spark-plugins

Our Spark Plugins and Extensions for Spark 3

Primary LanguageScala

spark-plugins

20210816 hive catalog v2 plugin

对hive版本无依赖,支持兼容Hive版本

使用Ds v2内置的File Datasource, 在其基础上封装Hive v2 table, 修复原file ds v2 不支持分区问题,提供ExternalCatalogFileIndex,支持 HiveSeder: orc/parquet/textfile, 扩展支持 spark ds provider: csv/json

配置方式

v2 catalog

  spark.sql.catalog.hive_test_v2  net.qihoo.ads.spark.plugin.catalog.hive.V2ExternalCatalog        # 外挂实现类
  spark.sql.catalog.hive_test_v2.hive-conf-dir  /etc/hive/conf.test-hive-1.1                       # 此catalog HIVE_CONF_DIR
  spark.sql.catalog.hive_test_v2.spark.sql.hive.metastore.version  1.1.0                           # 此catalog HMS版本 
  spark.sql.catalog.hive_test_v2.spark.sql.hive.metastore.jars    path                             # HMS依赖jar加载方式,建议使用path方式
  spark.sql.catalog.hive_test_v2.spark.sql.hive.metastore.jars.path  file:///opt/hive/lib/*.jar    # 支持local/hdfs/ftp等多种,支持directory/file,建议直接指向对应hive版本的本地lib目录

Hive DS V2 架构

image