/SparkProject

scala编写spark程序,并提交跑计算任务

Primary LanguageScala

SparkProject

AppendVcvcTask主要是对日志按条件匹配并合并生成新的日志文件

SparkSQLUDAF主要是编写Hive UDAF函数,对Hive表数据进行清洗

Vcvr2kafkaTask主要是配置kafka参数,并利用spark将文件发送到指定topic中