- 这个项目是一个改写
Oracle存储过程为SparkApp的一个应用 - 一共改写了9个存储过程
##主要的功能
- syrk里面是
统计，数据质量检查等； jf里面是人员积分；util里面试一下工具类 - ps:src/com/triman/bigdata/jf/里面的代码
可读性更好，最近实现的（P_RSDQ_4.scala的注释比较详细） - 而src/com/triman/bigdata/syrk比较久远了（而且没有配有原来存储过程的sql文件）
- 而且syrk的查询比较复杂，
用了大量的UDF，因为我不知道hive sql有没有这些函数
##主要思路
- 把每个
实体的各项指标join在一起，然后map - 这个做法与sql文件中的
游标中不断select的在做法不予苟同 （详见jf里面的存储过程的sql文件） - 但是
性能上有很大提升
##主要技术
- 主要使用了
SparkSql和SparkCore库
##关于
- DBlink信息删去了
没有数据，这个项目就是拿来看看吧。