HuemulSolutions/huemul-bigdatagovernance
Huemul BigDataGovernance, es una framework que trabaja sobre Spark, Hive y HDFS. Permite la implementación de una estrategia corporativa de dato único, basada en buenas prácticas de Gobierno de Datos. Permite implementar tablas con control de Primary Key y Foreing Key al insertar y actualizar datos utilizando la librería, Validación de nulos, largos de textos, máximos/mínimos de números y fechas, valores únicos y valores por default. También permite clasificar los campos en aplicabilidad de derechos ARCO para facilitar la implementación de leyes de protección de datos tipo GDPR, identificar los niveles de seguridad y si se está aplicando algún tipo de encriptación. Adicionalmente permite agregar reglas de validación más complejas sobre la misma tabla.
ScalaApache-2.0
Issues
- 3
- 2
- 2
Máximo tiempo de espera en sigleton
#135 opened by huemulDeveloper - 0
ExecuteOnlyInsert en tablas Transaction
#134 opened by sebasrod - 1
agregar nuevo comportamiento para marca eliminados en tablas reference/master
#131 opened by huemulDeveloper - 1
permite redirección de url de monitore
#130 opened by huemulDeveloper - 0
setDQ con Warning
#100 opened by huemulDeveloper - 0
- 0
- 1
- 0
- 0
Pausar fallas de regla de calidad hasta confirmar/rechazar por operador
#124 opened by huemulDeveloper - 2
- 1
simplificar métodos dataLake
#119 opened by huemulDeveloper - 0
Lectura de datos desde excel
#118 opened by huemulDeveloper - 0
Método para borrar particiones
#117 opened by huemulDeveloper - 1
Customizar nombre columnas de control de tablas tipo Master/Reference/Transaccional
#112 opened by christian-sattler - 0
Integración con BigQuery
#67 opened by sebasrod - 1
Opción para agregar columnas particionadas en tablas master y reference
#98 opened by huemulDeveloper - 2
Integración con Hive Warehouse Connector
#109 opened by jhosmanfrias - 3
Compatibilidad con AVRO
#107 opened by huemulDeveloper - 3
- 0
- 1
Mejora performance OldValueTrace
#102 opened by huemulDeveloper - 1
- 0
Cantidad de BBDD y tablas leidas desde HIVE
#101 opened by huemulDeveloper - 0
Agregar executeReplace
#97 opened by huemulDeveloper - 6
Lectura de PDF
#92 opened by huemulDeveloper - 1
Reparar enlaces del README.md
#93 opened by jhosmanfrias - 1
Upgrade versión JDBC HIVE
#91 opened by huemulDeveloper - 1
- 0
Integración con Spark Streaming
#85 opened by sebasrod - 0
Generar Archivo a partir de archivos RAW
#86 opened by sebasrod - 1
- 3
Nuevo tipo de formato (CSV) en la escritura
#80 opened by jhosmanfrias - 0
- 4
Integración con HBase para MDM
#65 opened by sebasrod - 0
Revisar conexión JDBC
#76 opened by sebasrod - 1
- 1
Integración con ORC
#66 opened by sebasrod - 1
- 4
Optimización de código
#63 opened by sebasrod - 1
- 1
- 2
Incorpora version en modelo de control
#71 opened by sebasrod - 2
Optimizar lectura de metadata HIVE
#68 opened by sebasrod - 1
Agregar detalle de avance al procesar DQ
#62 opened by sebasrod - 1
- 1
Incluir dq_id en tabla detalle de data quality
#60 opened by sebasrod - 0
Implementación DQ usando BBDD de Control
#69 opened by sebasrod