Telemática - Challenge (Setiembre 2022)
Se requiere procesar una store de datos de mas de 10 millones de documentos que contienen informacion sobre el clima en determinadas ciudades. El area de desarrollo mobile necesita que para un dashboard se agrupar las ciudades por climas similares como se indica en el archivo "ouput.json". Tu tarea es crear un programa que se encargue de realizar los pipelines para la extraccion, transformacion y recreacion de los datos (Javascript)
{
"cities": [
{
...
weater: {
...
}
}
]
}
[
{
"weater": {
...
},
cities: [
{
....
}
]
}
]
Este proyecto contendra 2 archivos comprendidos por:
- input.json - Incluye un ejemplo con un grupo de documentos que permitira clasificar los datos y procesarlos hacia una nueva estructura
- output.json - Debera contener la nueva estructura de datos procesadas en base al input.json.
Los participantes deberan hacer Fork de este repositorio y crear un PR para la revision del challenge.
Toda informacion o consulta debera ser realizada a traves de la creacion de un Issue en este repositorio
Estructura del desarrollo del proyecto
Estructura de codigo
Clean Code
Gestion de los recursos de ram, disco y cpu
Solucion para la transformacion de mas de 100 millones de documentos