Migrar as tabelas de “look up" (`map[int]string`) para o Badger (armazenamento de chave e valor)
cuducos opened this issue · 0 comments
cuducos commented
No ETL (comando transform
) utilizamos alguns map[int]string
para mapear coisas como código do município para nome do muncicípio, por exemplo.
Depois da implementação do Badger como cache durante o ETL (#173), o mesmo Badger pode ser utilizado para essas tabelas de código e nome de município, CNAE, países etc. Em termos de performance não deve ter um impacto grande (as consultas podem ser feitas em paralelo, pois são read-only, as escritas são poucas), e o código pode ser muito implificado.
Possível estratégia de implementação:
- Extender
newKVItem
para suporte de novossourceTypes
- Extender o
enrichCompany
para suporte dos novos campos - utilizar o
newKVitem
para criar e, depois, salvar os dados das tabelas de look up no Badger no início do ETL - limpar código (que não é mais utilizado) relacionado às antigas tabelas de look up
Repetir o processo para: