PROJETO ARQUIVADO E FORA DE UTILIZAÇÃO

bino - transferindo dados de um lugar para outro

Bino é uma API que permite a seus usuários transferir dados de diferentes origens para um bucket S3.

O projeto em questão consiste em ler os dados relacionados ao COVID-19 do Ministério da Saude e do portal Brasil.IO e inseri-los em um bucket S3

API

curl -X POST http://localhost:8080/crawl/ministerio_saude_brasil

A operação acima irá baixar os dados do Ministério da Saúde e guardar em um bucket S3. A resposta segue o formato abaixo:

{ "path": "ministerio_saude_brasil/2006-01-02/15-04/rawData.json"}

curl -X GET http://localhost:8080/crawlers

A operação acima irá retornar uma lista de quais coletores estão configurados e disponíveis para execução

{
	"crawlers": [{
		"name": "ministerio_saude_brasil",
		"format": "json",
		"contentType": "application/json",
		"encoding": "iso-8859-1",
		"available": true
	}, {
		"name": "brasil_io_covid19",
		"format": "csv",
		"contentType": "text/csv",
		"encoding": "utf-8",
		"available": true
	}]
}

Setup do ambiente de dev

Unix based (macos, wsl2, linux)
Go SDK (1.13 no mínimo)
Rode make devsetup (instala um git-hook para pre-commit)

Compilando

Tenha a versão 1.13 da SDK GO e rode make build

Testando

make test sobe o ambiente de suporte de teste (localstack) e roda todos os tests da aplicação.

Detalhes da execução estão em scripts/test/integration_test.sh

Empacotando

Rode make package, você precisa ter o docker instalado e rodando

Rodando a aplicação

Empacote a aplicação usando docker como descrito acima e execute o seguinte comando

# defina as variáveis AWS_ACCESS_KEY_ID e AWS_SECRET_ACCESS_KEY seguindo a recomendação abaixo
# https://docs.aws.amazon.com/sdk-for-go/api/aws/session/#hdr-Environment_Variables
#
# defina a variável COVID0_TEMP_BUCKET seguindo a recomendação abaixo
# https://gocloud.dev/howto/blob/#s3
# exemplo:
# COVID0_TEMP_BUCKET=s3://nome-do-bucket?region=<região do bucket>
#
# Para mais detalhes veja o arquivo storage/db.go função SaneEnv
docker run -p '8080:8080' -e COVID0_TEMP_BUCKET -e AWS_ACCESS_KEY_ID -e AWS_SECRET_ACCESS_KEY covidzero/bino:latest

Para rodar local, você pode usar o atalho make run

Criando um novo datasource - OnDemand

Datasources on-demand são acionados via chamada URL e devem obter os dados a cada vez que são executados. Lembre-se que por enquanto não existe proteção para impedir que ocorra exaustão de recursos externos. Sendo assim, verifique a frequência que o endpoint será chamado e se é compatível com a capacidade do datasource que você irá incluir.

O formato dos dados não é importante, bino opera com dados bytes e o processamento feito deve ser o mínimo possível, normalmente remover alguns sufixos ou prefixos.

Com isso em mente, vamos aos passos que devem ser feitos para incluir um novo Datasource HTTP.

Na pasta datasources crie um arquivo nome_do_meu_datasource.go (tente usar nomes curtos).
No arquivo nome_do_meu_datasource.go escreva o seu coletor (use ivis.go como exemplo)
No arquivo ondemand.go altere as funções para AllOnDemand e GetOnDemand para expor o seu datasource
Se os dados do seu datasource não são JSON, adicione o formato novo em format.go
Na pasta server escreva um teste de integração para o seu datasource (use crawl_ivis_test.go como exemplo)
Evite criar muitos mocks, Go é uma linguagem compilada e mocks em encesso não são a melhor maneira de trabalhar.
Descreva em Datasources.md o seu datasource.
Be Happy e fique em casa! Sério... Fique em casa! :-)

pauloebass/bino