Configurando o GLUE JOB AWS para receber cargas streaming em tempo real do Twitter e historico dados brutos alocados em csv usando o AWS EMR
Comando para executar no aws emr e na maquina local para fins de teste
Comando para executar no aws emr no campo arguments e tambem comandos para executar no terminal maquina local testes
Codigo para colocar a coluna simbolo e sentimento, no arquivo csv pode converter para qualquer formato os aquivos.
twitteer_eleicoes2018.py
Entrada dos arquivos bruto em csv
twitteer_eleicoes2018_dados_brutos.csv
Codigo para pegar em tempo real tweets e savar em bucket aws
script_para_pegar_dados_do_tweter_na_aws
Passo 6 a mais importante
O primeiro campo que aparece "key" e para passar o comando o segundo campo "value" e para passar a biblioteca que sera instalada
Visualização dos detalhes jobs
Configurando disparador schedule a cada 15 minutos
Recebendo json do twitter em tempo real a cada 15 minutos
