Rolé da Mola - Raspagem de dados - 02/11/2017

Olár!

Esse repositório contém o código que mexemos durante o rolé. O objetivo era introduzir o conceito de raspagem seguindo a metodologia "botando a mão na massa" e refletir sobre o poder e a versatilidade que essa técnica tem.

Código gerado

O script gerado durante o rolé está no arquivo 'deputado.R'. Esse código, por enquanto, pega os dados de data e presença de um determinado deputado e os imprime na tela. Ainda falta pensar em uma forma de organizar os dados em tabelas e fazer o código rodar para todos os deputados, pegando dados de todos os anos, de todos os mandatos. Continuaremos o código no próximo rolé.

Exemplos

Coloquei alguns exemplos de códigos pra quem quiser brincar um pouco.

'twitter.R'

Esse script pega dados do tweeter, buscando uma certa palavra chave informada pelo usuário. Com os dados recebidos, ele plota uma nuvem de palavra, um dendrograma e uma $

'facebook.R'

Processa dados retirados do facebook usando o aplicativo 'netvizz' (mais detalhes no código). Plota uma nuvem de palavras e um dendrograma com os dados.

'Raspagem1.R','Raspagem2.R' e 'Raspagem3.R'

Esses scripts são exemplos de raspagens para tirar dados de dentro de um documento HTML. Não sei direito o que tem dentro de cada um.

Exemplo de projeto completo de raspagem

Nesse repositório, tem um exemplo de raspagem pronta que eu fiz. Só falta arrumar algo pra fazer com os dados.

Outras coisas

Recomendo o blog do Neylson Crepalde. Tem coisas legais lá.

Abração, Vittor