/kinesis-spark-streaming

ETL utilizando uma simulação de ingestão via Streaming no Kineses Firehose

Primary LanguagePythonApache License 2.0Apache-2.0

Kinesis Spark Streaming

'Arquitetura AWS'

Simulação de ingestão de dados utilizando streaming. Transformação feita utilizando SparkStreaming em Databricks, dados prontos em Aws Glue.

Ferramentas

  • Aws Firehose
  • Aws S3 Bucket
  • Databricks jobs
  • Aws Glue