/worldclim-pandas-spark-benchmark

Benchmark de carregamento e consulta de dados climáticos da WorldClim com Pandas e Apache Spark, comparando o desempenho entre processamento não-distribuído e distribuído. Destaca a superioridade do Spark em escalabilidade e eficiência para grandes conjuntos de dados, enfatizando a importância do armazenamento colunar com Parquet.

Primary LanguageJupyter Notebook

Stargazers