/spark-with-ec2-s3

spark example project explaining how to use spark with aws ec2 & s3

spark-with-ec2-s3

이 프로젝트는 아마존 AWS 에 EC2 Spark 클러스터를 생성하는 방법을 설명합니다. 사용되는 툴은 Flintrock 입니다.

참조사이트

참조 : https://alexioannides.com/2016/08/18/building-a-data-science-platform-for-rd-part-2-deploying-spark-on-aws-using-flintrock/

참조 : https://linode.com/docs/databases/hadoop/how-to-install-and-set-up-hadoop-cluster/

참조 : https://linode.com/docs/databases/hadoop/install-configure-run-spark-on-top-of-hadoop-yarn-cluster/

클러스터 생성하기

파일시스템에 접근하기

HADOOP YARN 구성하기

Jupyter Scala 설치하기