SPARK 설치

Spark Documentation 확인

Spark runs on Java 7+, Python 2.6+/3.4+ and R 3.1+. For the Scala API, Spark 2.1.0 uses Scala 2.11. You will need to use a compatible Scala version (2.11.x). Note that support for Java 7 and Python 2.6 are deprecated as of Spark 2.0.0, and support for Scala 2.10 and versions of Hadoop before 2.6 are deprecated as of Spark 2.1.0, and may be removed in Spark 2.2.0.

※ 설치 전 버젼 선택에 있어서 지원 버젼 및 범위를 확인하자.

- 이는 나중에 개발을 위한 Dependency Lib와 연동을 위한 타 에코시스템 Version 선택에 필수적이다.

- 설치 및 개발 시에 문제가 발생할 가능성 매우 높음

Download

주소 : http://spark.apache.org/downloads.html

지금은 2.1.0을 받아서 설치

설치 및 실행

Host Name과 인증키 등록 등 기초 적인것은 Hadoop 설치를 하면서 진행 하였다.

-PATH 등록

export SPARK_HOME=폴더 위치 export PATH=$PATH:$SPARK_HOME/sbin ▶모든 PC

-Spark Config 설정

$ vi spark-defaults.conf spark.master   spark://마스터아이피:7077 spark.serializer    org.apache.spark.serializer.KryoSerializer

$ vi spark-env.sh export JAVA_HOME=java home 위치 export SPARK_MASTER_WEBUI_PORT=7777 #웹 UI Port 변경 export SPARK_HOME=spark home 위치 export HADOOP_CONF_DIR=하둡 conf 위치 export SPARK_MASTER_IP=192.168.0.190 export HADOOP_CONF_DIR=${HADOOP_DIR}/etc/hadoop export SPARK_EXECUTOR_INSTANCES=? export SPARK_EXECUTOR_CORES=? export SPARK_EXECUTOR_MEMORY=?G export SPARK_DRIVER_MEMORY=?G export SPARK_MASTER_HOST=마스터 아이피 export SPARK_WORKER_CORES=? export SPARK_WORKER_MEMORY=?G export SPARK_WORKER_INSTANCE=? export SPARK_CONF_DIR=spark conf 위치 ○ 메모리 설정은 서버의 사양에 맞춰서

-SLAVE 설정

$ vi slaves slave1.com slave2.com .... ... 슬레이브 PC HOSTNAME 모두 적어준다.

-배포

모든 pc에 scp 복사

-실행 

master에서 

cd /spark폴더/sbin

./start-all.sh

※SPARK Web UI

- 아래는 standalone으로 설치 후 테스트 결과