Spark Architecture

 

[참조 문헌]

https://medium.datadriveninvestor.com/introduction-to-spark-with-python-spark-architecture-and-components-explained-in-detail-54e2ba09d6fe

💡목차

1. 빅데이터와 Hadoop의 등장

2. Hadoop 구조의 개요

3. MapReduce 방식 및 한계

4. Apache Spark의 등장

5. Apache Spark의 컴포넌트

6. Apache Spark의 구조

7. Hadoop vs. Spark

8. PySpark API 개요

 

💡개요

빅데이터의 과제는 두 가지로 요약할 수 있다.

• 대규모 데이터 저장 및 관리
• 데이터의 효율적인 처리, 적은 turnaround time(소요 시간)으로 비즈니스 인사이트 도출

이러한 과제들이 Hadoop의 등장으로 이어졌다.

 

💡하둡 프레임워크

이 절에서는 하둡의 컴포넌트들이 대규모 데이터를 처리하여 인사이트를 도출하는 과정을 설명한다. 하둡은 한줄 요약할 수 있다.

 

대규모 데이터를 다수의 컴퓨터로 구성된 클러스터들로 분산 처리하는 프레임워크

 

단일 서버에서 수천 대 규모까지 확장하여 규모에 맞는 처리량과 보관량을 제공하도록 설계되었다. HW에 의존하기 보단 애플리케이션 단에서 서버 고장을 감지하고 처리하여 내고장성까지 보장한다.

 

하둡은 3 개의 핵심 컴포넌트로 구성된다.

• Hadoop Distributed File System (HDFS) - 애플리케이션 데이터에 빠른 접근을 제공하는 분산 저장 파일 시스템
• Yet Another Resource Negotiator (YARN) - 잡 스케줄링과 클러스터 리소스 관리를 담당하는 프레임워크
• MapReduce - 대규모 데이터 집합을 병렬 처리하는 시스템

 

하둡 구조

하둡은 스토리지 및 분산 처리에 master/slave(=worker)의 개념을 도입했다.

 

 

위 구조에서, 하나의 master node(마스터)와 다수의 worker node(슬레이브/워커)가 있다. 마스터 노드의 역할은 여러 함수들을 슬레이브 노드들에 배정하고 리소스를 관리한다. 슬레이브 노드들이 실질적인 처리와 데이터 저장을 맡는 반면, 마스터는 이에 대한 metadata를 보관한다. 즉, 파일 구조, 권한, 데이터가 어떤 노드에 있는지 등을 알고 있다.

 

마스터의 Resource manager와 슬레이브의 Node manager(s)는 YARN 프레임워크의 일부이다. 노드 매니저가 리소스 매니저에게 리소스 상태를 전달하고, 리소스 매니저는 이를 모니터링하는 역할이다.

 

간단하게 하둡의 구조를 설명하였고, 이제부터 하둡의 처리 부분 - 맵리듀스에 관해 설명하겠다.

 

💡MapReduce

맵리듀스(MR)는 SW 프레임워크로 대규모 데이터를 클러스터 상에서 고장없이 병렬 처리할 수 있는 애플리케이션을 수행한다.

 

MR 내 Job은 보통 input 데이터를 덩어리들로 쪼개어, map task들로 병렬 처리한다. Map phase의 출력은 Reduce phase의 입력으로 aggregate, summary, transform 등을 거쳐 최종 결과를 만든다. YARN은 이들을 스케줄링하고, 모니터링하며 실패 시 재실행한다.

 

사용자들은 MR의 고수준 연산들로 분배나 고장을 신경 쓰지 않고 병렬 처리 프로그램을 작성할 수 있게 된다.

 

MapReduce의 한계

Data Input/Output

• MR의 연산마다, 데이터를 물리적 저장 장치에 기록해야 한다. 이는 물리적 저장 장치로부터 데이터를 읽고 태스크를 수행한 뒤, 다시 기록해야 함을 뜻한다.
• 이러한 I/O 연산들은 실시간 데이터 처리에 걸림돌이다.

 

실시간 처리 불가능

• MR는 본래 Batch 형태로 데이터를 처리하게 설계됐다. 한번에 대규모 데이터를 입력, 처리, 기록하는 구조이다.
• Stream Processing처럼 실시간 또는 준실시간 처리가 불가능하다.

💡Apache Spark

빅데이터 처리를 위한 통합 분석 엔진으로 스트리밍, SQL, 머신 러닝과 그래프 처리 기능을 제공한다.

 

Spark는 MapReduce의 상위 호환으로 볼 수 있다. Spark는 중간 데이터를 디스크 대신 RAM에 기록한다. 모든 데이터 처리는 메모리에서 이루어지며, 그 결과 대규모 데이터를 훨씬 빨리 처리한다.

 

Spark의 특징

빠른 처리

• 스파크는 메모리 공간이 충분하면 하둡보다 100배 빠르고, 메모리 제약으로 디스크를 써야 하는 상황에서도 10배 빠르다.
• 중간 데이터를 메모리에 보관한다. 네트워크 리소스, 물리적 장치 I/O 대신 RAM을 많이 활용하여 실시간 처리가 가능하다.

편리성

• Scala로 만들어졌으며, Scala, Java, Python, R과 SQL을 위한 API를 제공하는 유연성을 가진다.

 

뛰어난 분석

• 맵리듀스 말고도 SQL 쿼리, 스트리밍 데이터, 머신 러닝, 그래프 처리를 지원한다.

 

다양한 데이터 소스

• 하둡 프레임워크를 지원하는 어떤 스토리지 포맷으로도 읽기/쓰기가 가능하다. HDFS, S3, HBase, Cassandra, Avro 등
• 실행 환경으로 단일 클러스터, EC2, Hadoop YARN, Mesos, Kubernetes, Apache Hive 등의 데이터 소스 위에서 돌아갈 수 있다.

 

Spark 컴포넌트

• SparkCore API - Spark Core는 Spark의 핵심 실행 엔진으로, 모든 기능들의 기반이다. 분산 처리 프레임워크, 인-메모리 연산, 내고장성, 리소스 관리, 외부 데이터 소스 연동 등을 제공한다.
• Spark SQL - 정형 데이터를 다루는데 쓰인다. Spark 프로그램 내 정형 데이터를 쿼리하거나, Hive, Avro, Parquet, JSON, JDBC와 연동시킬 수도 있다. HiveQL도 지원해서 Hive 웨어하우스에 접근할 수 있다.

• Spark Streaming - Spark Core API에 기반하여 내고장성 실시간 대화형 데이터 분석을 제공한다. HDFS, Flume, Kafka, Twitter 등의 데이터 소스와 연동 가능하다.
• Spark MLib - Spark Core API에 기반하여 확장 가능한 ML 라이브러리를 제공한다. MLib는 어떤 하둡 데이터(HDFS, HBase, 로컬 스토리지)와도 사용할 수 있어 하둡 워크플로우에 도입하기 편리하다.
• GraphX - Spark API로 Graph 구축 및 병렬 처리 기능을 제공한다. 대규모 Graph 데이터를 대화형으로 build, transform 할 수 있다.

 

💡Spark Architecture

Spark도 하둡처럼 master/slave 구조를 따르며, master가 driver 역할, slave가 worker 역할을 한다. 클러스터는 마스터와 여러 대의 슬레이브로 구성된다.

 

마스터에는 driver program이 있어서 Job 실행을 스케줄링을 하고, cluster manager로 리소스를 관리한다. Spark 혹은 spark-submit을 실행하면, driver program이 SparkContext를 마스터에 생성한다. SparkContext는 Spark 기능의 진입점이다.

 

• Driver 프로그램은 대규모 input 데이터를 파티션으로 쪼개고(디폴트 128MB) 슬레이브 노드들이 처리하도록 분배한다.
• SparkContext는 하나의 job을 여러 개의 task로 쪼개어 슬레이브 노드들에 분배한다. 이후 task들이 처리되고, driver의 SparkContext에 의해 제어된다.
• 슬레이브 노드들의 역할은 task를 수행하며 그 상태를 driver로 보고하는 일이다. Task 수는 partition 수와 동일하다.
• SparkContext는 cluster manager와 여러 job을 관리한다. Cluster manager는 슬레이브 노드들에 CPU, 메모리와 같은 리소스들을 할당한다. Cluster manager는 Standalone, Mesos, YARN이나 Kubernetes를 쓸 수 있다.

 

Spark Internal Work-flow

1. Application 코드가 submit되면, driver program은 SparkContext를 초기화 하고 내부적으로 코드 상의 transformation 및 action들을 DAG로 변환한다. DAG란, 데이터에 대한 순차적인 연산들을 그래프 형태로 표현한 것이다.

2. Driver program은 연산을 최적화한 뒤, DAG를 다수 task로 구성된 물리적 실행 계획으로 다시 변환한다. 즉, Driver program이 어떤 task를 수행할지와 어떻게 스케줄링(작업 배분)할지 결정한다.

3. Driver program이 작업을 분배하고 나면, cluster manager와 통신하여 슬레이브 노드들에 리소스를 할당한다. 이후, cluster manager가 driver 대신 슬레이브 노드들에 executor들을 실행한다.

4. Executor들은 실행 전, 자신을 driver program에 등록하여 전체적인 executor들의 구조를 파악할 수 있게 한다. Executor들은 task 수행 상태를 driver로 보고한다.

 

Spark vs. Hadoop?

• 스파크는 하둡이 아니라 맵리듀스와 비교하는 것이 더 적합하다.
• 스파크는 자체적인 분산 파일 시스템이 없지만, HDFS를 쓸 수 있다.
• 스파크는 하둡 위에서 실행되어, 하둡의 cluster manager(YARN)과 내부 스토리지(HDFS, HBase 등)의 이점을 활용할 수 있다.

 

따라서 Spark를 Hadoop의 대체재가 아닌 MapReduce의 상위 호환으로 보는 것이 더 옳다.

 

💡PySpark API

PySpark는 스파크를 지원하기 위한 Python API이다.

파이썬은 데이터 사이언스에 특화된 프로그래밍 언어이다. 많은 이들이 이미 Python의 Pandas data transformation과 데이터 인사이트 도출 프로그래밍에 익숙하다. PySpark는 Py4j 라이브러리로 개발되었다.

 

장점:

• 배우기 쉽고 고수준의 API를 제공한다.
• 분산 환경 상 데이터를 분석할 수 있는 대화형 API를 제공한다.
• 코드 가독성, 유지보수, 보편성 등의 이점이 있다.
• Java나 Scala로는 어려운 데이터 시각화를 위한 기능이 많다.