Spark 처리 테스트 (Jupyter Lab 환경 .ipynb)

[wwkler]

Spark 처리 테스트 (Jupyter Lab 환경 .ipynb)

목표 : Jupyter Lab에서 Pyspark로 Spark Cluster를 활용하여 데이터 처리를 한다.

1. Server1에 Python 3.11.6 Image를 기반으로 pyspark, Jupyterlab이 설치된 Dockerfile를 정의한다.

   # JupyterLab를 사용하여 pyspark로 Spark를 사용하기 위한 Dockerfile
   
   # Python 3.11.6 이미지를 기반으로 함
   FROM python:3.11.6-slim-bullseye
   
   
   # 컨테이너 내부의 작업 디렉토리 설정
   WORKDIR /app
   
   # 필요한 패키지 설치: Java, ps (procps)
   RUN apt-get update && \
        apt-get install -y openjdk-11-jdk-headless procps
   
   # 환경 변수 설정 (Java 설치 경로에 맞게 JAVA_HOME 설정)
   ENV JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
   ENV PATH="$JAVA_HOME/bin:$PATH"
   
   # pip 업그레이드 및 pyspark, jupyterlab 설치
   RUN pip install --upgrade pip && \
        pip install pyspark jupyterlab
   
   # Jupyter Lab을 시작할 때 토큰 및 비밀번호 요구를 비활성화
   CMD ["jupyter", "lab", "--ip=0.0.0.0", "--allow-root", "--no-browser", "--NotebookApp.token=''", "--NotebookApp.password=''"]
   

   • 여기서 openjdk 11를 왜 설치하냐면 pyspark가 Spark에 접근하기 위한 과정으로 Java 관련 프로그램이 필요해서 그렇다.
   • 왜 python 3.11.6를 사용했나면 Spark가 3.4.1 버전을 사용했는데 그떄 python 버전이 3.11.6이여서 혹시나 해서 맞춘 것이다.

2. Server1에 최종 docker-compose.yaml은 다음과 같이 설계되었다.

   version: '3.8'
   services: # Spark Master Node를 Image로 만들고(최초) Container로 Up 하도록 정의
     spark-master:
       image: bitnami/spark:3.4.1
       container_name: spark-master
       environment:
         - SPARK_MODE=master
         - SPARK_RPC_AUTHENTICATION_ENABLED=no
         - SPARK_RPC_ENCRYPTION_ENABLED=no
         - SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no
         - SPARK_SSL_ENABLED=no
         - SPARK_USER=spark
       ports:
         - "13457:8080"  # Spark Master Web UI 포트
         - "13458:7077"  # Spark Master와 Worker 간 통신 포트 (Master Node 관련 포트)
       restart: always
       # deploy:
       #   resources:
       #     limits:
       #       cpus: "1.0"
       #       memory: "2G"
   
     # python 3.11.6을 바탕으로 Pyspark와 Jupyter가 설치된 Image를 만들고(최초) Container로 Up 하도록 정의 
     pyspark-jupyterlab:
       build:
         context: .
         dockerfile: Dockerfile
       container_name: pyspark-jupyterlab
       ports:
         - "13459:8888"
       volumes:
         - ./notebooks:/app
       depends_on:
         - spark-master
         
   

   • 기존에 spark-master 서비스만 있었던 것에 더해서 pyspark-jupyterlab 서비스를 추가했습니다. 이 서비스가 Dockerfile를 참고해서 만들어졌다.

3. Server2,3에 최종 docker-compose.yaml은 다음과 같이 설계되어 있다.

   # Spark Worker1 Node를 Image로 만들고(최초) Container로 Up 하도록 정의하는 파일 
   version: '3.8'
   services:
     spark-worker-1:
       image: bitnami/spark:3.4.1  # 안정적인 Spark 3.4.1 버전 사용
       container_name: spark-worker-1
       environment:
         - SPARK_MODE=worker
         - SPARK_MASTER_URL=spark://172.31.3.183:13458
         - SPARK_WORKER_MEMORY=8G
         - SPARK_WORKER_CORES=2
         - SPARK_RPC_AUTHENTICATION_ENABLED=no
         - SPARK_RPC_ENCRYPTION_ENABLED=no
         - SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no
         - SPARK_SSL_ENABLED=no
         - SPARK_USER=spark
       restart: always  # 중단 시 자동으로 재시작
       deploy:
         resources:
           limits:
             cpus: "2.0"
             memory: "8G"
   

     # Spark Worker2 Node를 Image로 만들고(최초) Container로 Up 하도록 정의하는 파일 
    version: '3.8'
    services:
      spark-worker-2:
        image: bitnami/spark:3.4.1  # 안정적인 Spark 3.4.1 버전 사용
        container_name: spark-worker-2
        environment:
          - SPARK_MODE=worker
          - SPARK_MASTER_URL=spark://172.31.3.183:13458
          - SPARK_WORKER_MEMORY=8G
          - SPARK_WORKER_CORES=2
          - SPARK_RPC_AUTHENTICATION_ENABLED=no
          - SPARK_RPC_ENCRYPTION_ENABLED=no
          - SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no
          - SPARK_SSL_ENABLED=no
          - SPARK_USER=spark
        restart: always  # 중단 시 자동으로 재시작
        deploy:
          resources:
            limits:
              cpus: "2.0"
              memory: "8G"
   
   

   • 찾아보니까 EC2 인스턴스 유형이 t2.xlarge 스펙이 vCPU 4, 메모리 16G 라고 하길래, cpu를 2, 메모리를 8G로 설정했다.

4. Jupyter lab를 가지고 Spark를 활용해 데이터를 처리한다.

   from pyspark.sql import SparkSession 
   
   # SparkSession 생성
   spark = SparkSession.builder \
       .appName("JupyterLab with Spark2") \
       .master("spark://spark-master:7077") \
       .config("spark.executor.memory", "4g") \
       .config("spark.executor.cores", "2") \
       .config("spark.driver.memory", "2g") \
       .config("spark.driver.cores", "1") \
       .getOrCreate()
   
   # Spark 작업 수행 예시
   data = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
   df = spark.createDataFrame(data, ["Name", "Age"])
   df.show()
   
   # SparkSession 생성 2
   spark = SparkSession.builder \
       .appName("JupyterLab with Spark3") \
       .master("spark://spark-master:7077") \
       .getOrCreate()
   
    # Spark 작업 수행 예시 2
   data = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
   df = spark.createDataFrame(data, ["Name", "Age"])
   df.show()
   
   

   • Spark Web UI에서 Running Applications, Completed Applications에 변화가 없어서 Spark Cluster를 활용하여 데이터를 어떻게 처리하는지에 대한 조언을 구했다. @leegyoungmin

     •  from pyspark.sql import SparkSession 
       
        # SparkSession 생성
        spark = SparkSession.builder \
            .appName("JupyterLab with Spark2") \
            .master("spark://spark-master:7077") \
            .config("spark.submit.deployMode", "cluster") \
            .getOrCreate()
       
         # Spark 작업 수행 예시
        data = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
        df = spark.createDataFrame(data, ["Name", "Age"])
        df.show()
       
       

     • 그리고 ipynb 파일은 분석, 테스트 환경에 적합하고 Spark Cluster를 활용할 수 있지만, 설정에 대한 작업이 귀찮은 것들이 있다고 말씀하셨다.
       py 파일로 구현을 했을 떄 아키텍처 자동화 환경에 적합하고 Spark Cluster를 활용하기 위한 설정 작업이 간단하고 확장성이 좋다고 말씀하셨다.

[Kdreamtomaster]

어떤식으로 카프카 컨슈머로 submit 통해서 해야 하는지 저도 찾아보고 있겠습니다!