Spark 로컬에서 구성하기부터 Docker Container로 어떻게 띄울지에 대한 부분을 조사 및 테스트 #8

wwkler · 2024-09-03T00:30:58Z

wwkler
Sep 3, 2024
Maintainer

Spark를 로컬에서 구성하기
- Ubuntu 24.04로 Spark 설치하고 Cluster 구성하기
  기본적인 전략은 장철원 강사님 - Spark Cluster 환경 구성하기를 참고할 것이다.
  - 강의 자료 https://drive.google.com/file/d/1LY4ZEyrYXoB1L-FyNeQgCFplhii6zWU-/view?usp=drive_link
  - Java Open JDK 17 설치 예정
  - Spark 3.5.1 설치 예정
Spark를 어떻게 Docker Container로 띄울지... 그리고 그것을 어떻게 논리적 단위인 Cluster로 하나로 묶을지에 대한 이야기...
- 기본적인 전략은 이어드림스쿨 데이터 엔지니어링 중간 프로젝트 했을 떄 다른 팀에서 Kafka나 Spark를 각기 다른 서버에서 컨테이너화에서 클러스터로 묶은 자료가 있어서 이를 활용하려 하고 조금씩 변주를 줄 생각이다.
  https://github.com/minhyeok0328/team11-miniproject/tree/main
  - Spark 이미지는 bitnami/spark를 활용하고자 하며, 버전은 3.4.1를 활용하고자 한다. (지금 기준 10달 전에 push된 이미지라 한다.)
    https://hub.docker.com/r/bitnami/spark/tags?page=&page_size=&ordering=&name=3.4.1
  - bitnami/spark에서 제공하는 환경 변수가 무엇이 있는지 확인하여 최대한 활용하고자 한다.

wwkler · 2024-09-03T00:31:53Z

wwkler
Sep 3, 2024
Maintainer Author

일단 올려만 놨고 자료 조사하면서 내용을 업데이트할 예정입니다...

0 replies

wwkler · 2024-09-03T05:30:25Z

wwkler
Sep 3, 2024
Maintainer Author

장철원 강사님 교안대로 spark 3.5.1 버전 설치하려 wget 명령어 썼는데 안되길래 보니까 접속이 안됨....
- 접속이 안되는 것이 아니라 Apache 홈페이지에서 Archived releases에서 spark 3.5.1 버전을 찾아서 사용할 수 있는 거였음...
- 처음에는 3.5.1 버전을 설치할수 없어서 Apache Spark 홈페이지에서 spark 3.5.2 버전을 설치했는데 알고보니까 3.5.1 버전을 설치할 수 있는 것이 현 상황이다.
  https://www.apache.org/dyn/closer.lua/spark/spark-3.5.2/spark-3.5.2-bin-hadoop3.tgz

0 replies

wwkler · 2024-09-03T08:21:55Z

wwkler
Sep 3, 2024
Maintainer Author

로컬에서 Spark를 구성했다고 가정하고 Spark Cluster를 띄울 떄 상황

Master : 8080번(웹 UI 포트) 가 default로 열어지고 7077번(클러스터 매니저 노드)가 default로 열어짐
Worker1, Worker2 : 8081번 포트(웹 UI 포트) 가 default로 열어지고 Random Port 번호를 사용하는 구조

Airflow Container로 접속할 떄 8080번을 사용하므로
Master 웹 UI 포트를 3456번 포트로 사용하겠습니다.

보안 그룹 인바운드 규칙에 3456번을 추가해주고 아무 ip(0.0.0.0)에서도 접근할 수 있도록 합니다..
그리고 Master 웹 UI 포트를 3456번으로 사용할 것을 천명 하기 위해서 아래와 같은 이미지를 참고하시겠습니다... 지금 보시는 화면은 Spark 마스터 노드쪽 입니다..

실제로 Spark Master가 켜자면 웹 UI 포트가 3456으로 고정됩니다. 클러스터 매니저 노드는 7077번 그대로 입니다...
그렇게 해서 Airflow와 포트 충돌을 방지합니다...

0 replies

wwkler · 2024-09-03T23:41:14Z

wwkler
Sep 3, 2024
Maintainer Author

다음 comment부터는 는 Spark Master Container, Spark Worker1,2 Container에 대한 cluster를 하면서 트러블 슈팅이나 해결한 내용을 적을 계획 입니다...

0 replies

wwkler · 2024-09-04T01:25:23Z

wwkler
Sep 4, 2024
Maintainer Author

Spark Cluster가 구성이 안되었던 트러블 슈팅 이야기입니다...

Server 1 : Spark Master Node를 Container로 띄우기 위한 docker-compose.yaml

# Spark Master Node를 Image로 만들고(최초) Container로 Up 하도록 정의하는 파일 
version: '3.8'
services:
  spark-master:
    image: bitnami/spark:3.4.1
    container_name: spark-master
    environment:
      - SPARK_MODE=master
      - SPARK_RPC_AUTHENTICATION_ENABLED=no
      - SPARK_RPC_ENCRYPTION_ENABLED=no
      - SPARK_LOCAL_DIR=/tmp
      # - SPARK_LOCAL_IP=0.0.0.0  # 모든 네트워크 인터페이스에서 접근 허용
      - SPARK_MASTER_HOST={{Sever 1의 Public IP}} # Master 노드의 호스트를 명확히 설정 
      - SPARK_MASTER_PORT=7077 # MAster 노드의 포트를 명확히 설정 
    ports:
      - "3457:8080"  # Spark Master Web UI 포트
      - "3458:7077"  # Spark Master와 Worker 간 통신 포트 (Master Node 관련 포트)
    command: ["/opt/bitnami/scripts/spark/entrypoint.sh", # Container가 실행될 떄 수행하는 명령어 
              "/opt/bitnami/spark/bin/spark-class",
              "org.apache.spark.deploy.master.Master", 
              "--host", "0.0.0.0",
              "--port", "7077",
              "--webui-port", "8080"]
    restart: always
    # deploy:
    #   resources:
    #     limits:
    #       cpus: "1.0"
    #       memory: "2G"

Server 2 : Spark Worker1 Node를 Container로 띄우기 위한 docker-compose.yaml

  # Spark Worker1 Node를 Image로 만들고(최초) Container로 Up 하도록 정의하는 파일 
  version: '3.8'
  services:
    spark-worker-1:
      image: bitnami/spark:3.4.1  # 안정적인 Spark 3.4.1 버전 사용
      container_name: spark-worker-1
      environment:
        - SPARK_MODE=worker
        - SPARK_MASTER_URL={{Server1의 Public IP}}:3458  # Spark Master의 public IP를 명시
        - SPARK_WORKER_MEMORY=2G  # Worker 노드가 사용할 메모리 설정(추후 수정 가능성 존재)
        - SPARK_WORKER_CORES=2    # Worker 노드가 사용할 CPU 코어 설정(추후 수정 가능성 존재)
      command: ["/opt/bitnami/scripts/spark/entrypoint.sh", 
                "/opt/bitnami/spark/bin/spark-class",
                "org.apache.spark.deploy.worker.Worker"]
      restart: always  # 중단 시 자동으로 재시작
      deploy:
        resources:
          limits:
            cpus: "2.0"
            memory: "4G"

Server 3 : Spark Worker2 Node를 Container로 띄우기 위한 docker-compose.yaml

# Spark Worker2 Node를 Image로 만들고(최초) Container로 Up 하도록 정의하는 파일 
version: '3.8'
services:
  spark-worker-2:
    image: bitnami/spark:3.4.1  # 안정적인 Spark 3.4.1 버전 사용
    container_name: spark-worker-2
    environment:
      - SPARK_MODE=worker
      - SPARK_MASTER_URL=spark://{{Server1의 Public IP}}:3458  # Spark Master의 public  IP를 명시
      - SPARK_WORKER_MEMORY=2G  # Worker 노드가 사용할 메모리 설정(추후 수정 가능성 존재)
      - SPARK_WORKER_CORES=2    # Worker 노드가 사용할 CPU 코어 설정(추후 수정 가능성 존재)
    command: ["/opt/bitnami/scripts/spark/entrypoint.sh", 
              "/opt/bitnami/spark/bin/spark-class",
              "org.apache.spark.deploy.worker.Worker"]
    restart: always  # 중단 시 자동으로 재시작
    deploy:
      resources:
        limits:
          cpus: "2.0"
          memory: "4G"

Spark Master Web UI에서 Alive Worker Nodes는 2가 되어야 하는데 0이 되있는 문제가 발생
- 즉 Worker Node가 Master Node와 연결되지 않았다는 이야기가 되어서 원인이 무엇인지 해결하는 중이다.

결론은 Spark Worker1,2 노드가 Spark Master(Driver) 노드와 연결이 안된 것이며 , Spark Worker1,2 노드에 문제가 있는 것으로 판단하고 있으며 Worker1, Worker2 Container를 담당하는 서버 터미널에서 로그는 아래와 같이 발생한다.

  spark-worker-1 | spark 01:50:02.06 INFO ==>
  spark-worker-1 | spark 01:50:02.06 INFO ==> Welcome to the Bitnami spark container
  spark-worker-1 | spark 01:50:02.06 INFO ==> Subscribe to project updates by watching https://github.com/bitnami/containers
  spark-worker-1 | spark 01:50:02.06 INFO ==> Submit issues and feature requests at https://github.com/bitnami/containers/issues
  spark-worker-1 | spark 01:50:02.06 INFO ==>
  spark-worker-1 |
  spark-worker-1 | Using Spark's default log4j profile: org/apache/spark/log4j2-defaults.properties
  spark-worker-1 | 24/09/04 01:50:03 INFO Worker: Started daemon with process name: 1@79111ce5c703
  spark-worker-1 | 24/09/04 01:50:03 INFO SignalUtils: Registering signal handler for TERM
  spark-worker-1 | 24/09/04 01:50:03 INFO SignalUtils: Registering signal handler for HUP
  spark-worker-1 | 24/09/04 01:50:03 INFO SignalUtils: Registering signal handler for INT
  spark-worker-1 | Usage: Worker [options] <master>
  spark-worker-1 |
  spark-worker-1 | Master must be a URL of the form spark://hostname:port
  spark-worker-1 |
  spark-worker-1 | Options:
  spark-worker-1 | -c CORES, --cores CORES Number of cores to use
  spark-worker-1 | -m MEM, --memory MEM Amount of memory to use (e.g. 1000M, 2G)
  spark-worker-1 | -d DIR, --work-dir DIR Directory to run apps in (default: SPARK_HOME/work)
  spark-worker-1 | -i HOST, --ip IP Hostname to listen on (deprecated, please use --host or -h)
  spark-worker-1 | -h HOST, --host HOST Hostname to listen on
  spark-worker-1 | -p PORT, --port PORT Port to listen on (default: random)
  spark-worker-1 | --webui-port PORT Port for web UI (default: 8081)
  spark-worker-1 | --properties-file FILE Path to a custom Spark properties file.
  spark-worker-1 | Default is conf/spark-defaults.conf.

이상 반복

결국은 강사님께 요청을 했으며 Worker1, 2 Node들이 Master(Driver) 노드에 조인(연결)이 안된 것 같다고 말씀하셨다.
원인을 spark-worker-1 | Master must be a URL of the form spark://hostname:port를 주목하고 있다.
즉 SPARK_MASTER_URL에 대한 형식을 맞게 한 것 같은데 왜 저런 형식 오류가 나는지에 대한 부분을 찾아보고 알려주신다 했다.
뇌피셜이지만 Spark Master(Driver) Node를 컨테이너화 하여 정의하는 docker-compose.yaml enviroment 부분에 아래와 같은 속성을 넣어야 하지 않겠나 생각하고 있다.
- SPARK_MASTER_HOST=spark-master # Master 노드의 호스트를 명확히 설정
- SPARK_MASTER_PORT=7077 # Master 노드의 포트를 명확히 설정

0 replies

wwkler · 2024-09-04T05:33:24Z

wwkler
Sep 4, 2024
Maintainer Author

Spark Cluster 구성이 안되어서 어떻게 해결했는지에 대한 내용 입니다.

문제 이유는 bitnami/spark Image를 어떻게 활용하는지에 대한 Example 구조를 차용하지 않았기 떄문 이었습니다.

아래 그림은 bitnami/spark Image를 어떻게 사용하는지에 대한 여러 개의 Example 중 하나 입니다.

걍 저 구조를 도입해서 docker-compose.yaml를 만드시면 되겠습니다...
https://github.com/minhyeok0328/team11-miniproject/blob/main/instance1/spark/docker-compose.yml

 services:
   spark-master:
     image: apache/spark:3.4.2
     container_name: spark-master
     ports:
       - "8083:8083"
       - "7077:7077"
     environment:
       - SPARK_MODE=master
       - SPARK_MASTER_WEBUI_PORT=8083
       - SPARK_MASTER_HOST={{서버의 public ip}}
       - SPARK_PY_EXECUTOR_URI=file:///opt/spark/python/pyspark
       - SPARK_PYTHON=/opt/spark/python/bin/python3
       - SPARK_LOCAL_IP=0.0.0.0
     entrypoint: ["/opt/spark/bin/spark-class", "org.apache.spark.deploy.master.Master"]
     command: [
       "--host", "0.0.0.0",
       "--port", "7077",
       "--webui-port", "8083"
     ]
     restart: always

그래서 Server1, Server2, Server3에 Spark Driver, Worker Node를 어떻게 Container화 하고 통신을 어떻게 할지에 대한 docker-compose.yaml를 아래와 같이 설계 했습니다.

Server1에서 docker-compose.yaml 설계

# Spark Master Node를 Image로 만들고(최초) Container로 Up 하도록 정의하는 파일 
version: '3.8'
services:
  spark-master:
    image: bitnami/spark:3.4.1
    container_name: spark-master
    environment:
      - SPARK_MODE=master
      - SPARK_RPC_AUTHENTICATION_ENABLED=no
      - SPARK_RPC_ENCRYPTION_ENABLED=no
      - SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no
      - SPARK_SSL_ENABLED=no
      - SPARK_USER=spark
    ports:
      - "13457:8080"  # Spark Master Web UI 포트(13457번으로 준 것은 아무 의미 없습니다.. 그냥 쓴 거) 
      - "13458:7077"  # Spark Master와 Worker 간 통신 포트 (Master Node 관련 포트) (13458번으로 준 것은 아무 의미 없습니다.. 그냥 쓴거) 
    restart: always
    # deploy:
    #   resources:
    #     limits:
    #       cpus: "1.0"
    #       memory: "2G"

Server2에서 docker-compose.yaml 설계

# Spark Worker1 Node를 Image로 만들고(최초) Container로 Up 하도록 정의하는 파일 
version: '3.8'
services:
  spark-worker-1:
    image: bitnami/spark:3.4.1  # 안정적인 Spark 3.4.1 버전 사용
    container_name: spark-worker-1
    environment:
      - SPARK_MODE=worker
      - SPARK_MASTER_URL=spark://172.31.3.183:13458  # Server1의 private ip 
      - SPARK_WORKER_MEMORY=1G
      - SPARK_WORKER_CORES=1
      - SPARK_RPC_AUTHENTICATION_ENABLED=no
      - SPARK_RPC_ENCRYPTION_ENABLED=no
      - SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no
      - SPARK_SSL_ENABLED=no
      - SPARK_USER=spark
    restart: always  # 중단 시 자동으로 재시작
    deploy:
      resources:
        limits:
          cpus: "2.0"
          memory: "4G"

Server3에서 docker-compose.yaml 설계

 # Spark Worker2 Node를 Image로 만들고(최초) Container로 Up 하도록 정의하는 파일 
 version: '3.8'
 services:
   spark-worker-2:
     image: bitnami/spark:3.4.1  # 안정적인 Spark 3.4.1 버전 사용
     container_name: spark-worker-2
     environment:
       - SPARK_MODE=worker
       - SPARK_MASTER_URL=spark://172.31.3.183:13458
       - SPARK_WORKER_MEMORY=1G
       - SPARK_WORKER_CORES=1
       - SPARK_RPC_AUTHENTICATION_ENABLED=no
       - SPARK_RPC_ENCRYPTION_ENABLED=no
       - SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no
       - SPARK_SSL_ENABLED=no
       - SPARK_USER=spark
     restart: always  # 중단 시 자동으로 재시작
     deploy:
       resources:
         limits:
           cpus: "2.0"
           memory: "4G"

Spark Web UI에서 Spark worker node 2개가 따라오는 것을 확인했습니다.

0 replies

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Spark 로컬에서 구성하기부터 Docker Container로 어떻게 띄울지에 대한 부분을 조사 및 테스트 #8

{{title}}

{{editor}}'s edit

{{editor}}'s edit

Replies: 6 comments

{{title}}

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

{{editor}}'s edit

{{editor}}'s edit

Select a reply

Spark 로컬에서 구성하기부터 Docker Container로 어떻게 띄울지에 대한 부분을 조사 및 테스트 #8

wwkler Sep 3, 2024 Maintainer

Replies: 6 comments

wwkler Sep 3, 2024 Maintainer Author

wwkler Sep 3, 2024 Maintainer Author

wwkler Sep 3, 2024 Maintainer Author

wwkler Sep 3, 2024 Maintainer Author

wwkler Sep 4, 2024 Maintainer Author

Spark Cluster가 구성이 안되었던 트러블 슈팅 이야기입니다...

wwkler Sep 4, 2024 Maintainer Author

Spark Cluster 구성이 안되어서 어떻게 해결했는지에 대한 내용 입니다.

wwkler
Sep 3, 2024
Maintainer

wwkler
Sep 3, 2024
Maintainer Author

wwkler
Sep 3, 2024
Maintainer Author

wwkler
Sep 3, 2024
Maintainer Author

wwkler
Sep 3, 2024
Maintainer Author

wwkler
Sep 4, 2024
Maintainer Author

wwkler
Sep 4, 2024
Maintainer Author