Discussions

• 1 You must be logged in to vote

  💬

  Datapipeline test issue - CDC

  dnlpys started Oct 8, 2024 in General

  

  

  0
• 1 You must be logged in to vote

  💡

  스파크 모니터링 추가후 jmx-exporter 관련 오류가 떠서 이미지 원복중

  Kdreamtomaster started Oct 8, 2024 in Ideas

  

  

  1
• 1 You must be logged in to vote

  💬

  그라파나 슬랙 알람 구성 참고 링크 및 간단 테스트

  Kdreamtomaster started Oct 5, 2024 in General

  

  

  0
• 1 You must be logged in to vote

  💡

  그라파나 대시보드 옮길때 대시보드 JSON을 이용하는 방법

  Kdreamtomaster started Oct 7, 2024 in Ideas

  

  

  0
• 1 You must be logged in to vote

  💡

  train.json , test.json 활용방안 (데이터 검증용)

  Kdreamtomaster started Oct 6, 2024 in Ideas

  

  

  0
• 1 You must be logged in to vote

  💬

  monitoring platform 환경구성( promethus, grafana)

  dnlpys started Oct 2, 2024 in General

  

  

  6
• 1 You must be logged in to vote

  💬

  Promethus-Grafana 모니터링 PromQL 작성 예시 모음

  Kdreamtomaster started Oct 2, 2024 in General

  

  

  4
• 1 You must be logged in to vote

  💡

  카프카 (KRaft 구성시) 컨테이너 모니터링 관련 자료조사

  Kdreamtomaster started Sep 24, 2024 in Ideas

  

  

  0
• 1 You must be logged in to vote

  🙌

  Data Pipeline 세미 테스트

  TEST 테스트 코드를 수정할 때 사용합니다.

  wwkler started Sep 24, 2024 in Show and tell

  

  

  4
• 1 You must be logged in to vote

  💬

  DB to Kafka CDC 환경구성

  dnlpys started Sep 13, 2024 in General

  

  

  

  

  10
• 1 You must be logged in to vote

  💡

  S3 Data 적재

  CONFIG 프로젝트 설정을 변경할 때 사용합니다.

  dnlpys started Sep 6, 2024 in Ideas

  

  

  5
• 2 You must be logged in to vote

  💬

  /var/run/docker.sock 에 대한 자료조사

  Kdreamtomaster started Sep 24, 2024 in General

  

  

  0
• 1 You must be logged in to vote

  🙌

  사실상 Kafka로부터 데이터 받아서 Spark Cluster로 train.json, test.json 만들기

  wwkler started Sep 19, 2024 in Show and tell

  

  

  0
• 1 You must be logged in to vote

  🙌

  Spark를 가지고 S3-2에 train, test에 있는 이미지들에 대한 train.json, test.json 만들기

  TEST 테스트 코드를 수정할 때 사용합니다.

  wwkler started Sep 13, 2024 in Show and tell

  

  

  1
• 1 You must be logged in to vote

  💬

  Spark가 분산 처리하고 있는지 확인하는 방법

  wwkler started Sep 13, 2024 in General

  

  

  0
• 1 You must be logged in to vote

  💡

  airflow sensor 를 활용하여 s3 변경사항 확인 하는 방법 조사

  Kdreamtomaster started Sep 6, 2024 in Ideas

  

  

  7
• 1 You must be logged in to vote

  🙌

  Docker Host Network로 Spark Cluster 사용하기

  CONFIG 프로젝트 설정을 변경할 때 사용합니다.

  wwkler started Sep 9, 2024 in Show and tell

  

  

  0
• 1 You must be logged in to vote

  🙏

  spark-submit 명령어를 활용해서 Container된 Spark-Cluster를 사용 관련 Trouble Shooting

  CONFIG 프로젝트 설정을 변경할 때 사용합니다.

  wwkler asked Sep 6, 2024 in Q&A · Unanswered

  

  

  2
• 1 You must be logged in to vote

  💬

  S3 환경 구성

  duri-wip started Sep 6, 2024 in General

  

  

  

  

  3
• 1 You must be logged in to vote

  🙌

  카프카 클러스터 도커로 콘솔 컨슈머, 프로듀서 테스트

  CONFIG 프로젝트 설정을 변경할 때 사용합니다. TEST 테스트 코드를 수정할 때 사용합니다.

  Kdreamtomaster started Sep 3, 2024 in Show and tell

  

  

  4
• 1 You must be logged in to vote

  🙌

  Spark 처리 테스트 (Jupyter Lab 환경 .ipynb)

  TEST 테스트 코드를 수정할 때 사용합니다.

  wwkler started Sep 5, 2024 in Show and tell

  

  

  1
• 1 You must be logged in to vote

  💡

  데이터 보내는 Airflow Dag 작성 관련 자료조사 및 테스트

  Kdreamtomaster started Sep 4, 2024 in Ideas

  

  

  7
• 1 You must be logged in to vote

  💡

  Spark 로컬에서 구성하기부터 Docker Container로 어떻게 띄울지에 대한 부분을 조사 및 테스트

  CONFIG 프로젝트 설정을 변경할 때 사용합니다. TEST 테스트 코드를 수정할 때 사용합니다.

  wwkler started Sep 3, 2024 in Ideas

  

  

  6
• 1 You must be logged in to vote

  💬

  Airflow SSH operator를 사용해 다른 서버에 작업하기

  duri-wip started Sep 4, 2024 in General

  

  

  2
• 1 You must be logged in to vote

  💬

  Airflow 환경구성

  duri-wip started Sep 4, 2024 in General

  

  

  0