- V2X 시스템에서 생성되는 실시간 데이터 처리 파이프라인 구축
- 자율 주행 차량 분석 플랫폼 구축
- Airflow, Kafka, Spark, HDFS, PostgreSQL
- 실시간으로 생성되는 대량의 데이터를 처리하고, 서버의 상태를 추적하며 문제가 발생할 경우 이를 해결하여 서버의 안정성을 향상시킬 필요성의 등장했다.
- 따라서 대량의 실시간 데이터를 처리하기 위해 확장가능한 프레임워크, 기술을 사용한 아키텍처를 구성해야한다.
- 에어플로우, 카프카, 스파크, 하둡 hdfs, postgresql 등을 사용하여 실시간 데이터 파이프라인을 구축하는 것을 목적으로 프로젝트를 진행한다.
- 데이터 시각화는 Streamlit을 통해서 수행 및 배포한다.
링크를 통해서 자세한 내용을 확인할 수 있습니다.
| 기술명 | 버전정보 |
|---|---|
| Hadoop & HDFS | 3.3.6 |
| PostgreSQL | 16.3 |
| Spark | 3.5.1 |
| Kafka | 2.13 |
| Airflow | 2.9.3 |