튜토리얼 시리즈
실시간 데이터 파이프라인 구축
이 튜토리얼 시리즈는 카카오클라우드 Advanced Managed Kafka를 기반으로 실시간 데이터 파이프라인을 구축하는 전 과정을 단계별로 설명합니다.
메시지 수신부터 데이터 적재, 메타데이터 관리, 쿼리 분석까지 하나의 흐름으로 이어지며, 각 단계는 실제 운영 환경을 기준으로 작성하였습니다.
전체 데이터 흐름: Advanced Mananged Kafka → Object Storage → Data Catalog → Data Query
실시간 데이터 파이프라인 구축 아키텍처
튜토리얼 구성
실시간 데이터 파이프라인 구축 튜토리얼 시리즈는 아래와 같은 단계로 구성되어 있습니다.
- Kafka를 통한 메시지 처리: Kafka 환경을 구축하여 메시지를 송수신하는 과정을 설명합니다.
- Kafka 데이터의 Object Storage 적재: Kafka 메시지를 카카오클라우드 Object Storage에 적재하는 실습입니다. 실시간 데이터 파이프라인의 저장 단계를 구성합니다.
- Data Catalog와 Data Query를 이용한 Kafka 메시지 분석: Object Storage에 저장된 Kafka 데이터를 Data Catalog로 등록하고 Data Query 서비스 통해 조회하는 방법을 안내합니다.