Data Query 개요
카카오클라우드의 Data Query 서비스는 다양한 데이터 원본에 저장된 데이터를 표준 SQL로 조회, 분석, 처리할 수 있는 서버리스 대화형 쿼리 서비스입니다. 데이터 스캔량에 따라 최적화된 처리 엔진을 자동으로 배포하여 복잡한 인프라 설정 없이 대규모 데이터도 효율적으로 분석할 수 있습니다. 특히, 실시간 분석 및 사용자 정의 처리 로직을 지원하여 데이터 활용의 민첩성과 유연성을 제공합니다.
용어 정리
- 쿼리(Query): 데이터베이스에 요청을 보내어 필요한 데이터를 조회하거나 조작하는 명령 또는 요청으로서, SQL(Structured Query Language)을 사용해 쿼리를 작성합니다.
- DML(Data Manipulation Language): 데이터베이스의 데이터를 조회하고 조작하는 명령어로 테이블의 데이터를 SELECT, INSERT, UPDATE, DELETE 하는 데 사용됩니다.
- DDL(Data Definition Language): 데이터베이스 구조를 정의하고 관리하는 명령어로 주로 데이터베이스 객체를 생성, 수정, 삭제하는 데 사용됩니다.
- Data Catalog: 스토리지, 데이터베이스 등에 흩어져 있는 메타데이터들을 쉽게 검색하고 조회할 수 있도록 해주는 데이터 관리 서비스로서, Data Query에서 Data Catalog를 연결하여 데이터 원본을 가져옵니다.
- MySQL: 오픈 소스로 제공되는 관계형 데이터베이스 관리 시스템(RDBMS)인 MySQL을 기반으로 구축된 완전 관리형 데이터베이스 서비스로서, Data Query에서 MySQL 커넥션 생성을 통해 데이터 원본을 가져옵니다.
- Object Storage: 대용량 데이터를 객체(Key-value) 형태로 저장 및 처리하는데 최적화된 확장성과 안정성을 갖춘 객체 기반 스토리지 서비스로서, Data Query에서 실행한 쿼리 결과 데이터를 저장합니다.
사용 목적 및 사례
조직에서 저장된 데이터가 급격히 증가하고 데이터 원본이 다양화됨에 따라, 데이터를 조회하고 분석하는 데 어려움을 겪는 경우가 많습니다. 복잡한 데이터 인프라와 비효율적인 데이터 처리로 인해 데이터 활용 시간이 지연되고, 불필요한 복제 및 전처리 작업이 비용과 리소스를 증가시킬 수 있습니다. 또한, 데이터 분석 작업이 제한된 기술 사용자에게만 의존하면 데이터 활용의 민첩성이 떨어질 수 있습니다. Data Query는 이러한 문제를 해결하기 위해, 데이터를 표준 SQL로 손쉽게 조회 및 분석할 수 있는 서버리스 대화형 쿼리 서비스를 제공합니다. 이 서비스는 복잡한 인프라 설정 없이 다양한 데이터 원본에서 데이터를 실시간으로 처리하고, 비용 효율적인 분석 환경을 제공하여 조직의 데이터 활용성을 극대화합니다.
특징
데이터 분석 가속화
- 오픈 소스 분산 SQL 쿼리 엔진 Trino를 기반으로 한 처리 엔진과 병렬 처리 기술을 활용해 대규모 데이터세트의 분석 속도를 획기적으로 높입니다. 쿼리가 실행되는 동안 데이터 원본에서 필요한 정보만을 효율적으로 스캔하며, 최적화된 실행 계획을 통해 처리 시간을 최소화합니다. 이러한 구조는 데이터 분석 업무를 실시간에 가깝게 처리할 수 있도록 지원하여 데이터 기반 의사결정의 속도를 개선합니다
효율적 데이터 활용
- 표준 SQL을 지원해 기존 데이터 분석 도구와 쉽게 통합되며, 데이터 분석 작업을 효율적으로 진행할 수 있도록 사용자 친화적인 인터페이스를 제공합니다.
- 단일 SQL 쿼리로 여러 데이터 원본을 통합 조회할 수 있어 데이터 처리 워크플로우를 간소화합니다.
데이터 통합 및 일관성 유지
- 원본 데이터를 직접 가져와 쿼리를 실행할 수 있도록 지원합니다. 이를 통해 데이터 이동이나 변환 과정에서 발생할 수 있는 데이터 손실이나 불일치 문제를 방지하며, 원본 데이터와 일관된 분석 결과를 보장합니다.
- 사용자는 Data Catalog를 통해 데이터의 메타데이터와 스키마를 확인하고, MySQL 데이터베이스에 저장된 데이터를 표준 SQL을 통해 손쉽게 조회 및 분석할 수 있습니다. 이러한 통합 환경은 데이터 원본 간의 복잡성을 줄이고, 신뢰할 수 있는 데이터 관리와 분석 워크플로우를 제공합니다.
시작하기
Data Query에 대한 자세한 사용 가이드는 How-to Guides에서 설명합니다. 카카오클라우드를 처음 시작하신다면 카카오클라우드 시작하기를 참고하시기 바랍니다.