크롤러 생성 및 관리

크롤러는 MySQL 인스턴스의 테이블, 스키마를 스캔해 메타데이터를 자동으로 Data Catalog에 등록하는 기능입니다. 크롤러를 사용하면 MySQL의 스키마 변경 사항을 주기적으로 동기화할 수 있어 메타데이터 관리가 간편해집니다. 이 문서에서는 크롤러 생성, 조회, 실행, 삭제 절차를 설명합니다.

크롤러 생성

크롤러를 생성하려면 Data Catalog 데이터베이스(Standard 유형) 와 MySQL 인스턴스가 먼저 생성되어 있어야 합니다.

안내

데이터베이스 및 MySQL 생성 방법은 아래 가이드를 참고하세요.

카카오클라우드 콘솔 > Analytics > Data Catalog로 이동합니다.
크롤러 메뉴에서 [크롤러 생성] 버튼을 클릭합니다.

크롤러 생성에서 필요한 정보를 입력한 후, [생성] 버튼을 클릭합니다.

구분	설명
데이터베이스	테이블을 추가할 데이터베이스 선택 - 데이터베이스의 상태가 `ACTIVE`인 경우에만 목록에서 표시 - 데이터베이스를 선택 시 VPC/서브넷 정보 확인 가능 (⚠️ Iceberg 유형의 카탈로그에서는 크롤러 미지원)
크롤러 이름	크롤러의 이름
MySQL 전체 경로	연결할 MySQL을 선택하고 해당 MySQL의 데이터베이스 이름 입력 - 상태가 `AVAILABLE`인 인스턴스만 노출
MySQL 계정	MySQL 생성 시 설정된 사용자 이름, 비밀번호 입력 - 연결 테스트를 통해 정상 연결 여부 확인 필요
설명 (선택)	크롤러에 대한 부가 설명 입력
테이블 Prefix (선택)	생성되는 테이블 앞에 붙일 접두어 - prefix_데이터베이스 이름_테이블 이름으로 테이블 생성 - 영문 소문자, 숫자, 언더바(_)만 가능
스케줄	크롤러 실행 주기 설정 - 온디맨드 선택 시 직접 실행하는 경우에만 동작

튜토리얼 안내

Data Catalog 크롤러의 동작 방식과 메타데이터 추출 흐름을 보다 명확히 이해하려면, Data Catalog 크롤러 기반 MySQL 메타데이터 추출 튜토리얼을 참고하세요. 두 개의 MySQL 데이터베이스에서 크롤러로 메타데이터를 자동 추출하는 전체 흐름을 실습 형태로 확인할 수 있습니다.

크롤러 목록 및 상세 정보 조회

Data Catalog의 크롤러 목록에서 현재 사용 중인 크롤러 주요 정보와 상태를 확인할 수 있습니다.

카카오클라우드 콘솔 > Analytics > Data Catalog로 이동합니다.

크롤러 메뉴를 클릭하여 크롤러 목록을 확인합니다.

항목	설명
이름	생성 시 입력한 크롤러 이름 - 크롤러 이름을 클릭하여, 세부 정보 탭으로 이동 가능
설명	생성 시 입력한 크롤러 설명
상태	크롤러의 상태
스케줄	크롤러가 실행되는 스케줄
마지막 실행 상태	마지막 실행된 크롤러 상태
마지막 실행일	마지막 크롤러가 실행된 일시
[⋮] 버튼	- 수정 : 크롤러의 설명, 스케줄 수정 가능 - 실행: 수동으로 크롤러를 실행 가능 - 삭제: 크롤러 삭제 * 단 크롤러의 상태가 `CREATING` / `ALTERING` / `DELETING` / `RUNNING`인 경우, 수정, 실행, 삭제 모두 불가

크롤러 목록에서 상세 정보를 확인할 크롤러를 선택하면, 세부 정보를 확인할 수 있습니다.

크롤러 실행 내역

크롤러의 실행 내역 정보를 확인할 수 있습니다.

카카오클라우드 콘솔 > Analytics > Data Catalog로 이동합니다.
크롤러 메뉴를 클릭 후, 크롤러 목록에서 상세 정보를 확인할 크롤러를 선택합니다.

상세 정보에서 실행 내역 탭을 클릭 후, 실행 내역을 확인합니다.

안내

크롤러의 실행 내역은 최대 90일 이내의 내역만 노출됩니다. 90일이 경과한 실행 내역은 자동으로 삭제됩니다.

항목	설명
시작 일시	해당 크롤링이 시작된 일시
끝난 일시	크롤링 끝난 일시
실행 시간	크롤러가 실행된 시간
상태	실행된 크롤러의 상태 - `Succeeded`: 크롤링이 정상적으로 끝난 상태 - `Running`: 크롤링이 진행 중인 상태 - `Failed`: 크롤링이 실패한 상태

크롤러 삭제

더 이상 사용하지 않는 크롤러를 삭제할 수 있습니다.

주의

삭제한 크롤러와 실행 내역은 복구할 수 없으며, 카탈로그가 삭제되면 크롤러도 자동으로 삭제됩니다.

카카오클라우드 콘솔 > Analytics > Data Catalog로 이동합니다.
크롤러 메뉴를 클릭한 뒤, 크롤러 목록에서 삭제할 크롤러의 [⋮] 버튼 > 삭제를 선택합니다.
팝업창에서 삭제할 크롤러의 이름을 동일하게 입력하고, [삭제] 버튼을 클릭합니다.