Skip to main content

크롤러 생성 및 관리

크롤러 생성​

Data Catalog에서 크롤러는 MySQL 데이터를 스캔하여 메타데이터를 추출하고 Data Catalog를 자동으로 업데이트하여 데이터 검색을 간편하게 돕는 기능입니다.
크롤러를 생성하려면 먼저 데이터베이스와 MySQL이 생성되어 있어야 합니다. Data Catalog 서비스에서 크롤러를 만드는 방법은 다음과 같습니다.

안내

데이터베이스 및 MySQL 생성 방법은 아래 가이드를 참고하시기 바랍니다.
데이터베이스 생성 방법 / MySQL 생성 방법

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
  2. Crawler 메뉴에서 [크롤러 생성] 버튼을 클릭합니다.
  3. 크롤러 생성에서 필요한 정보를 입력한 후, [생성] 버튼을 클릭합니다.
    구분설명
    데이터베이스테이블을 추가할 데이터베이스의 이름
    - 데이터베이스의 상태가 Active인 경우에만 목록에서 노출됩니다.
    - 데이터베이스를 선택하면 네트워크/서브넷 정보를 확인할 수 있습니다.
    크롤러 이름크롤러의 이름
    - 영문 소문자, 숫자, 언더바(_)만 사용 가능(4~64자)
    MySQL 전체 경로연결할 MySQL을 선택하고 해당 MySQL의 데이터베이스 이름 입력
    - MySQL의 상태가 Available인 경우에만 목록에서 노출됩니다.
    MySQL 계정MySQL 생성 시 설정된 사용자 이름, 비밀번호 입력
    - 연결 테스트: MySQL 전체경로 및 계정 정보 입력 후 연결 [테스트] 버튼을 통해 연결 테스트를 수행할 수 있습니다.
    * 연결 테스트가 정상적으로 완료 되지 않을 경우 크롤러를 생성할 수 없습니다.
    설명 (선택)크롤러에 대한 부가 설명 입력
    테이블 Prefix (선택)생성되는 테이블 이름 앞에 붙는 Prefix로, Prefix+MySQL의 데이터베이스 이름_테이블 이름으로 테이블 생성
    - 영문 소문자, 숫자, 언더바(_)만 사용 가능(1~64자)
    스케줄크롤러가 실행되는 일정 관리
    - 온디맨드, 시간 단위, 일 단위, 주 단위, 월 단위 중 선택 가능
    - 온디맨드의 경우 별도 스케줄 없이 직접 실행을 할 경우에만 실행됩니다.
안내

데이터베이스 및 MySQL의 상태가 정상(Active/Available)인 경우에만 목록에서 노출됩니다.

크롤러 관리​

Data Catalog 서비스에서 크롤러를 관리하는 방법을 설명합니다.

크롤러 목록 보기​

Data Catalog의 크롤러에서 현재 사용 중인 크롤러 목록을 확인할 수 있습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.

  2. Crawler 메뉴를 클릭하여 크롤러 목록을 확인합니다.

    항목설명
    이름생성할 때 입력한 크롤러 이름
    - 크롤러 이름을 클릭하여, 세부 정보 탭으로 이동 가능
    설명생성할 때 입력한 크롤러 설명
    상태크롤러의 상태
    스케줄크롤러가 실행되는 스케줄
    마지막 실행 상태마지막 실행된 크롤러 상태
    마지막 실행일마지막 크롤러가 실행된 일시
    [더 보기] 아이콘- 수정 : 크롤러의 설명, 스케줄 수정 가능
    - 실행: 수동으로 크롤러를 실행 가능
    - 삭제: 크롤러 삭제
    * 단 크롤러의 상태가 CREATING/ALTERING/DELETING/RUNNING인 경우, 수정, 실행, 삭제 모두 불가

크롤러 상세 보기​

크롤러의 상세 정보를 확인할 수 있습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
  2. Crawler 메뉴를 클릭 후, 크롤러 목록에서 상세 정보를 확인할 크롤러를 선택합니다.
  3. 해당 크롤러의 세부 정보를 확인합니다.

크롤러 실행 내역​

크롤러의 실행 내역 정보를 확인할 수 있습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.

  2. Crawler 메뉴를 클릭 후, 크롤러 목록에서 상세 정보를 확인할 크롤러를 선택합니다.

  3. 상세 정보에서 실행 내역 탭을 클릭 후, 실행 내역을 확인합니다.

    안내

    크롤러의 실행 내역은 최대 90일 이내의 내역만 노출됩니다. 90일이 경과한 실행 내역은 자동으로 삭제됩니다.

    항목설명
    시작 일시해당 크롤링이 시작된 일시
    끝난 일시크롤링 끝난 일시
    실행 시간크롤러가 실행된 시간
    상태실행된 크롤러의 상태
    - Succeeded: 크롤링이 정상적으로 끝난 상태
    - Running: 크롤링이 진행 중인 상태
    - Failed: 크롤링이 실패한 상태

크롤러 삭제​

더 이상 사용하지 않는 크롤러를 삭제할 수 있습니다.

caution

삭제한 크롤러와 실행 내역은 복구할 수 없으며, 카탈로그가 삭제되면 크롤러도 자동으로 삭제됩니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
  2. Crawler 메뉴를 클릭한 뒤, 크롤러 목록에서 삭제할 크롤러의 [더 보기] 아이콘을 클릭 후, 삭제를 선택합니다.
  3. 삭제 팝업창에서 삭제할 크롤러의 이름을 동일하게 입력하고, [삭제] 버튼을 클릭합니다.
Last updated on