본문으로 건너뛰기

테이블 생성 및 관리

테이블 생성​

테이블은 데이터베이스에 종속된 메타데이터입니다. 테이블을 생성하려면 먼저 카탈로그와 데이터베이스가 생성되어 있어야 합니다. 데이터베이스 상태는 Active 또는 Altering이어야 데이터베이스에 테이블을 생성할 수 있습니다. Data Catalog 서비스에서 테이블을 만드는 방법은 다음과 같습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.

  2. 테이블 메뉴 또는 데이터베이스 상세 페이지에서 [테이블 생성] 버튼을 클릭합니다.

  3. 아래 정보를 입력한 후, [생성] 버튼을 클릭합니다.

    구분설명
    데이터베이스테이블을 추가할 데이터베이스의 이름
    - 데이터베이스를 선택하면 네트워크/서브넷 정보 확인 가능
    테이블 이름테이블의 이름
    - 동일 프로젝트 내에서 중복된 MySQL 인스턴스 그룹 이름은 사용할 수 없음
    데이터 저장 경로데이터베이스가 생성되는 Object Storage의 경로 입력 (데이터베이스 경로에 따라 하위 테이블의 경로 값이 참조됨)
    - s3 연결: 선택 시 전체 경로는 s3a:// 형태로 세팅되며, 미선택 시 swifta 형태로 세팅
    - 버킷 이름: Object Storage 버킷 이름 입력
    - 디렉터리: 버킷 하위 디렉터리 경로 입력
    데이터 유형테이블의 데이터 유형 지정
    - 지원하는 유형: Avro, JSON, Parquet, ORC, CSV
    Pub/Sub 연동Pub/Sub 연동 기능 활성화
    - 활성화 시, 사용할 Pub/Sub 토픽 선택
    - Pub/Sub 토픽 생성에 대한 자세한 설명은 Pub/Sub 토픽 생성 문서 참고
    설명 (선택)테이블에 대한 부가 설명
    스키마[필드 추가] 버튼을 클릭해 필드 추가
    - 최대 50개까지 추가 가능
    - 파티션 키로 지정되지 않은 필드가 1개 이상 있어야 스키마 생성 가능
    - 필드 이름: 필드 이름
      ㄴ avro 유형의 경우, 필드 이름은 숫자로 시작 불가
    - 데이터 유형: 필드의 데이터 유형
    - 파티션 키: 파티션 키 지정 여부, 테이블 생성 시에만 지정 가능
    - 코멘트: 파티션의 코멘트 130자까지 입력 가능, 이모지 입력 불가
    - [더 보기] 아이콘: 필드 수정, 삭제
안내

파티션 키로 지정되지 않은 필드가 1개 이상 있어야 스키마를 생성할 수 있습니다. 스키마 생성 방법에 대한 자세한 설명은 스키마 필드 추가를 참고하시기 바랍니다.

테이블 관리​

Data Catalog 서비스에서 테이블을 관리하는 방법을 설명합니다.

테이블 목록 보기​

Data Catalog의 테이블 목록에서 현재 사용 중인 테이블 목록을 조회할 수 있습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.

  2. 테이블 메뉴를 클릭하여 테이블 목록을 확인합니다.

    항목설명
    테이블 이름생성 시 입력한 테이블 이름
    - 테이블 이름을 클릭하여, 세부 정보 탭으로 이동 가능
    연결된 데이터베이스테이블에 연결된 데이터베이스의 이름
    상태테이블의 상태
    데이터 저장 경로생성 시 입력한 테이블 데이터 저장 경로
    데이터 유형테이블의 데이터 유형
    최종 수정일테이블의 최종 수정일시
    [더 보기] 아이콘- 전체 스키마 보기: 테이블의 전체 스키마 조회
    - 테이블 수정: 테이블 이름과 설명 수정
    - 테이블 삭제: 테이블 삭제
    * INACTIVE 상태의 경우, 단일 삭제만 가능하며 테이블 수정 불가

테이블 상세 보기​

테이블의 상세 정보를 확인할 수 있습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 상세 정보를 확인할 테이블을 선택합니다.
  3. 해당 테이블의 세부 정보를 확인합니다.

테이블 수정​

생성된 테이블 정보를 수정할 수 있습니다.

주의

테이블 형태에 따라 수정 가능한 범위가 상이합니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.

  2. 테이블 메뉴를 클릭한 뒤, 테이블 목록에서 수정할 테이블의 [더 보기] 아이콘을 클릭 후, 수정을 선택합니다.

  3. 테이블 수정 팝업창에서 수정 가능한 영역을 확인합니다.

    항목설명
    테이블 이름테이블 이름 변경
    - 단, 테이블 유형이 MySQL인 경우 이름 변경 불가
    Pub/Sub 연동활성/비활성화를 통해 Pub/Sub 연동 여부 선택
    - 테이블 유형이 MySQL인 경우 Pub/Sub 연동 기능 사용 불가
    - 연동에 사용된 Pub/Sub 토픽이 삭제된 경우 활성화 상태는 유지되며, 신규 토픽을 선택해야 정상적으로 사용 가능
    설명테이블 설명 수정

  4. 수정할 내용 반영 후 [저장] 버튼을 클릭합니다.

테이블 삭제​

더 이상 사용하지 않는 테이블을 삭제할 수 있습니다.

주의

삭제한 테이블과 데이터는 복구할 수 없습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
  2. 테이블 메뉴를 클릭한 뒤, 테이블 목록에서 삭제할 테이블의 [더 보기] 아이콘을 클릭 후, 삭제를 선택합니다.
  3. 테이블 삭제 팝업창에서 삭제할 테이블의 이름을 동일하게 입력하고, [삭제] 버튼을 클릭합니다.

Pub/Sub 연동​

Data Catalog 테이블에 Pub/Sub 토픽을 연동하는 방법을 설명합니다.

Pub/Sub 토픽 연동하기​

안내

테이블에 Pub/Sub 토픽을 연동하기 위해서는 Pub/Sub 토픽 생성이 선행되어야 합니다.
토픽 생성 방법은 Pub/Sub 토픽 생성 문서를 참고해 주세요.

Data Catalog 테이블에서 Pub/Sub 토픽을 연동하는 방법은 다음과 같습니다.

  1. 테이블 생성 시, Pub/Sub 연동 항목을 활성화합니다.

  2. 사용 가능한 토픽 목록을 확인 후, 토픽을 선택합니다.

  3. 이미 테이블을 생성한 경우, 수정을 통해 Pub/Sub 연동 항목을 활성화합니다.

  4. 사용 가능한 토픽 목록을 확인 후, 토픽을 선택합니다.

Pub/Sub 이벤트 관리​

테이블 정보를 변경하면 지정한 Pub/Sub 토픽으로 이벤트가 게시됩니다.
게시된 이벤트는 Pub/Sub 서브스크립션 관리 메뉴에서 확인할 수 있습니다.

생성되는 이벤트 유형과 종류는 다음과 같습니다.

유형설명종류
Table 이벤트Data Catalog에서 테이블을 생성/수정/삭제하는 동작을 통해 생성- CreateTableEvent
- AlterTableEvent
- DropTableEvent
Partition 이벤트Hadoop Eco 연동을 통해 테이블의 파티션 관련 정보 변경 시 생성- AddPartitionEvent
- AlterPartitionEvent
- DropPartitionEvent

테이블 내 데이터 관리​

카카오클라우드 콘솔(KakaoCloud Console)의 Data Catalog 서비스에서 테이블 내 데이터를 관리하는 방법을 설명합니다. SerDe 파라미터, 테이블 속성, 스키마, 파티션을 관리할 수 있습니다.

안내

크롤러로 생성된 테이블(MySQL 유형)의 경우 스키마 데이터만 노출됩니다.

SerDe 파라미터 조회​

SerDe 파라미터를 조회하는 방법은 다음과 같습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.

  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 SerDe 파라미터를 조회할 테이블을 선택합니다.

  3. SerDe 파라미터 탭을 선택합니다.

    항목설명
    key  SerDe 파라미터의 key 값
    ValueSerDe 파라미터의 Value 값
    [더 보기] 아이콘- SerDe 파라미터 수정
    * 23년 1월 기준 파라미터 삭제 미지원

SerDe 파라미터 추가​

신규 SerDe 파라미터를 추가하는 방법은 다음과 같습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.

  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 SerDe 파라미터를 추가할 테이블을 선택합니다.

  3. SerDe 파라미터 탭에서 [SerDe 파라미터 추가하기] 버튼을 클릭합니다.

  4. SerDe 파라미터 추가하기 팝업창에서 파라미터를 추가하고 [추가] 버튼을 클릭합니다.

    항목설명
    key    SerDe 파라미터의 key 값
    ValueSerDe 파라미터의 Value 값
    - 이모지 입력 불가

SerDe 파라미터 수정​

SerDe 파라미터를 수정하는 방법은 다음과 같습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
  2. Table 탭을 클릭 후, 테이블 목록에서 SerDe 파라미터를 수정할 테이블을 선택합니다.
  3. SerDe 파라미터 탭에서 [더 보기] 아이콘을 클릭하고, SerDe 파라미터 수정을 선택합니다.
  4. SerDe 파라미터 수정하기 팝업창에서 Value를 수정하고 [수정] 버튼을 클릭합니다.

테이블 속성 조회​

Data Catalog의 테이블 목록에서 현재 사용 중인 테이블 목록을 조회할 수 있습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.

  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 테이블 속성을 조회할 테이블을 선택합니다.

  3. 테이블 속성 탭에서 테이블 속성을 확인합니다.

    항목설명
    key테이블 속성의 key 값
    Value테이블 속성의 Value 값
    [더 보기] 아이콘- 테이블 속성 수정
    - 테이블 속성 삭제

테이블 속성 추가​

테이블 속성을 추가하는 방법은 다음과 같습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.

  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 테이블 속성을 추가할 테이블을 선택합니다.

  3. 테이블 속성 탭에서 [테이블 속성 추가하기] 버튼을 클릭합니다.

  4. 테이블 속성 추가하기 팝업창에서 속성을 추가하고 [추가] 버튼을 클릭합니다.

    항목설명
    key테이블 속성의 key 값
    Value테이블 속성의 Value 값
    - 이모지 입력 불가

테이블 속성 수정​

테이블 속성을 수정하는 방법은 다음과 같습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 테이블 속성을 추가할 테이블을 선택합니다.
  3. 테이블 속성 탭에서 수정할 테이블 속성의 [더 보기] 아이콘 > 테이블 속성 수정을 선택합니다.
  4. 테이블 속성 수정하기 팝업창에서 속성을 수정하고 [수정] 버튼을 클릭합니다.

테이블 속성 삭제​

Data Catalog의 테이블 상세 정보에서 현재 사용 중인 테이블 속성을 삭제할 수 있습니다.

주의

삭제한 데이터는 복구할 수 없습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 테이블 속성을 삭제할 테이블을 선택합니다.
  3. 테이블 속성 탭에서 삭제할 테이블 속성의 [더 보기] 아이콘 > 테이블 속성 삭제를 선택합니다.
  4. 테이블 속성 삭제 팝업창에서 [삭제] 버튼을 클릭합니다.

스키마 필드 조회​

Data Catalog의 테이블 상세 정보에서 스키마 필드를 조회할 수 있습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.

  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 스키마 필드를 조회할 테이블을 선택합니다.

  3. 스키마 탭에서 스키마 필드를 조회합니다.

    항목설명
    No.파티션 필드를 정렬을 위한 칼럼 번호
    - 최초 칼럼 번호는 1부터 시작
    - 칼럼 번호는 1과 마지막 숫자에 +1한 숫자 사이에서 지정
    * 파티션 키로 지정된 경우 입력하지 않음
    필드 이름설정한 스키마 필드 이름
    데이터 유형필드의 데이터 유형
    조회 가능한 스키마가 있는 경우, 클릭해 확인 가능
    - 지원하는 유형: array, bigint, binary, boolean, char, date, decimal,
    double, float, int, map, smallint, string, struct, timestamp, tinyint, union, varchar
    파티션 키테이블 생성 시 파티션 키 옵션 지정 유무
    코멘트스키마 관련 설명
    더 보기- 필드 수정: 필드 수정 팝업
    - 필드 삭제: 필드 삭제 팝업

스키마 필드 추가​

Data Catalog의 테이블 상세 정보에서 스키마 필드를 추가할 수 있습니다. 단, 최대 50개까지 추가할 수 있습니다.

안내

데이터 유형이 JSON, CSV, MySQL일 경우, 테이블 생성 후 필드 추가, 수정, 삭제할 수 없습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.

  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 스키마 필드를 추가할 테이블을 선택합니다.

  3. 스키마 탭을 클릭한 뒤 [필드 추가] 버튼을 클릭합니다.

  4. 필드 추가 팝업창에서 정보를 입력하고 [추가] 버튼을 클릭합니다.

    항목설명
    칼럼 번호파티션 필드를 정렬하는 번호
    - 최초 칼럼 번호는 1부터 시작
    - 칼럼 번호는 1과 마지막 숫자에 +1한 숫자 사이에서 지정
    * 파티션 키로 지정된 경우 입력하지 않음
    필드 이름필드 이름을 입력
    데이터 유형필드의 데이터 유형
    - 지원하는 유형: array, bigint, binary, boolean, char, date, decimal,
    double, float, int, map, smallint, string, struct, timestamp, tinyint, union, varchar
    코멘트 (선택)필드에 대한 설명

스키마 필드 수정​

Data Catalog의 테이블 상세 정보에서 스키마 필드를 수정할 수 있습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 스키마 필드를 추가할 테이블을 선택합니다.
  3. 스키마 탭에서 수정할 스키마 필드의 [더 보기] 아이콘 > 필드 수정을 선택합니다.
  4. 필드 수정 팝업창에서 정보를 수정하고 [수정] 버튼을 클릭합니다.

스키마 필드 삭제​

Data Catalog의 테이블 상세 정보에서 현재 사용 중인 스키마 필드를 삭제할 수 있습니다.

주의

삭제한 데이터는 복구할 수 없습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 스키마 필드를 삭제할 테이블을 선택합니다.
  3. 스키마 탭에서 삭제할 스키마 필드의 [더 보기] 아이콘 > 필드 삭제를 선택합니다.
  4. 필드 삭제 팝업창에서 [삭제] 버튼을 클릭합니다.

파티션 조회​

Data Catalog의 테이블 상세 정보에서 파티션을 조회할 수 있습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.

  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 파티션을 조회할 테이블을 선택합니다.

  3. 파티션 탭에서 파티션 정보를 조회합니다.

    항목설명
    id사용자가 생성한 파티션 키 정보
    Files해당 파티션의 연결된 파일 링크
    Properties해당 파티션의 스키마 조회