본문으로 건너뛰기

테이블 생성 및 관리

테이블은 데이터베이스에 종속된 메타데이터 단위입니다. 테이블 생성과 관리 방법을 확인할 수 있습니다.

테이블 생성​

테이블을 생성하려면 먼저 카탈로그와 데이터베이스가 생성되어 있어야 합니다. 테이블 생성 전, 데이터베이스 상태는 Active 또는 Altering이어야 합니다.

Data Catalog 서비스에서 테이블을 만드는 방법은 다음과 같습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog로 이동합니다.

  2. 테이블 메뉴 또는 데이터베이스 상세 페이지에서 [테이블 생성] 버튼을 클릭합니다.

  3. 아래 정보를 입력한 후, [생성] 버튼을 클릭합니다.

    구분설명
    유형테이블 유형 선택
    - Standard 테이블 또는 Iceberg 테이블
    데이터베이스테이블을 생성할 데이터베이스 선택
    테이블 이름테이블의 이름
    데이터 저장 경로테이블의 데이터가 저장되는 Object Storage의 경로 입력
    - 버킷 선택: Object Storage 버킷 선택
    - 디렉터리: 버킷 하위 디렉터리 경로 입력

    * 참고 : 전체 경로는 s3a:// 형태로 저장
    데이터 형식테이블 데이터 형식 선택
    - Standard 테이블 지원 유형 : Avro, JSON, Parquet, ORC, CSV, TEXT
    - Iceberg 테이블 지원 유형 : Avro, Parquet, ORC
    Pub/Sub 연동Pub/Sub 연동 기능 활성화 여부 선택 (⚠️ Standard 유형에서만 표시)
    - 활성화 시, 사용할 Pub/Sub 토픽 선택
    - Pub/Sub 토픽 생성에 대한 자세한 설명은 Pub/Sub 토픽 생성 문서 참고
    설명 (선택)테이블에 대한 부가 설명
    속성 (선택)테이블에 대한 속성 추가
    스키마[필드 추가] 버튼을 클릭해 스키마 구성
    - 파티션 키: 파티션 키 지정 여부, 테이블 생성 시에만 지정 가능
    - 칼럼 번호: 필드의 스키마 내 위치
    - 필드 이름: 필드 이름
      ㄴ avro 유형의 경우, 필드 이름은 숫자로 시작 불가
    - 필드 타입: 필드의 데이터 타입
    - 설명(선택): 필드에 대한 부가 설명
    - [⋮] 버튼: 필드 수정, 삭제
안내
  • 파티션 키로 지정되지 않은 필드가 1개 이상 있어야 스키마 생성이 가능합니다.
  • 필드와 파티션 필드를 합산하여 최대 50개까지 추가할 수 있습니다.
  • 필드의 설명은 130자까지 입력 가능하며 이모지는 입력 불가합니다.
  • Iceberg 테이블 유형은 파티션 필드와 동일한 이름의 필드가 추가되면 해당 필드를 identity transform으로 참조하는 파티션 속성이 추가됩니다.
  • 필드에 대한 자세한 설명은 각 유형별 스키마 필드 추가 내용을 참고하시기 바랍니다.

테이블 목록 및 상세 정보 조회​

Data Catalog의 테이블 목록에서 현재 사용 중인 테이블의 주요 정보와 상태를 확인할 수 있습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.

  2. 테이블 메뉴를 클릭하여 테이블 목록을 확인합니다.

    항목설명
    이름생성 시 입력한 테이블 이름
    - 테이블 이름을 클릭하여, 세부 정보 탭으로 이동 가능
    연결된 데이터베이스테이블에 연결된 데이터베이스의 이름
    상태테이블의 상태
    데이터 저장 경로생성 시 입력한 테이블 데이터 저장 경로
    유형테이블의 유형
    - Standard, Iceberg, MySQL
    데이터 형식테이블의 데이터 포맷
    최종 수정일테이블의 최종 수정일시
    [⋮] 버튼- 전체 스키마 보기: 테이블의 전체 스키마 조회
    - 테이블 수정: 테이블 '데이터 저장 경로'와 '설명' 수정
    - 테이블 삭제: 테이블 삭제
    * INACTIVE 상태의 경우, 단일 삭제만 가능하며 테이블 수정 불가

  3. 테이블 목록에서 상세 정보를 확인할 테이블을 선택하면, 세부 정보를 확인할 수 있습니다. 테이블 유형별로 확인 가능한 상세 정보는 테이블 내 데이터 관리를 참고하시기 바랍니다.

테이블 수정​

생성된 테이블 정보를 수정할 수 있습니다. 단, 테이블 유형에 따라 수정 가능 범위는 상이합니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog로 이동합니다.

  2. 테이블 메뉴를 클릭합니다.

  3. 테이블 목록에서 수정할 테이블의 [⋮] 버튼 > 수정을 선택합니다.

  4. 팝업창에서 수정 가능한 영역을 확인합니다.

    항목설명
    데이터 저장 경로생성 시 입력한 테이블 데이터 저장 경로
    Pub/Sub 연동Pub/Sub 연동 활성/비활성 설정
    - 연동에 사용된 Pub/Sub 토픽이 삭제된 경우 활성화 상태는 유지되며, 신규 토픽을 선택해야 정상적으로 사용 가능
    설명 (선택)테이블 설명 수정

  5. [저장] 버튼을 클릭합니다.

테이블 삭제​

더 이상 사용하지 않는 테이블을 삭제할 수 있습니다.

주의

삭제한 테이블과 데이터는 복구할 수 없습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog로 이동합니다.
  2. 테이블 메뉴를 클릭합니다.
  3. 테이블 목록에서 삭제할 테이블의 [⋮] 버튼 > 삭제를 선택합니다.
  4. 팝업창에서 삭제할 테이블의 이름을 동일하게 입력하고, [삭제] 버튼을 클릭합니다.

Pub/Sub 연동​

테이블 메타데이터 변경 사항을 Pub/Sub 토픽으로 전달하여 외부 시스템과 연동할 수 있습니다.

Pub/Sub 토픽 연동​

안내

Pub/Sub 연동은 Standard 테이블에서만 사용할 수 있으며, 연동 전에 Pub/Sub 토픽이 미리 생성되어 있어야 합니다.
토픽 생성 방법은 Pub/Sub 토픽 생성을 참고하세요.

Data Catalog 테이블에서 Pub/Sub 토픽을 연동하는 방법은 다음과 같습니다.

  1. 테이블 생성 시, Pub/Sub 연동 항목을 활성화합니다.
  2. 사용 가능한 토픽 목록을 확인 후, 토픽을 선택합니다.
  3. 이미 테이블을 생성한 경우, 수정을 통해 Pub/Sub 연동 항목을 활성화합니다.
  4. 사용 가능한 토픽 목록을 확인 후, 토픽을 선택합니다.

Pub/Sub 이벤트 관리​

테이블 정보를 변경하면 지정한 Pub/Sub 토픽으로 이벤트가 게시됩니다. 게시된 이벤트는 Pub/Sub의 서브스크립션 관리에서 확인할 수 있습니다.

생성되는 이벤트 유형과 종류는 다음과 같습니다.

유형설명종류
Table 이벤트Data Catalog에서 테이블을 생성, 수정, 삭제하는 동작을 통해 생성- CreateTableEvent
- AlterTableEvent
- DropTableEvent
Partition 이벤트Hadoop Eco 연동 시 파티션 변경에 따라 게시되는 이벤트- AddPartitionEvent
- AlterPartitionEvent
- DropPartitionEvent

테이블 내 데이터 관리​

테이블은 SerDe 파라미터, 테이블 속성, 스키마, 파티션 등 다양한 메타데이터로 구성됩니다.
Data Catalog 콘솔에서는 테이블 유형(Standard, Iceberg)에 따라 메타데이터를 조회, 추가, 수정, 삭제할 수 있습니다.

안내

크롤러로 생성된 테이블(MySQL 유형)의 경우 스키마 데이터만 노출됩니다.


Standard 테이블 유형​


SerDe 파라미터 관리​


[SerDe 파라미터 조회]​

Standard 테이블의 SerDe 파라미터를 조회하는 방법은 다음과 같습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog로 이동합니다.

  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 SerDe 파라미터를 조회할 테이블을 선택합니다.

  3. SerDe 파라미터 탭을 선택합니다.

    항목설명
    키  SerDe 파라미터의 Key
    값SerDe 파라미터의 Value
    [⋮] 버튼수정 기능 제공 (※ 삭제 기능 미지원)

[SerDe 파라미터 추가]​

Standard 테이블에서 신규 SerDe 파라미터를 추가하는 방법은 다음과 같습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog로 이동합니다.

  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 SerDe 파라미터를 추가할 테이블을 선택합니다.

  3. SerDe 파라미터 탭에서 [SerDe 파라미터 추가하기] 버튼을 클릭합니다.

  4. 팝업창에서 파라미터를 추가하고 [추가] 버튼을 클릭합니다.

    항목설명
    키    SerDe 파라미터의 Key
    값SerDe 파라미터의 Value

[SerDe 파라미터 수정]​

Standard 테이블에서 SerDe 파라미터를 수정하는 방법은 다음과 같습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog로 이동합니다.

  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 SerDe 파라미터를 수정할 테이블을 선택합니다.

  3. SerDe 파라미터 탭에서 [⋮] 버튼 > 수정을 선택합니다.

  4. 팝업창에서 Value를 수정하고 [수정] 버튼을 클릭합니다.

테이블 속성 관리​


[테이블 속성 조회]​

Standard 테이블 목록에서 현재 사용 중인 테이블 목록을 조회할 수 있습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog로 이동합니다.

  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 테이블 속성을 조회할 테이블을 선택합니다.

  3. 테이블 속성 탭에서 테이블 속성을 확인합니다.

    항목설명
    키테이블 속성의 Key
    값테이블 속성의 Value
    [⋮] 버튼수정 및 삭제 기능

[테이블 속성 추가]​

Standard 테이블의 속성을 추가하는 방법은 다음과 같습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog로 이동합니다.

  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 테이블 속성을 추가할 테이블을 선택합니다.

  3. 테이블 속성 탭에서 [테이블 속성 추가하기] 버튼을 클릭합니다.

  4. 팝업창에서 속성을 추가하고 [추가] 버튼을 클릭합니다.

    항목설명
    키테이블 속성의 Key
    값테이블 속성의 Value

[테이블 속성 수정]​

Standard 테이블의 속성을 수정하는 방법은 다음과 같습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog로 이동합니다.

  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 테이블 속성을 추가할 테이블을 선택합니다.

  3. 테이블 속성 탭에서 수정할 테이블 속성의 [⋮] 버튼 > 수정을 선택합니다.

  4. 팝업창에서 속성을 수정하고 [수정] 버튼을 클릭합니다.


[테이블 속성 삭제]​

Standard 테이블 상세 정보에서 현재 사용 중인 테이블 속성을 삭제할 수 있습니다.

주의

삭제한 데이터는 복구할 수 없습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog로 이동합니다.

  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 테이블 속성을 삭제할 테이블을 선택합니다.

  3. 테이블 속성 탭에서 삭제할 테이블 속성의 [⋮] 버튼 > 삭제를 선택합니다.

  4. 팝업창에서 [삭제] 버튼을 클릭합니다.

스키마 관리​


[스키마 필드 조회]​

Standard 테이블 상세 정보에서 스키마 필드를 조회할 수 있습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog로 이동합니다.

  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 스키마 필드를 조회할 테이블을 선택합니다.

  3. 스키마 탭에서 스키마 필드를 조회합니다.

    항목설명
    No.파티션 필드 정렬을 위한 칼럼 번호
    - 최초 칼럼 번호는 1부터 시작
    - 칼럼 번호는 1과 마지막 숫자에 +1을 한 숫자 사이에서 지정
    - 파티션 키로 지정된 경우 입력하지 않음
    필드 이름설정한 스키마 필드 이름
    필드 타입필드의 데이터 타입
    - 지원하는 유형: array, bigint, binary, boolean, char, date, decimal,
    double, float, int, map, smallint, string, struct, timestamp, tinyint, union, varchar
    파티션 키테이블 생성 시 파티션 키 옵션 지정 유무
    설명스키마 관련 설명
    [⋮] 버튼필드 수정 및 삭제 기능

[스키마 필드 추가]​

Standard 테이블 상세 정보에서 스키마 필드를 추가할 수 있습니다. 단, 최대 50개까지 추가할 수 있습니다.

안내

MySQL 유형 및 데이터 형식이 JSON, CSV 인 경우, 테이블 생성 후 필드 추가, 수정, 삭제가 불가합니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog로 이동합니다.

  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 스키마 필드를 추가할 테이블을 선택합니다.

  3. 스키마 탭을 클릭한 뒤 [필드 추가] 버튼을 클릭합니다.

  4. 팝업창에서 정보를 입력하고 [추가] 버튼을 클릭합니다.

    항목설명
    칼럼 번호파티션 필드를 정렬하는 번호
    - 최초 칼럼 번호는 1부터 시작
    - 칼럼 번호는 1과 마지막 숫자에 +1을 한 숫자 사이에서 지정
    - 파티션 키로 지정된 경우 입력하지 않음
    필드 이름필드 이름을 입력
    필드 타입필드의 데이터 타입
    - 지원하는 타입: array, bigint, binary, boolean, char, date, decimal,
    double, float, int, map, smallint, string, struct, timestamp, tinyint, union, varchar
    설명 (선택)필드에 대한 설명

[스키마 필드 수정]​

Standard 테이블 상세 정보에서 스키마 필드를 수정할 수 있습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog로 이동합니다.

  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 스키마 필드를 추가할 테이블을 선택합니다.

  3. 스키마 탭에서 수정할 스키마 필드의 [⋮] 버튼 > 수정을 선택합니다.

  4. 팝업창에서 정보를 수정하고 [수정] 버튼을 클릭합니다.


[스키마 필드 삭제]​

Standard 테이블 상세 정보에서 현재 사용 중인 스키마 필드를 삭제할 수 있습니다.

주의

삭제한 데이터는 복구할 수 없습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog로 이동합니다.

  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 스키마 필드를 삭제할 테이블을 선택합니다.

  3. 스키마 탭에서 삭제할 스키마 필드의 [⋮] 버튼 > 삭제를 선택합니다.

  4. 팝업창에서 [삭제] 버튼을 클릭합니다.

파티션 관리​


[파티션 조회]​

Standard 테이블 상세 정보에서 파티션을 조회할 수 있습니다.

  1. 카카오클라우드 콘솔 > Analytics > Data Catalog로 이동합니다.

  2. 테이블 메뉴를 클릭 후, 테이블 목록에서 파티션을 조회할 테이블을 선택합니다.

  3. 파티션 탭에서 파티션 정보를 조회합니다.

    항목설명
    Files해당 파티션의 연결된 파일 링크
    Properties해당 파티션의 스키마 조회