테이블 생성 및 관리

테이블 생성

테이블은 데이터베이스에 종속된 메타데이터입니다. 테이블을 생성하려면 먼저 카탈로그와 데이터베이스가 생성되어 있어야 합니다. 데이터베이스 상태는 Active 또는 Altering이어야 데이터베이스에 테이블을 생성할 수 있습니다. Data Catalog 서비스에서 테이블을 만드는 방법은 다음과 같습니다.

카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
Table 메뉴 또는 데이터베이스 상세 페이지에서 [테이블 생성] 버튼을 클릭합니다.

아래 정보를 입력한 후, [생성] 버튼을 클릭합니다.

구분	설명
데이터베이스	테이블을 추가할 데이터베이스의 이름 - 데이터베이스를 선택하면 네트워크/서브넷 정보 확인 가능
테이블 이름	테이블의 이름 - 동일 프로젝트 내에서 중복된 MySQL 인스턴스 그룹 이름은 사용할 수 없음
데이터 저장 경로	데이터베이스가 생성되는 오브젝트 스토리지의 경로 입력 (데이터베이스 경로에 따라 하위 테이블의 경로 값이 참조됨) - s3 연결: 선택 시 전체 경로는 `s3a://` 형태로 세팅되며, 미선택 시 `swifta` 형태로 세팅 - 버킷 이름: 오브젝트 스토리지 버킷 이름 입력 - 디렉터리: 버킷 하위 디렉터리 경로 입력
데이터 타입	테이블의 데이터 타입 지정 - 지원하는 타입: Avro, JSON, Parquet, ORC, CSV
Pub/Sub 연동	Pub/Sub 연동 기능 활성화 - 활성화 시, 사용할 Pub/Sub 토픽 선택 - Pub/Sub 토픽 생성에 대한 자세한 설명은 Pub/Sub 토픽 생성 문서 참고
설명 (선택)	테이블에 대한 부가 설명
스키마	[필드 추가] 버튼을 클릭해 필드 추가 - 최대 50개까지 추가 가능 - 파티션 키로 지정되지 않은 필드가 1개 이상 있어야 스키마 생성 가능 - 필드 이름: 필드 이름 ㄴ avro 타입의 경우, 필드 이름은 숫자로 시작 불가 - 데이터 타입: 필드의 데이터 타입 - 파티션 키: 파티션 키 지정 여부, 테이블 생성 시에만 지정 가능 - 코멘트: 파티션의 코멘트 130자까지 입력 가능, 이모지 입력 불가 - [더 보기] 아이콘: 필드 수정, 삭제

안내

파티션 키로 지정되지 않은 필드가 1개 이상 있어야 스키마를 생성할 수 있습니다. 스키마 생성 방법에 대한 자세한 설명은 스키마 필드 추가를 참고하시기 바랍니다.

테이블 관리

Data Catalog 서비스에서 테이블을 관리하는 방법을 설명합니다.

테이블 목록 보기

Data Catalog의 테이블 목록에서 현재 사용 중인 테이블 목록을 조회할 수 있습니다.

카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.

Table 메뉴를 클릭하여 테이블 목록을 확인합니다.

항목	설명
테이블 이름	생성할 때 입력한 테이블 이름 - 테이블 이름을 클릭하여, 세부 정보 탭으로 이동 가능
연결된 데이터베이스	테이블에 연결된 데이터베이스의 이름
상태	테이블의 상태
데이터 저장 경로	생성할 때 입력한 테이블 데이터 저장 경로
데이터 타입	테이블의 데이터 타입
최종 수정일	테이블의 최종 수정일시
[더 보기] 아이콘	- 전체 스키마 보기: 테이블의 전체 스키마 조회 - 테이블 수정: 테이블 이름과 설명 수정 - 테이블 삭제: 테이블 삭제 * `INACTIVE` 상태의 경우, 단일 삭제만 가능하며 테이블 수정 불가

테이블 상세 보기

테이블의 상세 정보를 확인할 수 있습니다.

카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
Table 메뉴를 클릭 후, 테이블 목록에서 상세 정보를 확인할 테이블을 선택합니다.
해당 테이블의 세부 정보를 확인합니다.

테이블 수정

생성된 테이블 정보를 수정할 수 있습니다.

주의

테이블 형태에 따라 수정 가능한 범위가 상이합니다.

카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
Table 메뉴를 클릭한 뒤, 테이블 목록에서 수정할 테이블의 [더 보기] 아이콘을 클릭 후, 수정을 선택합니다.

테이블 수정 팝업창에서 수정 가능한 영역을 확인합니다.

항목	설명
테이블 이름	테이블 이름 변경 - 단, 테이블 타입이 MySQL인 경우 이름 변경 불가
Pub/Sub 연동	활성/비활성화를 통해 Pub/Sub 연동 여부 선택 - 테이블 타입이 MySQL인 경우 Pub/Sub 연동 기능 사용 불가 - 연동에 사용된 Pub/Sub 토픽이 삭제된 경우 활성화 상태는 유지되며, 신규 토픽을 선택해야 정상적으로 사용 가능
설명	테이블 설명 수정

수정할 내용 반영 후 [저장] 버튼을 클릭합니다.

테이블 삭제

더 이상 사용하지 않는 테이블을 삭제할 수 있습니다.

주의

삭제한 테이블과 데이터는 복구할 수 없습니다.

카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
Table 메뉴를 클릭한 뒤, 테이블 목록에서 삭제할 테이블의 [더 보기] 아이콘을 클릭 후, 삭제를 선택합니다.
테이블 삭제 팝업창에서 삭제할 테이블의 이름을 동일하게 입력하고, [삭제] 버튼을 클릭합니다.

Pub/Sub 연동

Data Catalog 테이블에 Pub/Sub 토픽을 연동하는 방법을 설명합니다.

Pub/Sub 토픽 연동하기

안내

테이블에 Pub/Sub 토픽을 연동하기 위해서는 Pub/Sub 토픽 생성이 선행되어야 합니다.
토픽 생성 방법은 Pub/Sub 토픽 생성 문서를 참고해 주세요.

Data Catalog 테이블에서 Pub/Sub 토픽을 연동하는 방법은 다음과 같습니다.

테이블 생성 시, Pub/Sub 연동 항목을 활성화합니다.
사용 가능한 토픽 목록을 확인 후, 토픽을 선택합니다.
이미 테이블을 생성한 경우, 수정을 통해 Pub/Sub 연동 항목을 활성화합니다.
사용 가능한 토픽 목록을 확인 후, 토픽을 선택합니다.

Pub/Sub 이벤트 관리

테이블 정보를 변경하면 지정한 Pub/Sub 토픽으로 이벤트가 게시됩니다.
게시된 이벤트는 Pub/Sub 서브스크립션 관리 메뉴에서 확인할 수 있습니다.

생성되는 이벤트 타입과 종류는 다음과 같습니다.

타입	설명	종류
Table 이벤트	Data Catalog에서 테이블을 생성/수정/삭제하는 동작을 통해 생성	- CreateTableEvent - AlterTableEvent - DropTableEvent
Partition 이벤트	Hadoop Eco 연동을 통해 테이블의 파티션 관련 정보 변경 시 생성	- AddPartitionEvent - AlterPartitionEvent - DropPartitionEvent

테이블 내 데이터 관리

카카오클라우드 콘솔(KakaoCloud Console)의 Data Catalog 서비스에서 테이블 내 데이터를 관리하는 방법을 설명합니다. Serde 파라미터, 테이블 속성, 스키마, 파티션을 관리할 수 있습니다.

안내

크롤러로 생성된 테이블(MySQL 타입)의 경우 스키마 데이터만 노출됩니다.

Serde 파라미터 조회

Serde 파라미터를 조회하는 방법은 다음과 같습니다.

카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
Table 메뉴를 클릭 후, 테이블 목록에서 Serde 파라미터를 조회할 테이블을 선택합니다.
Serde 파라미터 탭을 선택합니다.

항목 설명
key Serde 파라미터의 key 값
Value Serde 파라미터의 Value 값
[더 보기] 아이콘 - Serde 파라미터 수정
* 23년 1월 기준 파라미터 삭제 미지원

항목	설명
key	Serde 파라미터의 key 값
Value	Serde 파라미터의 Value 값
[더 보기] 아이콘	- Serde 파라미터 수정 * 23년 1월 기준 파라미터 삭제 미지원

Serde 파라미터 추가

신규 Serde 파라미터를 추가하는 방법은 다음과 같습니다.

카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
Table 메뉴를 클릭 후, 테이블 목록에서 Serde 파라미터를 추가할 테이블을 선택합니다.
Serde 파라미터 탭에서 [Serde 파라미터 추가하기] 버튼을 클릭합니다.
Serde 파라미터 추가하기 팝업창에서 파라미터를 추가하고 [추가] 버튼을 클릭합니다.

항목 설명
key Serde 파라미터의 key 값
Value Serde 파라미터의 Value 값
- 이모지 입력 불가

항목	설명
key	Serde 파라미터의 key 값
Value	Serde 파라미터의 Value 값 - 이모지 입력 불가

Serde 파라미터 수정

Serde 파라미터를 수정하는 방법은 다음과 같습니다.

카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
Table 탭을 클릭 후, 테이블 목록에서 Serde 파라미터를 수정할 테이블을 선택합니다.
Serde 파라미터 탭에서 [더 보기] 아이콘을 클릭하고, Serde 파라미터 수정을 선택합니다.
Serde 파라미터 수정하기 팝업창에서 Value를 수정하고 [수정] 버튼을 클릭합니다.

테이블 속성 조회

Data Catalog의 테이블 목록에서 현재 사용 중인 테이블 목록을 조회할 수 있습니다.

카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
Table 메뉴를 클릭 후, 테이블 목록에서 테이블 속성을 조회할 테이블을 선택합니다.
테이블 속성 탭에서 테이블 속성을 확인합니다.

항목 설명
key 테이블 속성의 key 값
Value 테이블 속성의 Value 값
[더 보기] 아이콘 - 테이블 속성 수정
- 테이블 속성 삭제

항목	설명
key	테이블 속성의 key 값
Value	테이블 속성의 Value 값
[더 보기] 아이콘	- 테이블 속성 수정 - 테이블 속성 삭제

테이블 속성 추가

테이블 속성을 추가하는 방법은 다음과 같습니다.

카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
Table 메뉴를 클릭 후, 테이블 목록에서 테이블 속성을 추가할 테이블을 선택합니다.
테이블 속성 탭에서 [테이블 속성 추가하기] 버튼을 클릭합니다.
테이블 속성 추가하기 팝업창에서 속성을 추가하고 [추가] 버튼을 클릭합니다.

항목 설명
key 테이블 속성의 key 값
Value 테이블 속성의 Value 값
- 이모지 입력 불가

항목	설명
key	테이블 속성의 key 값
Value	테이블 속성의 Value 값 - 이모지 입력 불가

테이블 속성 수정

테이블 속성을 수정하는 방법은 다음과 같습니다.

카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
Table 메뉴를 클릭 후, 테이블 목록에서 테이블 속성을 추가할 테이블을 선택합니다.
테이블 속성 탭에서 수정할 테이블 속성의 [더 보기] 아이콘 > 테이블 속성 수정을 선택합니다.
테이블 속성 수정하기 팝업창에서 속성을 수정하고 [수정] 버튼을 클릭합니다.

테이블 속성 삭제

Data Catalog의 테이블 상세 정보에서 현재 사용 중인 테이블 속성을 삭제할 수 있습니다.

주의

삭제한 데이터는 복구할 수 없습니다.

카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
Table 메뉴를 클릭 후, 테이블 목록에서 테이블 속성을 삭제할 테이블을 선택합니다.
테이블 속성 탭에서 삭제할 테이블 속성의 [더 보기] 아이콘 > 테이블 속성 삭제를 선택합니다.
테이블 속성 삭제 팝업창에서 [삭제] 버튼을 클릭합니다.

스키마 필드 조회

Data Catalog의 테이블 상세 정보에서 스키마 필드를 조회할 수 있습니다.

카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
Table 메뉴를 클릭 후, 테이블 목록에서 스키마 필드를 조회할 테이블을 선택합니다.

스키마 탭에서 스키마 필드를 조회합니다.

항목	설명
No.	파티션 필드를 정렬을 위한 칼럼 번호 - 최초 칼럼 번호는 1부터 시작 - 칼럼 번호는 1과 마지막 숫자에 +1한 숫자 사이에서 지정 * 파티션키로 지정된 경우 입력하지 않음
필드 이름	설정한 스키마 필드 이름
데이터 타입	필드의 데이터 타입 조회 가능한 스키마가 있는 경우, 클릭해 확인 가능 - 지원하는 타입: `array`, `bigint`, `binary`, `boolean`, `char`, `date`, `decimal`, `double`, `float`, `int`, `map`, `smallint`, `string`, `struct`, `timestamp`, `tinyint`, `union`, `varchar`
파티션 키	테이블 생성 시 파티션 키 옵션 지정 유무
코멘트	스키마 관련 설명
더보기	- 필드 수정: 필드 수정 팝업 - 필드 삭제: 필드 삭제 팝업

스키마 필드 추가

Data Catalog의 테이블 상세 정보에서 스키마 필드를 추가할 수 있습니다. 단, 최대 50개까지 추가할 수 있습니다.

안내

데이터 타입이 JSON, CSV, MySQL일 경우, 테이블 생성 후 필드 추가, 수정, 삭제할 수 없습니다.

카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
Table 메뉴를 클릭 후, 테이블 목록에서 스키마 필드를 추가할 테이블을 선택합니다.
스키마 탭을 클릭한 뒤 [필드 추가] 버튼을 클릭합니다.

필드 추가 팝업창에서 정보를 입력하고 [추가] 버튼을 클릭합니다.

항목	설명
칼럼 번호	파티션 필드를 정렬을 위한 번호 - 최초 칼럼 번호는 1부터 시작 - 칼럼 번호는 1과 마지막 숫자에 +1한 숫자 사이에서 지정 * 파티션키로 지정된 경우 입력하지 않음
필드 이름	필드 이름을 입력
데이터 타입	필드의 데이터 타입 - 지원하는 타입: `array`, `bigint`, `binary`, `boolean`, `char`, `date`, `decimal`, `double`, `float`, `int`, `map`, `smallint`, `string`, `struct`, `timestamp`, `tinyint`, `union`, `varchar`
코멘트 (선택)	필드에 대한 설명

스키마 필드 수정

Data Catalog의 테이블 상세 정보에서 스키마 필드를 수정할 수 있습니다.

카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
Table 메뉴를 클릭 후, 테이블 목록에서 스키마 필드를 추가할 테이블을 선택합니다.
스키마 탭에서 수정할 스키마 필드의 [더 보기] 아이콘 > 필드 수정을 선택합니다.
필드 수정 팝업창에서 정보를 수정하고 [수정] 버튼을 클릭합니다.

스키마 필드 삭제

Data Catalog의 테이블 상세 정보에서 현재 사용 중인 스키마 필드를 삭제할 수 있습니다.

주의

삭제한 데이터는 복구할 수 없습니다.

카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
Table 메뉴를 클릭 후, 테이블 목록에서 스키마 필드를 삭제할 테이블을 선택합니다.
스키마 탭에서 삭제할 스키마 필드의 [더 보기] 아이콘 > 필드 삭제를 선택합니다.
필드 삭제 팝업창에서 [삭제] 버튼을 클릭합니다.

파티션 조회

Data Catalog의 테이블 상세 정보에서 파티션을 조회할 수 있습니다.

카카오클라우드 콘솔 > Analytics > Data Catalog 메뉴로 이동합니다.
Table 메뉴를 클릭 후, 테이블 목록에서 파티션을 조회할 테이블을 선택합니다.
파티션 탭에서 파티션 정보를 조회합니다.

항목 설명
id 사용자가 생성한 파티션 키 정보
Files 해당 파티션의 연결된 파일 링크
Properties 해당 파티션의 스키마 조회

항목	설명
id	사용자가 생성한 파티션 키 정보
Files	해당 파티션의 연결된 파일 링크
Properties	해당 파티션의 스키마 조회