"hadoop-eco" 태그로 연결된 2개 게시물개의 게시물이 있습니다.

올 해도 카카오클라우드는 사용자 여러분께 더 편리하고 안전한 클라우드 환경을 제공하기 위해 쉼 없이 달리고 있는데요, 따스한 봄기운과 함께 찾아온 3월의 주요 서비스 업데이트 소식을 모아서 전해드립니다.

최근 안내해 드린 사용자 중심의 콘솔 개편이 대대적인 화면 구조와 경험(UX)의 변화였다면, 이번에는 내실을 다지는 서비스 기능 강화 소식에 초점을 맞췄습니다. 시스템 안정성을 높이기 위한 작업과 더불어, 리소스 관리 효율성과 보안성을 한층 높인 이번 업데이트의 상세 내용을 확인해 보세요.

---

🖥️ 인프라 관리 효율성 및 서비스 확장성​

• GPU 서비스, Virtual Machine(VM)으로 통합: 더욱 직관적인 리소스 관리를 위해 기존에 별도로 운영되던 GPU 서비스가 Virtual Machine 서비스 내로 통합되었습니다.

  • 통합 환경 제공: 이제 VM 생성 단계에서 일반 인스턴스와 GPU 인스턴스를 동일한 워크플로우 내에서 선택하고 관리할 수 있습니다.
  • 알림 정책 자동 전환: 서비스 통합에 따라 기존 GPU 서비스에서 설정했던 Alert Center의 알림 정책들은 Virtual Machine 서비스의 정책으로 안전하게 자동 전환되었습니다. 별도의 재설정 없이 기존의 모니터링 환경을 그대로 이용하실 수 있습니다.

• Virtual Machine, t1i 인스턴스 '시작 크레딧' 지원: 워크로드 처리 효율을 높이기 위해 버스터블 인스턴스인 t1i 유형에 시작 크레딧 기능이 추가되었습니다. 이제 인스턴스 부팅 시 일시적으로 높은 CPU 사용률을 유지할 수 있어, 초기 구동 속도가 획기적으로 빨라졌습니다.

• Hadoop Eco, 노드 볼륨 최대 16TB로 확장: 대용량 데이터 분석을 지원하기 위해 Hadoop Eco 서비스의 노드별(마스터, 워커, 태스크) 최대 볼륨 크기를 기존 5TB에서 최대 16TB로 대폭 상향했습니다. 스토리지 제약 없이 더 방대한 데이터를 분석해 보세요.

• Object Storage 상품명 변경: 사용자가 이용 중인 스토리지 서비스를 쉽게 인지할 수 있도록 Object Storage의 상품명이 다음과 같이 변경되었습니다. 가격은 기존과 동일하며, 3월 빌링 청구서부터 순차적으로 적용됩니다.

  • 데이터 용량: Hot Bucket → Standard Storage Class
  • API 호출: 기존 요청 명칭 앞에 Standard- 접두사가 추가 (예: Standard-PUT, Standard-GET 등)

🔑 보안 기능 강화​

• IAM 보안 설정 강화: 조직의 소중한 자원을 보호하기 위해 다양한 보안 설정이 콘솔 내 계정 설정 및 IAM 서비스 항목에 추가되었습니다.

  • 자원 삭제 시 비밀번호 재인증: 사용자 계정이나 프로젝트 서비스 계정을 삭제할 때, 단순 실수를 방지하기 위한 비밀번호 재인증 단계가 추가되었습니다.
  • 세션 및 토큰 즉시 만료 옵션: 비밀번호 변경 시, 기존에 로그인된 모든 세션과 발급된 액세스 토큰을 즉시 무효화할 수 있습니다. 계정 유출이 의심되는 긴급 상황에서 보안 사고에 빠르게 대처할 수 있습니다.
  • Cloud Trail 감사 로그 확대: 보안 정책 및 계정 관리 이력을 상세히 추적할 수 있도록 17종의 신규 이벤트가 추가되었습니다.

🛠️ 개발 편의성 향상​

• OpenAPI MySQL 신규 지원: 개발자를 위한 OpenAPI 지원 범위가 한층 넓어졌습니다. 이번 업데이트로 MySQL OpenAPI가 새롭게 추가되어, 카카오클라우드 MySQL 서비스를 API로 직접 제어하고 관리 자동화에 활용할 수 있습니다. OpenAPI와 관련한 자세한 업데이트는 OpenAPI Changelogs에서 확인하실 수 있습니다.

---

이번에 전해드릴 소식은 여기까지 입니다. 소개해 드린 기능 개선 외에도 각 서비스의 상세한 변경 사항과 이전 업데이트 이력은 기술문서 내 서비스별 릴리즈 노트에서 확인하실 수 있습니다.

카카오클라우드는 앞으로도 안정적인 인프라와 사용자 중심의 기능을 제공하기 위해 최선을 다하겠습니다.
서비스 이용과 관련하여 궁금하신 사항은 언제든 카카오클라우드 고객지원을 통해 문의해 주시기 바랍니다.

👉 지금 바로 카카오클라우드 시작하기

기업에서 클라우드 기반의 대규모 데이터 레이크 아키텍처를 설계할 때, 우리는 단순히 데이터를 쌓는 것을 넘어 운영 효율성을 극대화해야 하는 시점에 와 있습니다. 효율성을 확보하기 위해서는 고성능 처리, 컴퓨팅 리소스의 유연한 분리, 그리고 견고한 데이터 거버넌스와 같은 핵심 요소들을 균형 있게 구축하는 것이 필요합니다.

만약 이 균형이 무너진다면, 배치 작업 때문에 실시간 분석 쿼리가 지연되거나 , 필요한 데이터의 위치와 신뢰도를 파악하기 어려워지는 등의 복잡한 문제에 직면하게 됩니다.

카카오클라우드 Hadoop Eco(HDE) 서비스는 이러한 문제를 해결하고 분석 환경의 처리 능력과 운영 관리 역량을 향상시키고자 최근 대규모 업데이트를 진행했습니다. 이번 업데이트는 HDE-2.3.0 신규 버전 출시를 기반으로, 차세대 메타스토어인 Iceberg 카탈로그 연동 개선 및 워크로드에 최적화된 태스크 노드(Task Node) 도입이라는 주요 변경사항을 포함합니다.

이 포스트에서는 이러한 개선사항들을 HDE 서비스 내에서 어떻게 활용하여 분석 워크플로우를 개선할 수 있을지 간략히 소개하겠습니다.

🚀 HDE-2.3.0 신규 버전과 강력한 컴포넌트 추가​

이번 업데이트를 통해 HDE-2.3.0 버전이 새롭게 제공되며, 데이터 분석 및 처리 워크플로우를 효과적으로 지원하는 JupyterLab, Impala, Kudu 컴포넌트가 새롭게 추가되었습니다.

HDE 클러스터 생성

• JupyterLab: 웹 기반의 프로그래밍 및 쉘 환경을 제공하여, 클러스터 노드 내에서 데이터 탐색과 분석 코드를 즉시 실행하는 개발 환경을 제공합니다.
• Impala: Hive Metastore를 기반으로 Kudu와 같은 데이터 스토어에 대해 빠른 대화형 쿼리를 지원하는 강력한 쿼리 엔진입니다.
• Kudu: 낮은 지연 시간의 읽기/쓰기를 지원하는 칼럼형 데이터 저장소 역할을 수행합니다.

또한, 데이터 플로우 유형 클러스터의 핵심 컴포넌트인 Druid가 v33.0.0으로, Superset이 v5.0.0으로 최신 버전으로 업그레이드되어 성능과 안정성이 한층 높아졌습니다.

💡 Hadoop Eco 컴포넌트 목록 보기

⚙️ 클러스터 구조의 유연성 확보: 태스크 노드 도입​

클러스터 운영에서 까다로운 부분 중 하나는 일괄 처리(Batch)와 대화형 처리(Interactive) 리소스를 분리하여 상호 간섭을 최소화하는 것인데요, 이번 업데이트에서는 태스크 노드(Task node)가 새롭게 도입되면서 운영 부담을 효과적으로 완화할 수 있게 되었습니다.

태스크 노드 설정

• 역할 분리: 태스크 노드는 주로 대규모 배치 연산 작업(YARN Job) 실행을 위한 전용 컴퓨팅 리소스로 활용됩니다. 워커 노드와 역할을 분리함으로써, 핵심 데이터 처리 리소스의 안정성을 보장하고 리소스 경합으로 인한 성능 저하를 효과적으로 방지합니다.
• 용량 계획의 정확성: 태스크 노드 도입에 따라 YARN의 가용 리소스 계산 방식이 태스크 노드의 수와 플레이버까지 포함하도록 변경되었습니다. 이는 클러스터의 용량 계획을 더욱 정확하고 예측 가능하게 만듭니다.

⚠️ 태스크 노드 사용 시 주의 사항: 태스크 노드는 클러스터 생성 시에만 추가할 수 있다는 점을 유의해주세요. 초기 설계 단계에서 태스크 노드 추가 여부를 신중히 결정해야 하며, 생성 후에는 추가할 수 없습니다. (단, 노드 수를 0으로 축소했다가 다시 늘리는 것은 가능합니다.)

🧊 Iceberg 카탈로그 연동, 이제 클릭 한 번으로!​

카카오클라우드 Data Catalog 서비스에서 Apache Iceberg 포맷을 정식 지원함에 따라, Hadoop Eco 클러스터 생성 시 Iceberg 카탈로그 연동 방식이 획기적으로 간소화되었습니다.

Iceberg 카탈로그 연동

이번 개선사항이 적용된 Hadoop Eco 서비스에서는 콘솔에서 클러스터 생성 단계의 외부 메타스토어 연동 설정에서 Data Catalog의 Iceberg 카탈로그를 직접 선택하여 연결할 수 있도록 간편하게 기능이 개선되었습니다. 이로써 휴먼 에러를 최소화하고, 연동 시간을 단축하여 바로 분석 작업에 착수할 수 있습니다.

이와 함께 클러스터 삭제 후 데이터 보존 기간(90일)동안 자동 보관 여부를 사용자가 직접 선택할 수 있는 옵션도 추가되었습니다. 이 기능은 불필요한 메타데이터 보존 비용을 방지하고 거버넌스를 명확히 하는 데 활용할 수 있습니다.

이번 Hadoop Eco 서비스 업데이트는 단순한 기능 확장이 아니라, 안정적인 메타데이터 거버넌스, 고성능 대화형 분석 환경, 유연한 컴퓨팅 리소스 관리라는 세 가지 축을 중심으로 데이터 레이크 아키텍처의 운영 효율성을 한층 강화합니다.

카카오클라우드의 새로운 Hadoop Eco 서비스를 통해 분석 워크플로우를 보다 효율적이고 체계적으로 운영해 보시기 바랍니다.

감사합니다.

👉 지금 바로 카카오클라우드 시작하기