"analytics" 태그로 연결된 3개 게시물개의 게시물이 있습니다.

2024년 11월 19일 카카오클라우드 Pub/Sub 서비스가 드디어 정식 버전(GA)으로 출시되었습니다! 🎉

베타 서비스 동안 안정성 강화와 사용성 개선을 목표로 다양한 업데이트를 진행했으며, 고객 여러분의 소중한 피드백을 반영하여 더욱 강력하고 발전된 기능을 제공하게 되었습니다. 이제 정식 출시된 Pub/Sub 서비스를 통해 대규모 데이터를 더욱 효율적으로 관리하고 처리할 수 있게 되었는데요, 오늘 글에서 Pub/Sub 서비스의 핵심 기능과 정식 출시에 따른 주요 개선 사항을 간략하게 소개해 드리겠습니다!

Pub/Sub 서비스란?​

카카오클라우드 Pub/Sub 서비스는 대용량 이벤트와 데이터 분석을 위해 설계된 비설치형 메시지 큐 서비스입니다. 토픽(Topic)을 통해 메시지나 이벤트를 분류하고 관리할 수 있으며, 서브스크립션(Subscription)을 활용해 토픽에 게시된 메시지를 구독자(Subscriber)가 전달받아 처리할 수 있도록 지원합니다.

사용자는 Pub/Sub 서비스를 이용하여 메시징 구조를 간소화하고, 실시간 데이터 처리를 최적화할 수 있습니다. 특히 애플리케이션 간의 이벤트 알림, 데이터 스트리밍, 비동기 작업 처리와 같은 다양한 비즈니스 환경에 최적화된 솔루션을 제공합니다. 이렇듯 카카오클라우드 Pub/Sub 서비스는 효율적이고 확장 가능한 메시징 시스템을 구현하여 다양한 비즈니스 요구를 충족시킬 수 있는 강력한 기반을 제공합니다.

Pub/Sub 정식 출시에 따른 주요 개선 및 안내 사항​

이번 Pub/Sub 서비스 정식 출시(GA)에는 안정성과 사용성을 높이기 위해 다음과 같은 개선 사항들을 포함하고 있습니다.

1. 신규 기능 추가

• Object Storage 서브스크립션 유형이 추가되었습니다. 이를 통해 메시지를 Object Storage 버킷으로 전송할 수 있으며, 대량의 메시지를 안정적으로 저장하고 활용할 수 있습니다.

2. 기능 개선 및 안정성 강화

• API 및 SDK 지원 강화
  • API와 SDK를 활용해 토픽 및 서브스크립션 생성/삭제 작업이 가능하도록 지원이 강화되었습니다. 자세한 방법은 기술 문서의 API Reference와 SDK Reference를 참조해 주세요.
• 서브스크립션 상태 값 세분화
  • 상태 값이 더욱 세분화되어 메시지 관리의 효율성이 높아졌습니다.
• Cloud Trail 및 Alert Center 이벤트 항목 추가
  • 모니터링 및 알림 관리가 한층 강화되었습니다.
• 모니터링 항목 확장
  • 토픽, 서브스크립션의 모니터링 항목이 확장되어 보다 세부적으로 메시지 처리 상태를 확인하고 관리할 수 있습니다.

3. SLA 적용

• 정식 버전 출시와 함께 SLA(Service Level Agreement)가 적용되어 더 안정적이고 신뢰할 수 있는 서비스를 제공할 수 있게 되었습니다.

4. 유료 서비스 전환 안내

• 2024년 11월 20일을 기준으로 Pub/Sub 서비스가 유료로 전환되었으며, 이용에 대한 요금이 부과됩니다. 기존에 Pub/Sub 서비스를 사용 중인 고객 여러분께서는 요금 정책을 자세히 확인해 주시기를 바랍니다.

마무리하며​

Pub/Sub 서비스로 비즈니스 혁신을 경험하세요!​

카카오클라우드 Pub/Sub 서비스를 통해 데이터 처리 효율을 극대화하고, 다양한 워크플로우를 자동화하여 비즈니스 경쟁력을 한 단계 끌어올릴 수 있습니다. 서비스에 대한 자세한 내용은 Pub/Sub 기술 문서를 확인하실 수 있으며, 궁금한 점은 언제든지 카카오클라우드 1:1 문의하기를 통해 문의해 주세요.

감사합니다.

카카오클라우드의 새로운 서비스, Advanced Managed Kafka가 출시되었습니다.

Advanced Managed Kafka는 Kafka의 운영 부담을 최소화하면서도 실시간 데이터 스트리밍의 장점을 누릴 수 있도록 설계된 완전 관리형 서비스입니다.

데이터가 실시간으로 수집, 분석되는 오늘날의 환경에서 많은 기업들이 데이터 스트리밍 도구로 Apache Kafka를 채택하고 있습니다. Kafka는 그 성능과 유연성이 뛰어나다는 장점이 있지만 고도의 설정과 지속적인 모니터링이 필요한 복잡한 시스템으로, Kafka를 직접 운영하고 관리하는 데에는 상당한 기술적 부담과 시간이 소요됩니다. 카카오클라우드는 Kafka 사용자의 운영 부담을 최소화하면서도 실시간 데이터 스트리밍의 장점을 누릴 수 있도록 설계한 완전 관리형 서비스 Advanced Managed Kafka를 개발하게 되었습니다.

그럼 Advanced Managed Kafka의 주요 기능과 특징에 대해 좀 더 자세히 살펴보겠습니다.

Advanced Managed Kafka 서비스는?​

Advanced Managed Kafka는 Kafka 클러스터의 생성부터 관리까지 손쉽게 운영할 수 있는 클라우드 기반 서비스입니다. 실시간 데이터 스트리밍을 필요로 하는 애플리케이션에 적합하며, 사용자는 복잡한 Kafka 설정 없이도 안정적인 메시지 큐와 스트리밍 환경을 구축할 수 있습니다.

Advanced Managed Kafka 주요 기능​

Advanced Managed Kafka의 기본 개념으로는 클러스터(Cluster), 브로커(Broker)가 있습니다.

클러스터는 Kafka 환경의 핵심 구성 요소입니다. Advanced Managed Kafka는 간단한 설정을 통해 필요한 리소스를 자동으로 할당하고 관리할 수 있어, Kafka 클러스터 운영의 복잡함을 크게 줄여줍니다. 브로커는 클러스터의 구성 요소로, 메시지를 저장하고 전달하는 역할을 합니다.

Advanced Managed Kafka에서는 브로커 관리를 통해 클러스터 성능을 최적화하고 데이터의 가용성을 높일 수 있습니다.

1. 간편한 Kafka 환경 구축

Advanced Managed Kafka를 통해 클러스터를 생성할 때, 클러스터 이름, 리전 및 네트워크, 브로커 노드 수, 볼륨 크기 등 간단한 필수 정보만 입력해도 사용자가 설정한 리소스에 맞게 클러스터를 자동으로 배포하여 운영 준비를 마칩니다.

2. 클러스터 확장

데이터 처리량이 증가하면 처리 성능을 높이기 위해 클러스터를 확장해야 할 수 있습니다. Advanced Managed Kafka는 사용자가 손쉽게 브로커 노드 수를 확장할 수 있도록 지원합니다.

3. 볼륨 확장

데이터 증가로 인한 저장 공간이 부족한 문제를 해결하기 위해 볼륨을 확장해야 할 수 있습니다. Advanced Managed Kafka는 사용자가 손쉽게 볼륨 크기를 확장할 수 있도록 지원합니다.

4. 실시간 모니터링 및 빠른 대응

Advanced Managed Kafka는 클러스터와 브로커의 주요 성능 지표를 실시간으로 모니터링할 수 있는 기능을 제공합니다. 브로커/메모리/디스크 사용량 및 네트워크 I/O 등과 같은 지표를 통해 클러스터 상태와 성능을 한눈에 확인하고, 문제 발생 전 클러스터 관리를 통해 운영 안정성을 높일 수 있습니다.

마무리하며​

Advanced Managed Kafka는 실시간 스트리밍 데이터를 안정적으로 관리하고, 클러스터와 브로커의 유연한 운영이 가능하도록 다양한 도구를 제공합니다. 이를 통해 데이터 흐름이 중요한 서비스에서도 고성능과 안정성을 동시에 확보할 수 있습니다.

카카오클라우드 콘솔에서 Advanced Managed Kafka 서비스를 선택하고 Kafka 환경을 간편하게 구축해 보세요. 카카오클라우드의 How-to Guides 문서에서 더 자세한 내용을 확인할 수 있습니다.

클러스터 생성 후 Kafka 환경을 구축하여 메시지를 송수신하는 과정을 담은 튜토리얼(Kafka를 통한 메시지 처리)도 참고해 보시면 좋을 것 같습니다.

감사합니다.

세계적인 정보 기술(IT) 연구 및 컨설팅 기업인 Gartner는 매년 Data & Analysis(D&A) 트렌드를 연구하여 발표하고 있습니다.
올해 Gartner가 발표한 보고서(Gartner Identifies the Top 10 Data and Analytics Trends for 2023)를 보면, 데이터/분석팀은 데이터 리소스를 관리하고 그 안에서 인사이트를 창출하는 '그 이상'을 수행해야 한다고 언급하고 있습니다. 그저 방대한 데이터를 수집하는 것을 넘어서, '올바른 데이터를 적절한 툴을 이용하여 적절한 시점에 수집하고, 여기서 사업적인 인사이트를 도출'하는 것을 요구하고 있습니다. 이를 위해, 기업의 데이터/분석팀은 가치 최적화(Value optimization), 데이터 공유(Data Sharing), 데이터 관찰(Observability), 데이터 및 분석 지속성(Data & analytics sustainability), 데이터 패브릭(Data fablic) 등의 트렌드를 따라야 한다고 제시합니다.

이렇게 시시각각 발전해 나가는 데이터 분석 트렌드에 지속적으로 부합하고자, 카카오클라우드에서는 2023년 11월 Hadoop Eco 서비스에 Dataflow 클러스터 유형을 새롭게 추가했음을 알려드립니다. 기존, Hadoop Eco 서비스에는 Core Hadoop, HBase, Trino 유형이 제공되고 있었지만, 이번 Dataflow 클러스터의 추가로 Hadoop, Kafka, Druid, Superset을 통한 데이터 수집/분석이 가능해 졌습니다.
Apache Beam이 제공하는 Dataflow는 전 세계 사용자들에게 많은 선택을 받는 통합 배치 및 스트리밍 데이터 처리 모델 중 하나입니다. Dataflow는 자동 확장 및 일괄 처리를 통해 지연 시간, 처리 시간, 비용을 최소화하는 스트리밍 데이터 분석에 최적화된 완전 관리형 오픈소스 프레임워크로, 다양한 프레임워크(Flink, Spark 등)에 대한 광범위한 지원 및 다양한 언어 지원이 가능합니다.

카카오클라우드 Hadoop Eco 서비스에 새롭게 추가된 Dataflow 클러스터를 통해, 사용자는 다음의 특징을 경험하실 수 있습니다.

• 데이터 수집 및 분석 효율화: Kafka를 통해 데이터를 효율적으로 수집하고, Druid와 Superset을 활용하여 데이터를 실시간으로 분석할 수 있습니다.
• 다양한 분석 도구 제공: Druid, Superset을 통해 데이터를 시각화하고 다양한 분석 작업을 수행할 수 있습니다.
• 확장성 및 고가용성: 클러스터 운영 안정성을 고려하여 표준(Single)과 고가용성(HA) 유형을 제공합니다.
  표준(Single) 모드는 마스터 노드 인스턴스 1개로 리소스 매니저, 네임 노드가 1개 실행되어 소규모 작업에 적합합니다. 고가용성 (HA)의 경우, 마스터 노드 인스턴스 3개가 제공되며 리소스 매니저, 네임 노드가 HA 모드로 실행됩니다. 3개의 마스터 노드를 생성, 재부팅 등이 발생해도 중단없는 작업이 가능합니다.

Dataflow 클러스터 선택하기

이제 카카오클라우드 Hadoop Eco에서 Apache Beam이 제공하는 통합 배치 및 스트리밍 데이터 처리 모델인 Dataflow를 경험해 보시기 바랍니다.
감사합니다.