NPU 인스턴스
NPU는 Neural Processing Unit(신경망 처리 장치)의 약자로, 주로 인공 신경망 작업을 수행하는 데 특화된 하드웨어입니다. NPU 기반 인스턴스는 이러한 NPU를 사용하여 작업을 가속화하는 인스턴스를 말합니다.
NPU는 기존의 중앙 처리 장치(CPU)와는 다른 딥러닝 작업을 효율적으로 처리하기 위해 최적화되어 있어 벡터 및 행렬 연산을 병렬적으로 처리하고, 대규모의 행렬 곱셈 및 합성곱 작업을 빠르게 수행할 수 있습니다.
이러한 NPU 기반 인스턴스는 대규모 딥러닝 작업을 처리해야 하는 경우에 특히 유용합니다. 딥러닝 모델을 더 빠르게 학습하고 추론할 수 있으며, 딥러닝 애플리케이션의 성능과 처리량을 크게 향상할 수 있습니다.
- 적용 유형 :
gf1i
gf1i
gf1i 인스턴스는 4세대 Intel 제온 스케일러블 프로세서로 구동되며, FuriosaAI WARBOY NPU 카드를 탑재해 딥 러닝 워크로드에 매우 적합합니다.
하드웨어 사양
- 최대 3.4GHz의 4세대 Intel 제온 스케일러블 프로세서(Xeon Gold 6430)
- 최대 50Gbps의 네트워크 대역폭
- 최대 96개의 vCPU 및 768GB 메모리를 지원하는 인스턴스 크기
- 최대 4개의 FuriosaAI WARBOY NPU
- CPU 멀티스레딩 기능 활성화/비활성화 지원
사용 사례
- 객체 감지/얼굴 인식 등 고성능 딥러닝 모델 추론 가속화 작업
- CNN(Convolutional Neural Network) 계열의 컴퓨터 비전 영역 딥러닝 모델의 추론 가속화 작업
세부 정보
| 인스턴스 크기 | NPU | vCPU | 메모리 (GiB) | 네트워크 대역폭(Gbps) |
|---|---|---|---|---|
gf1i.6xlarge | 1 | 24 | 192 | 12.5 |
gf1i.12xlarge | 2 | 48 | 384 | 25 |
gf1i.24xlarge | 4 | 96 | 768 | 50 |