가속기 최적화 머신 제품군 (original) (raw)

이 문서에서는 사전 연결된 NVIDIA GPU가 있는 가상 머신(VM) 인스턴스를 제공하는 가속기 최적화 머신 계열을 설명합니다. 이러한 인스턴스는 특별히 인공지능(AI), 머신러닝(ML), 고성능 컴퓨팅(HPC), 그래픽 집약적 애플리케이션을 위해 설계되었습니다.

가속기 최적화 머신 계열은 A4X, A4, A3, A2, G4, G2 머신 시리즈에서 사용 가능합니다. 한 시리즈의 각 머신 유형에는 특정 모델과 연결된 여러 NVIDIA GPU가 있습니다. N1 범용 머신 유형에 일부 GPU 모델을 연결할 수도 있습니다.

워크로드 유형별 권장 머신 시리즈

다음 섹션에서는 GPU 워크로드에 따라 권장되는 머신 시리즈를 제공합니다.

워크로드 유형 권장 머신 유형
모델 사전 학습 A4X, A4, A3 Ultra, A3 Mega, A3 High, A2 가장 적합한 항목을 찾으려면 AI 하이퍼컴퓨터 문서에서 모델 사전 학습 권장사항을 참조하세요.
모델 미세 조정 A4X, A4, A3 Ultra, A3 Mega, A3 High, A2, G4 가장 적합한 항목을 찾으려면 AI 하이퍼컴퓨터 문서에서 모델 미세 조정 권장사항을 참조하세요.
추론 제공 A4X, A4, A3 Ultra, A3 Mega, A3 High, A3 Edge, A2, G4가장 적합한 항목을 찾으려면 AI 하이퍼컴퓨터 문서에서 추론 제공 권장사항을 참조하세요.
그래픽 집약적 워크로드 G4, G2, N1+T4
고성능 컴퓨팅 고성능 컴퓨팅 워크로드의 경우 가속기 최적화 머신 시리즈 모두 적합합니다. 가장 적합한 항목은 GPU로 오프로드해야 하는 컴퓨팅 부하에 따라 다릅니다. 자세한 내용은 AI 하이퍼컴퓨터 문서의 HPC 권장사항을 참조하세요.

가격 및 소비 옵션

소비 옵션은 컴퓨팅 리소스를 가져오고 사용하는 방법을 나타냅니다.Google Cloud 는 연결된 GPU, 사전 정의된 vCPU, 메모리, 번들 로컬 SSD(해당하는 경우)에 대한 가속기 최적화 머신 유형의 요금을 청구합니다. 가속기 최적화 인스턴스 할인은 사용하는 소비 옵션에 따라 다릅니다. 가속기 최적화 인스턴스 가격 책정에 대한 자세한 내용은 VM 인스턴스 가격 책정 페이지의 가속기 최적화 머신 유형 계열 섹션을 참조하세요.

가속기 최적화 인스턴스 할인은 선택한 소비 옵션에 따라 다릅니다.

머신 유형별 소비 옵션 사용 가능성

다음 표에는 머신 시리즈별로 각 소비 옵션의 사용 가능성이 요약되어 있습니다. 소비 옵션을 선택하는 방법에 대한 자세한 내용은 AI 하이퍼컴퓨터 문서의 소비 모델 선택을 참조하세요.

머신 유형 주문형 스팟 Flex-start(프리뷰) 온디맨드 예약 미래용 예약 캘린더 모드의 미래용 예약(프리뷰) AI 하이퍼컴퓨터의 미래용 예약
A4X
A4
A3 Ultra
A3 Mega GPU가 8개인 A3 High A3 Edge
GPU가 8개 미만인 A3 High
A2 Ultra 및 A2 Standard 1
G4 1
G2 1
GPU가 있는 N1

1A2, G4 또는 G2 머신 유형을 예약하려면 예약 요청을 제출하기 전에 계정팀 또는 영업팀에 문의하여 미래용 예약 요청에 대해 논의해야 합니다. 그렇지 않으면Google Cloud 에서 요청을 거부할 가능성이 높습니다.

A4X 머신 시리즈

A4X 머신 시리즈는 NVIDIA GB200 NVL72 랙 확장 아키텍처를 기반으로 하는 엑사스케일 플랫폼에서 실행되며 최대 140개의 vCPU와 884GB의 메모리를 포함합니다. 이 머신 시리즈는 컴퓨팅 및 메모리 집약적이고 네트워크에 바인딩된 ML 학습과 HPC 워크로드에 최적화되어 있습니다. A4X 머신 시리즈는 단일 머신 유형으로 제공됩니다.

A4X 머신 유형을 사용하여 만든 VM 인스턴스는 다음과 같은 기능을 제공합니다.

A4X 머신 유형

A4X 가속기 최적화 머신 유형은 NVIDIA GB200 Grace Blackwell Superchips(nvidia-gb200)를 사용하며 파운데이션 모델 학습과 서빙에 적합합니다.

A4X는 NVIDIA GB200 NVL72를 기반으로 하는 엑사스케일 플랫폼입니다. 각 머신에는 Arm Neoverse V2 코어가 있는 NVIDIA Grace CPU가 있는 소켓이 2개 있습니다. 이러한 CPU는 고속 칩 간(NVLink-C2C) 통신을 통해 NVIDIA B200 Blackwell GPU 4개에 연결됩니다.

연결된 NVIDIA GB200 Grace Blackwell Superchips
머신 유형 vCPU 수1 인스턴스 메모리(GB) 연결된 로컬 SSD(GiB) 물리적 NIC 수 최대 네트워크 대역폭(Gbps)2 GPU 수 GPU 메모리3 (GB HBM3e)
a4x-highgpu-4g 140 884 12,000 6 2,000 4 720

1vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
2 최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭에 대한 자세한 내용은 네트워크 대역폭을 참조하세요.
3GPU 메모리는 임시 데이터 스토리지에 사용할 수 있는 GPU 기기의 메모리입니다. 인스턴스의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

A4X 제한사항

A4X 인스턴스에 지원되는 디스크 유형

A4X 인스턴스에서 다음 블록 스토리지 유형을 사용할 수 있습니다.

인스턴스당 최대 디스크 수1
머신 유형 모든 Hyperdisk Hyperdisk Balanced Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 연결된 로컬 SSD
a4x-highgpu-4g 128 128 해당 사항 없음 해당 사항 없음 8 32

디스크 및 용량 한도

여러 Hyperdisk 유형을 혼합하여 인스턴스에 연결할 수 있지만 모든 디스크 유형에서 최대 총 디스크 용량(TiB)은 모든 Hyperdisk에 대해 512TiB를 초과할 수 없습니다.

용량 한도에 대한 자세한 내용은 Hyperdisk 크기 및 연결 한도를 참조하세요.

A4 머신 시리즈

A4 머신 시리즈는 최대 224개의 vCPU와 3,968GB의 메모리가 있는 머신 유형을 제공합니다. A4 인스턴스는 대부분의 GPU 가속 워크로드에서 이전 GPU 인스턴스 유형보다 최대 3배 높은 성능을 제공합니다. A4는 수백 또는 수천 개의 GPU와 같이 대규모 ML 학습 워크로드에 특히 권장됩니다. A4 머신 시리즈는 단일 머신 유형으로 제공됩니다.

A4 머신 유형을 사용하여 만든 VM 인스턴스는 다음과 같은 기능을 제공합니다.

A4 머신 유형

A4 가속기 최적화 머신 유형에는 NVIDIA B200 Blackwell GPU(nvidia-b200)가 연결되어 있으며 파운데이션 모델 학습과 서빙에 적합합니다.

연결된 NVIDIA B200 Blackwell GPU
머신 유형 vCPU 수1 인스턴스 메모리(GB) 연결된 로컬 SSD(GiB) 물리적 NIC 수 최대 네트워크 대역폭(Gbps)2 GPU 수 GPU 메모리3 (GB HBM3e)
a4-highgpu-8g 224 3,968 12,000 10 3,600 8 1,440

1vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
2 최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭에 대한 자세한 내용은 네트워크 대역폭을 참조하세요.
3GPU 메모리는 임시 데이터 스토리지에 사용할 수 있는 GPU 기기의 메모리입니다. 인스턴스의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

A4 제한사항

A4 인스턴스에 지원되는 디스크 유형

A4 인스턴스에서 다음 블록 스토리지 유형을 사용할 수 있습니다.

인스턴스당 최대 디스크 수1
머신 유형 모든 Hyperdisk Hyperdisk Balanced Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 연결된 로컬 SSD
a4-highgpu-8g 128 128 해당 사항 없음 해당 사항 없음 8 32

디스크 및 용량 한도

여러 Hyperdisk 유형을 혼합하여 인스턴스에 연결할 수 있지만 모든 디스크 유형에서 최대 총 디스크 용량(TiB)은 모든 Hyperdisk에 대해 512TiB를 초과할 수 없습니다.

용량 한도에 대한 자세한 내용은 Hyperdisk 크기 및 연결 한도를 참조하세요.

A3 머신 시리즈

A3 머신 시리즈에는 최대 224개의 vCPU와 2,944GB 메모리가 포함됩니다. 이 머신 시리즈는 컴퓨팅 및 메모리 집약적이고 네트워크에 바인딩된 ML 학습과 HPC 워크로드에 최적화되어 있습니다. A3 머신 시리즈는 A3 Ultra, A3 Mega, A3 High, A3 Edge 머신 유형에서 사용할 수 있습니다.

A3 머신 유형을 사용하여 만든 VM 인스턴스는 다음과 같은 기능을 제공합니다.

기능 A3 Ultra A3 Mega, High, Edge
GPU 가속 GPU당 141GB GPU 메모리를 제공하고 대규모 언어 모델 및 HPC 워크로드를 지원하기 위해 더 크고 더 빠른 메모리를 제공하는 NVIDIA H200 SXM GPU가 연결되어 있습니다. GPU당 80GB 메모리를 제공하고 Transformer 기반 언어 모델, 데이터베이스, HPC에 적합한 NVIDIA H100 SXM GPU가 연결되어 있습니다.
인텔 제온 스케일러블 프로세서 5세대 Intel Xeon 스케일러블 프로세서(Emerald Rapids)를 기반으로 하며 최대 4.0GHz의 지속형 싱글 코어 최대 터보 주파수를 제공합니다. 이 프로세서에 대한 자세한 내용은 CPU 플랫폼을 참조하세요. 4세대 Intel Xeon 스케일러블 프로세서(Sapphire Rapids)를 기반으로 하며 최대 3.3GHz의 지속형 싱글 코어 최대 터보 주파수를 제공합니다. 이 프로세서에 대한 자세한 내용은 CPU 플랫폼을 참조하세요.
업계 최고의 NVLink 확장성 NVIDIA H200 GPU는 900GB/s의 단방향 최대 GPU NVLink 대역폭을 제공합니다. 시스템의 GPU 8개 간에 전체 NVLink 토폴로지를 사용할 경우 집계 NVLink 대역폭은 최대 7.2TB/초입니다. NVIDIA H100 GPU는 450GB/s의 단방향 최대 GPU NVLink 대역폭을 제공합니다. 시스템의 GPU 8개 간에 전체 NVLink 토폴로지를 사용할 경우 집계 NVLink 대역폭은 최대 7.2TB/초입니다.
향상된 네트워킹 이 머신 유형의 경우 RoCE(RDMA over Converged Ethernet)는 NVIDIA ConnectX-7 네트워크 인터페이스 카드(NIC)와 데이터 센터 전반의 4방향 레일 정렬 네트워크를 결합하여 네트워크 성능을 향상시켜 줍니다. a3-ultragpu-8g 머신 유형은 RDMA over Converged Ethernet(RoCE)를 활용하여 다른 A3 머신 유형과 비교했을 때 클러스터의 인스턴스 간에 훨씬 높은 처리량을 달성합니다. A3 Mega 머신 유형의 경우 GPUDirect-TCPXO는 TCP 프로토콜을 오프로드하여 GPUDirect-TCPX를 더욱 향상시킵니다. GPUDirect-TCPXO를 활용하면 a3-megagpu-8g 머신 유형의 네트워크 대역폭이 A3 High 및 A3 Edge 머신 유형에 비해 두 배가 됩니다. A3 Edge 및 A3 High 머신 유형의 경우 GPUDirect-TCPX는 데이터 패킷 페이로드가 GPU 메모리에서 네트워크 인터페이스로 직접 전송되도록 허용함으로써 네트워크 성능을 향상시켜 줍니다. 이러한 머신 유형은 GPUDirect-TCPX를 활용하여 A2 또는 G2 가속기 최적화 머신 유형에 비해 클러스터에서 인스턴스 간 처리량을 훨씬 높여줍니다.
네트워킹 속도 개선 이전 세대의 A2 머신 시리즈에 비해 최대 4배 이상의 네트워킹 속도를 제공합니다. 네트워킹에 대한 자세한 내용은 네트워크 대역폭 및 GPU를 참조하세요. 이전 세대의 A2 머신 시리즈에 비해 최대 2.5배 이상의 네트워킹 속도를 제공합니다. 네트워킹에 대한 자세한 내용은 네트워크 대역폭 및 GPU를 참조하세요.
가상화 최적화 A3 인스턴스의 Peripheral Component Interconnect Express(PCIe) 토폴로지는 워크로드가 데이터 전송을 최적화하는 데 사용할 수 있는 보다 정확한 지역 정보를 제공합니다. 또한 이 GPU는 장애의 단계적 복구를 위한 함수 수준 재설정(FLR)과 특정 시나리오의 동시 실행 개선을 위한 원자적 작업 지원을 제공합니다.
로컬 SSD, Persistent Disk, Hyperdisk 지원 로컬 SSD를 고속 스크래치 디스크에 또는 I/O 병목 현상을 방지하면서 GPU에 데이터를 피드하는 데 사용할 수 있습니다. 로컬 SSD는 다음과 같이 연결됩니다. 로컬 SSD 중 12,000GiB가 A3 Ultra 인스턴스에 자동으로 추가됩니다. 로컬 SSD 중 6,000GiB가 A3 Mega, High, Edge 인스턴스에 자동으로 추가됩니다. 또한 더 높은 스토리지 성능이 필요한 애플리케이션의 경우 최대 512TiB의 Persistent Disk 및 Hyperdisk를 이 시리즈의 머신 유형에 연결할 수 있습니다. 일부 머신 유형의 경우 최대 257TiB의 Persistent Disk도 지원됩니다.
압축 배치 정책 지원 데이터 센터 내에서 인스턴스의 물리적 배치를 더 효과적으로 제어할 수 있습니다. 이렇게 하면 단일 가용성 영역 내에 있는 인스턴스의 지연 시간이 단축되고 대역폭이 증가합니다. 자세한 내용은 압축 배치 정책 정보를 참조하세요.

A3 Ultra 머신 유형

A3 Ultra 머신 유형에는 NVIDIA H200 SXM GPU(nvidia-h200-141gb)가 연결되어 있으며 A3 시리즈에서 가장 높은 네트워크 성능을 제공합니다. A3 Ultra 머신 유형은 파운데이션 모델 학습과 서빙에 적합합니다.

연결된 NVIDIA H200 GPU
머신 유형 vCPU 수1 인스턴스 메모리(GB) 연결된 로컬 SSD(GiB) 물리적 NIC 수 최대 네트워크 대역폭(Gbps)2 GPU 수 GPU 메모리3 (GB HBM3e)
a3-ultragpu-8g 224 2,952 12,000 10 3,600 8 1128

1vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
2 최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭에 대한 자세한 내용은 네트워크 대역폭을 참조하세요.
3GPU 메모리는 임시 데이터 스토리지에 사용할 수 있는 GPU 기기의 메모리입니다. 인스턴스의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

A3 Ultra 제한사항

A3 Mega 머신 유형

A3 Mega 머신 유형에는 NVIDIA H100 SXM GPU가 있으며 대규모 모델 학습과 다중 호스트 추론에 적합합니다.

연결된 NVIDIA H100 GPU
머신 유형 vCPU 수1 인스턴스 메모리(GB) 연결된 로컬 SSD(GiB) 물리적 NIC 수 최대 네트워크 대역폭(Gbps)2 GPU 수 GPU 메모리3 (GB HBM3)
a3-megagpu-8g 208 1,872 6,000 9 1,800 8 640

1vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
2 최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭에 대한 자세한 내용은 네트워크 대역폭을 참조하세요.
3GPU 메모리는 임시 데이터 스토리지에 사용할 수 있는 GPU 기기의 메모리입니다. 인스턴스의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

A3 Mega 제한사항

A3 High 머신 유형

A3 High 머신 유형에는 NVIDIA H100 SXM GPU가 있으며 대규모 모델 추론과 모델 미세 조정 모두에 적합합니다.

연결된 NVIDIA H100 GPU
머신 유형 vCPU 수1 인스턴스 메모리(GB) 연결된 로컬 SSD(GiB) 물리적 NIC 수 최대 네트워크 대역폭(Gbps)2 GPU 수 GPU 메모리3 (GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1,500 1 50 2 160
a3-highgpu-4g 104 936 3,000 1 100 4 320
a3-highgpu-8g 208 1,872 6,000 5 1,000 8 640

1vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
2 최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭에 대한 자세한 내용은 네트워크 대역폭을 참조하세요.
3GPU 메모리는 임시 데이터 스토리지에 사용할 수 있는 GPU 기기의 메모리입니다. 인스턴스의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

A3 High 제한사항

A3 Edge 머신 유형

A3 Edge 머신 유형에는 NVIDIA H100 SXM GPU가 있으며 이 머신 유형은 서빙 전용으로 설계되었고 제한된 리전 집합에서 사용 가능합니다.

연결된 NVIDIA H100 GPU
머신 유형 vCPU 수1 인스턴스 메모리(GB) 연결된 로컬 SSD(GiB) 물리적 NIC 수 최대 네트워크 대역폭(Gbps)2 GPU 수 GPU 메모리3 (GB HBM3)
a3-edgegpu-8g 208 1,872 6,000 5 800: asia-south1 및 northamerica-northeast2 400: 기타 모든 A3 Edge 리전 8 640

1vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
2 최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭에 대한 자세한 내용은 네트워크 대역폭을 참조하세요.
3GPU 메모리는 임시 데이터 스토리지에 사용할 수 있는 GPU 기기의 메모리입니다. 인스턴스의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

A3 Edge 제한사항

A3 인스턴스에 지원되는 디스크 유형

A3 Ultra

A3 Ultra 인스턴스에서 다음 블록 스토리지 유형을 사용할 수 있습니다.

인스턴스당 최대 디스크 수1
머신유형 모든 Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 연결된로컬 SSD디스크
a3-ultragpu-8g 128 128 128 해당 사항 없음 해당 사항 없음 8 32

A3 Mega

A3 Mega 인스턴스에서 다음 블록 스토리지 유형을 사용할 수 있습니다.

인스턴스당 최대 디스크 수1
머신유형 모든 Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 연결된로컬 SSD디스크
a3-megagpu-8g 128 32 32 64 64 8 16

A3 High

A3 High 인스턴스에서 다음 블록 스토리지 유형을 사용할 수 있습니다.

인스턴스당 최대 디스크 수1
머신유형 모든 Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 연결된로컬 SSD디스크
a3-highgpu-1g 128 32 32 64 64 해당 사항 없음 2
a3-highgpu-2g 128 32 32 64 64 해당 사항 없음 4
a3-highgpu-4g 128 32 32 64 64 8 8
a3-highgpu-8g 128 32 32 64 64 8 16

A3 Edge

A3 Edge 인스턴스에서 다음 블록 스토리지 유형을 사용할 수 있습니다.

인스턴스당 최대 디스크 수1
머신 유형 모든 Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 연결된 로컬 SSD
a3-edgegpu-8g 128 32 32 64 64 8 16

디스크 및 용량 한도

머신 유형에서 지원하는 경우 인스턴스에 Hyperdisk 및 Persistent Disk 볼륨을 혼합하여 연결할 수 있지만 다음과 같은 제한사항이 적용됩니다.

용량 한도에 관한 자세한 내용은 Hyperdisk 크기 및 연결 한도 및 Persistent Disk 최대 용량을 참조하세요.

A2 머신 시리즈

A2 머신 시리즈는 A2 Standard 및 A2 Ultra 머신 유형에서 사용 가능합니다. 이러한 머신 유형은 vCPU 12~96개와 최대 메모리 1,360GB를 포함합니다.

A2 머신 유형을 사용하여 만든 VM 인스턴스는 다음과 같은 기능을 제공합니다.

다음과 같은 머신 유형을 A2 머신 시리즈에 사용할 수 있습니다.

A2 Ultra 머신 유형

이러한 머신 유형에는 고정된 개수의 A100 80GB GPU가 포함됩니다. 로컬 SSD는 A2 Ultra 머신 유형을 사용하여 만든 인스턴스에 자동으로 연결됩니다.

연결된 NVIDIA A100 80GB GPU
머신 유형 vCPU 수1 인스턴스 메모리(GB) 연결된 로컬 SSD(GiB) 최대 네트워크 대역폭(Gbps)2 GPU 수 GPU 메모리3 (GB HBM2e)
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1,500 50 4 320
a2-ultragpu-8g 96 1,360 3,000 100 8 640

1vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
2 최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭에 대한 자세한 내용은 네트워크 대역폭을 참조하세요.
3GPU 메모리는 임시 데이터 스토리지에 사용할 수 있는 GPU 기기의 메모리입니다. 인스턴스의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

A2 Ultra 제한사항

A2 Standard 머신 유형

이러한 머신 유형에는 고정된 개수의 A100 40GB GPU가 포함됩니다. A2 Standard 인스턴스를 만들 때 로컬 SSD 디스크를 추가할 수도 있습니다. 연결할 수 있는 디스크 수는 로컬 SSD 디스크 수를 선택해야 하는 머신 유형을 참조하세요.

연결된 NVIDIA A100 40GB GPU
머신 유형 vCPU 수1 인스턴스 메모리(GB) 지원되는 로컬 SSD 최대 네트워크 대역폭(Gbps)2 GPU 수 GPU 메모리3 (GB HBM2)
a2-highgpu-1g 12 85 예 24 1 40
a2-highgpu-2g 24 170 예 32 2 80
a2-highgpu-4g 48 340 예 50 4 160
a2-highgpu-8g 96 680 예 100 8 320
a2-megagpu-16g 96 1,360 예 100 16 640

1vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
2 최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭에 대한 자세한 내용은 네트워크 대역폭을 참조하세요.
3GPU 메모리는 임시 데이터 스토리지에 사용할 수 있는 GPU 기기의 메모리입니다. 인스턴스의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

A2 Standard 제한사항

A2 인스턴스에 지원되는 디스크 유형

A2 인스턴스에서 다음 블록 스토리지 유형을 사용할 수 있습니다.

머신 유형에서 지원하는 경우 인스턴스에 Hyperdisk 및 Persistent Disk 볼륨을 혼합하여 연결할 수 있지만 다음과 같은 제한사항이 적용됩니다.

용량 한도에 관한 자세한 내용은 Hyperdisk 크기 및 연결 한도 및 Persistent Disk 최대 용량을 참조하세요.

G4 머신 시리즈

G4 머신 시리즈는 AMD EPYC Turin CPU 플랫폼을 사용하며 NVIDIA RTX PRO 6000 Blackwell 서버 에디션 GPU를 탑재합니다. 이 머신 시리즈는 GPU 메모리 대폭 증가, GPU 메모리 대역폭 증가, 네트워킹 대역폭 향상 등 이전 세대 G2 머신 시리즈에 비해 크게 개선되었습니다.

G4 인스턴스에는 vCPU 최대 384개, 메모리 1,440GB, 티타늄 SSD 디스크 12TiB가 연결되어 있습니다. G4 인스턴스는 표준 네트워크 성능도 최대 400Gbps까지 제공합니다.

이 머신 시리즈는 특히 NVIDIA Omniverse 시뮬레이션 워크로드, 그래픽 집약적 애플리케이션, 동영상 트랜스코딩, 가상 데스크톱과 같은 워크로드에 적합합니다. 또한 G4 머신 시리즈는 A 시리즈 머신 유형에 비해 단일 호스트 추론 및 모델 조정을 수행할 수 있는 저비용 솔루션을 제공합니다.

G4 머신 유형을 사용하는 인스턴스는 다음 기능을 제공합니다.

G4 머신 유형

G4 가속기 최적화 머신 유형은 NVIDIA RTX PRO 6000 Blackwell 서버 에디션 GPU (nvidia-rtx-pro-6000)를 사용하며 NVIDIA Omniverse 시뮬레이션 워크로드, 그래픽 집약적 애플리케이션, 동영상 트랜스코딩, 가상 데스크톱에 적합합니다. 또한 G4 머신 유형은 A 시리즈 머신 유형에 비해 단일 호스트 추론 및 모델 조정을 수행할 수 있는 저비용 솔루션을 제공합니다.

연결된 NVIDIA RTX PRO 6000 GPU
머신 유형 vCPU 수1 인스턴스 메모리(GB) 지원되는 최대 티타늄 SSD(GiB)2 물리적 NIC 수 최대 네트워크 대역폭(Gbps)3 GPU 수 GPU 메모리4 (GB GDDR7)
g4-standard-48 48 180 1,500 1 50 1 96
g4-standard-96 96 360 3,000 1 100 2 192
g4-standard-192 192 720 6,000 1 200 4 384
g4-standard-384 384 1,440 12,000 2 400 8 768

1vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
2G4 인스턴스를 만들 때 티타늄 SSD 디스크를 추가할 수 있습니다. 연결할 수 있는 디스크 수는 로컬 SSD 디스크 수를 선택해야 하는 머신 유형을 참조하세요.
3최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다.네트워크 대역폭을 참조하세요.
4GPU 메모리는 임시 데이터 스토리지에 사용할 수 있는 GPU 기기의 메모리입니다. 인스턴스의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

G4 제한사항

G4 인스턴스에 지원되는 디스크 유형

G4 인스턴스에서 다음 블록 스토리지 유형을 사용할 수 있습니다.

인스턴스당 최대 디스크 수1
머신 유형 모든 Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Extreme Hyperdisk ML Hyperdisk Throughput 티타늄 SSD
g4-standard-48 32 32 32 0 32 32 4
g4-standard-96 32 32 32 8 32 32 8
g4-standard-192 64 64 64 8 64 64 16
g4-standard-384 128 128 128 8 128 128 32

여러 Hyperdisk 유형을 혼합하여 인스턴스에 연결할 수 있지만 모든 디스크 유형에서 최대 총 디스크 용량(TiB)은 모든 Hyperdisk에 대해 512TiB를 초과할 수 없습니다.

용량 한도에 대한 자세한 내용은 Hyperdisk 크기 및 연결 한도를 참조하세요.

G4 P2P 통신

G4 인스턴스는 직접 GPU P2P 통신을 사용하여 머리 GPU 워크로드 성능을 향상시킵니다. 이 기능을 사용하면 같은 G4 인스턴스에 연결된 GPU가 PCIe 버스를 통해 직접 데이터를 교환할 수 있으므로 CPU의 기본 메모리를 통해 데이터를 전송할 필요가 없습니다. 이 직접 경로를 통해 지연 시간이 줄어들고 CPU 사용률이 낮아지며 GPU 간의 유효 대역폭이 증가합니다. P2P 통신은 머신러닝(ML) 학습 및 고성능 컴퓨팅(HPC)과 같은 멀티 GPU 애플리케이션을 크게 가속화합니다.

이 기능을 사용하기 위해 일반적으로 애플리케이션 코드를 수정할 필요가 없습니다. P2P를 사용하도록 NCCL만 구성하면 됩니다. NCCL을 구성하려면 워크로드를 실행하기 전에 머신 유형에 따라 G4 인스턴스에서 NCCL_P2P_LEVEL 환경 변수를 설정합니다.

다음 옵션 중 하나를 사용하여 환경 변수를 설정합니다.

주요 이점 및 성능

G2 머신 시리즈

G2 머신 시리즈는 vCPU 4~96개와 메모리 최대 432GB를 사용하는 표준 머신 유형에서 사용 가능합니다. 이 머신 시리즈는 추론 및 그래픽 워크로드에 최적화되어 있습니다. G2 머신 시리즈는 여러 구성이 있는 단일 표준 머신 유형에서 사용 가능합니다.

G2 머신 유형을 사용하여 만든 인스턴스는 다음 기능을 제공합니다.

G2 머신 유형

G2 가속기 최적화 머신 유형에는 NVIDIA L4 GPU가 연결되어 있으며 비용 최적화 추론, 그래픽 집약적 워크로드, 고성능 컴퓨팅 워크로드에 적합합니다.

각 G2 머신 유형에는 기본 메모리와 커스텀 메모리 범위도 있습니다. 커스텀 메모리 범위는 각 머신 유형의 인스턴스에 할당할 수 있는 메모리 양을 정의합니다. G2 인스턴스를 만들 때 로컬 SSD 디스크를 추가할 수도 있습니다. 연결할 수 있는 디스크 수는 로컬 SSD 디스크 수를 선택해야 하는 머신 유형을 참조하세요.

연결된 NVIDIA L4 GPU
머신 유형 vCPU 수1 기본 인스턴스 메모리(GB) 커스텀 인스턴스 메모리 범위(GB) 지원되는 최대 로컬 SSD(GiB) 최대 네트워크 대역폭(Gbps)2 GPU 수 GPU 메모리3(GB GDDR6)
g2-standard-4 4 16 16~32 375 10 1 24
g2-standard-8 8 32 32~54 375 16 1 24
g2-standard-12 12 48 48~54 375 16 1 24
g2-standard-16 16 64 54~64 375 32 1 24
g2-standard-24 24 96 96~108 750 32 2 48
g2-standard-32 32 128 96~128 375 32 1 24
g2-standard-48 48 192 192~216 1,500 50 4 96
g2-standard-96 96 384 384~432 3,000 100 8 192

1vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
2 최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭에 대한 자세한 내용은 네트워크 대역폭을 참조하세요.
3GPU 메모리는 임시 데이터 스토리지에 사용할 수 있는 GPU 기기의 메모리입니다. 인스턴스의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

G2 제한사항

G2 인스턴스에 지원되는 디스크 유형

G2 인스턴스에서 다음 블록 스토리지 유형을 사용할 수 있습니다.

머신 유형에서 지원하는 경우 인스턴스에 Hyperdisk 및 Persistent Disk 볼륨을 혼합하여 연결할 수 있지만 다음과 같은 제한사항이 적용됩니다.

용량 한도에 관한 자세한 내용은 Hyperdisk 크기 및 연결 한도 및 Persistent Disk 최대 용량을 참조하세요.

다음 단계