Tipi di macchina GPU

Puoi utilizzare le GPU su Compute Engine per accelerare workload specifici sulle tue VM, come il machine learning (ML) e l'elaborazione di dati. Per utilizzare le GPU, puoi eseguire il deployment di una VM ottimizzata per l'acceleratore con GPU collegate oppure collegare GPU a una VM N1 per uso generico.

Compute Engine fornisce GPU per le tue VM in modalità passthrough, per cui le VM hanno il controllo diretto sulle GPU e sulla memoria associata.

Per saperne di più sulle GPU su Compute Engine, consulta Informazioni sulle GPU.

Se hai workload ad alta intensità grafica, come visualizzazione 3D, rendering 3D o applicazioni virtuali, puoi utilizzare le workstation virtuali NVIDIA RTX (in precedenza NVIDIA GRID).

Questo documento fornisce una panoramica delle diverse VM con GPU disponibili su Compute Engine.

Per visualizzare le regioni e le zone disponibili per le GPU su Compute Engine, consulta Disponibilità delle GPU per regioni e zone.

GPU per i workload di computing

Per i workload di computing, le GPU sono supportate per i seguenti tipi di macchine:

  • VM A4: a queste VM sono collegate automaticamente GPU NVIDIA B200.
  • VM A3: a queste VM sono collegate automaticamente GPU NVIDIA H100 da 80 GB o NVIDIA H200 da 141 GB.
  • VM A2: a queste VM sono collegate automaticamente GPU NVIDIA A100 da 80 GB o NVIDIA A100 da 40 GB.
  • VM G2: a queste VM sono collegate automaticamente GPU NVIDIA L4.
  • VM N1: a queste VM puoi collegare i seguenti modelli di GPU: NVIDIA T4, NVIDIA V100, NVIDIA P100 o NVIDIA P4.

Serie di macchine A4

Per utilizzare le GPU NVIDIA B200, devi utilizzare un tipo di macchina A4 ottimizzata per l'acceleratore. Ogni tipo di macchina A4 ha un numero fisso di GPU e vCPU e dimensioni fisse della memoria.

Tipo di macchina Conteggio GPU Memoria GPU*
(GB HBM3e)		 Numero di vCPU† Memoria VM (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps)‡
a4-highgpu-8g 8 1440 224 3968 12.000 10 3600

* La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.
† Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
‡ La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Vedi Larghezza di banda della rete.

Serie di macchine A3

Per utilizzare le GPU NVIDIA H100 da 80 GB o NVIDIA H200 da 141 GB, devi utilizzare un tipo di macchina A3 ottimizzata per l'acceleratore. Ogni tipo di macchina A3 ha un numero fisso di GPU e vCPU e dimensioni fisse della memoria.

Tipo di macchina A3 Ultra

Per utilizzare le GPU NVIDIA H200 da 141 GB, devi utilizzare il tipo di macchina A3 Ultra. Questo tipo di macchina dispone di GPU H200 da 141 GB (nvidia-h200-141gb) e offre le massime prestazioni di rete. Sono macchine ideali per l'addestramento e la pubblicazione di foundation model.

Tipo di macchina Conteggio GPU Memoria GPU*
(GB HBM3e)		 Numero di vCPU† Memoria VM (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps)‡
a3-ultragpu-8g 8 1128 224 2952 12.000 10 3600

* La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.
† Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
‡ La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Vedi Larghezza di banda della rete.

Tipi di macchine A3 Mega, High ed Edge

Per utilizzare NVIDIA H100 da 80 GB, hai le seguenti opzioni:

  • A3 Mega: questi tipi di macchine dispongono di GPU H100 da 80 GB (nvidia-h100-mega-80gb) e sono ideali per workload di addestramento e pubblicazione su larga scala.
  • A3 High: questi tipi di macchine dispongono di GPU H100 da 80 GB (nvidia-h100-80gb) e sono adatti sia per le attività di addestramento sia per quelle di pubblicazione.
  • A3 Edge: questi tipi di macchine sono dotati di GPU H100 da 80 GB (nvidia-h100-80gb), sono progettati specificamente per la pubblicazione e sono disponibili in un insieme limitato di regioni.

A3 Mega

Tipo di macchina Conteggio GPU Memoria GPU*
(GB HBM3)		 Numero di vCPU† Memoria VM (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps)‡
a3-megagpu-8g 8 640 208 1872 6000 9 1800

A3 High

Tipo di macchina Conteggio GPU Memoria GPU*
(GB HBM3)		 Numero di vCPU† Memoria VM (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps)‡
a3-highgpu-1g 1 80 26 234 750 1 25
a3-highgpu-2g 2 160 52 468 1500 1 50
a3-highgpu-4g 4 320 104 936 3000 1 100
a3-highgpu-8g 8 640 208 1872 6000 5 1000

A3 Edge

Tipo di macchina Conteggio GPU Memoria GPU*
(GB HBM3)		 Numero di vCPU† Memoria VM (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps)‡
a3-edgegpu-8g 8 640 208 1872 6000 5
  • 800: per asia-south1 e northamerica-northeast2
  • 400: per tutte le altre regioni A3 Edge

* La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.
† Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
‡ La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Vedi Larghezza di banda della rete.

Serie di macchine A2

Per utilizzare le GPU NVIDIA A100 suGoogle Cloud, devi utilizzare un tipo di macchina A2 ottimizzata per l'acceleratore. Ogni tipo di macchina A2 ha un numero fisso di GPU e vCPU e dimensioni fisse della memoria.

Le serie di macchine A2 sono disponibili in due tipi:

  • A2 Ultra: a questi tipi di macchine sono collegate GPU A100 da 80 GB (nvidia-a100-80gb) e dischi SSD locali.
  • A2 Standard: a questi tipi di macchine sono collegate GPU A100 da 40 GB (nvidia-tesla-a100).

A2 Ultra

Tipo di macchina Conteggio GPU Memoria GPU*
(GB HBM3)		 Numero di vCPU† Memoria VM (GB) SSD locale collegato (GiB) Larghezza di banda massima della rete (Gbps)‡
a2-ultragpu-1g 1 80 12 170 375 24
a2-ultragpu-2g 2 160 24 340 750 32
a2-ultragpu-4g 4 320 48 680 1500 50
a2-ultragpu-8g 8 640 96 1360 3000 100

A2 Standard

Tipo di macchina Conteggio GPU Memoria GPU*
(GB HBM3)		 Numero di vCPU† Memoria VM (GB) SSD locale collegato (GiB) Larghezza di banda massima della rete (Gbps)‡
a2-highgpu-1g 1 40 12 85 Sì 24
a2-highgpu-2g 2 80 24 170 Sì 32
a2-highgpu-4g 4 160 48 340 Sì 50
a2-highgpu-8g 8 320 96 680 Sì 100
a2-megagpu-16g 16 640 96 1360 Sì 100

* La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Serie di macchine G2

Per utilizzare le GPU NVIDIA L4 (nvidia-l4 o nvidia-l4-vws), devi utilizzare un tipo di macchina G2 ottimizzata per l'acceleratore.

A ogni tipo di macchina G2 è collegato un numero fisso di GPU NVIDIA L4 e vCPU. Ogni tipo di macchina G2 ha anche una memoria predefinita e un intervallo di memoria personalizzato. L'intervallo di memoria personalizzato definisce la quantità di memoria che puoi allocare alla VM per ogni tipo di macchina. Puoi specificare la memoria personalizzata durante la creazione della VM.

Tipo di macchina Conteggio GPU Memoria GPU* (GB GDDR6) Numero di vCPU† Memoria VM predefinita (GB) Intervallo di memoria VM personalizzato (GB) SSD locale massimo supportato (GiB) Larghezza di banda massima della rete (Gbps)‡
g2-standard-4 1 24 4 16 16-32 375 10
g2-standard-8 1 24 8 32 32-54 375 16
g2-standard-12 1 24 12 48 48-54 375 16
g2-standard-16 1 24 16 64 54-64 375 32
g2-standard-24 2 48 24 96 96-108 750 32
g2-standard-32 1 24 32 128 96-128 375 32
g2-standard-48 4 96 48 192 192-216 1500 50
g2-standard-96 8 192 96 384 384-432 3000 100

* La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Serie di macchine N1

Puoi collegare i seguenti modelli di GPU a un tipo di macchina N1, ad eccezione del tipo di macchina N1 con core condivisi.

Le VM N1 con i numeri di GPU più bassi sono limitate a un numero massimo di vCPU. Di norma, un numero maggiore di GPU ti consente di creare istanze VM con più memoria e un numero maggiore di vCPU.

N1+GPU T4

Puoi collegare GPU NVIDIA T4 alle VM N1 per uso generico con le seguenti configurazioni VM.

Tipo di acceleratore Conteggio GPU Memoria GPU* (GB GDDR6) Numero di vCPU Memoria VM (GB) SSD locale supportato
nvidia-tesla-t4 o
nvidia-tesla-t4-vws 		1 16 1-48 1-312 Sì
2 32 1-48 1-312 Sì
4 64 1-96 1-624 Sì

* La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

N1+GPU P4

Puoi collegare GPU NVIDIA P4 alle VM N1 per uso generico con le seguenti configurazioni VM.

Tipo di acceleratore Conteggio GPU Memoria GPU* (GB GDDR5) Numero di vCPU Memoria VM (GB) SSD locale supportato†
nvidia-tesla-p4 o
nvidia-tesla-p4-vws 		1 8 1-24 1-156 Sì
2 16 1-48 1-312 Sì
4 32 1-96 1-624 Sì

* La memoria GPU è la memoria disponibile su una GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

† Per le VM con GPU NVIDIA P4 collegate, i dischi SSD locali sono supportati solo nelle zone us-central1-c e northamerica-northeast1-b.

N1+GPU V100

Puoi collegare GPU NVIDIA V100 alle VM N1 per uso generico con le seguenti configurazioni VM.

Tipo di acceleratore Conteggio GPU Memoria GPU* (GB HBM2) Numero di vCPU Memoria VM (GB) SSD locale supportato†
nvidia-tesla-v100 1 16 1-12 1-78 Sì
2 32 1-24 1-156 Sì
4 64 1-48 1-312 Sì
8 128 1-96 1-624 Sì

* La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.
† Per le VM con GPU NVIDIA V100 collegate, i dischi SSD locali non sono supportati in us-east1-c.

N1+GPU P100

Puoi collegare GPU NVIDIA P100 alle VM N1 per uso generico con le seguenti configurazioni VM.

Per alcune GPU NVIDIA P100, la CPU e la memoria massime disponibili per determinate configurazioni dipendono dalla zona in cui è in esecuzione la risorsa GPU.

Tipo di acceleratore Conteggio GPU Memoria GPU* (GB HBM2) Numero di vCPU Memoria VM (GB) SSD locale supportato
nvidia-tesla-p100 o
nvidia-tesla-p100-vws 		1 16 1-16 1-104 Sì
2 32 1-32 1-208 Sì
4 64

1-64
(us-east1-c, europe-west1-d, europe-west1-b)

1-96
(tutte le zone P100)

1-208
(us-east1-c, europe-west1-d, europe-west1-b)

1-624
(tutte le zone P100)

 Sì

* La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Workstation virtuali (vWS) NVIDIA RTX per i workload grafici

Se hai workload ad alta intensità grafica, come la visualizzazione 3D, puoi creare workstation virtuali che utilizzano le workstation virtuali (vWS) NVIDIA RTX (precedentemente note come NVIDIA GRID). Quando crei una workstation virtuale, alla VM viene aggiunta automaticamente una licenza per workstation virtuale (vWS) NVIDIA RTX.

Per informazioni sui prezzi delle workstation virtuali, consulta la pagina dei prezzi delle GPU.

Per i workload grafici, sono disponibili i seguenti modelli di workstation virtuale (vWS) NVIDIA RTX:

  • Serie di macchine G2: per i tipi di macchine G2 puoi attivare le workstation virtuali (vWS) NVIDIA L4: nvidia-l4-vws

  • Serie di macchine N1: per i tipi di macchine N1, puoi attivare le seguenti workstation virtuali:

    • Workstation virtuali NVIDIA T4: nvidia-tesla-t4-vws
    • Workstation virtuali NVIDIA P100: nvidia-tesla-p100-vws
    • Workstation virtuali NVIDIA P4: nvidia-tesla-p4-vws

Grafico di confronto generale

La seguente tabella descrive le dimensioni della memoria GPU, la disponibilità delle funzionalità e i tipi di workload ideali dei diversi modelli di GPU disponibili su Compute Engine.

Modello di GPU Memoria GPU Interconnessione Supporto della workstation virtuale (vWS) NVIDIA RTX Ideale per
B200 180 GB HBM3e a 8 TBps NVLink Full Mesh a 1800 GBps Addestramento e inferenza distribuiti su larga scala di LLM, motori per suggerimenti e HPC
H200 da 141 GB 141 GB HBM3e a 4,8 TBps NVLink Full Mesh a 900 GBps Modelli di grandi dimensioni con tabelle di dati estremamente grandi per addestramento ML, inferenza, HPC, BERT, DLRM
H100 da 80 GB HBM3 da 80 GB a 3,35 TBps NVLink Full Mesh a 900 GBps Modelli di grandi dimensioni con tabelle di dati estremamente grandi per addestramento ML, inferenza, HPC, BERT, DLRM
A100 da 80 GB HBM2e da 80 GB a 1,9 TBps NVLink Full Mesh a 600 GBps Modelli di grandi dimensioni con tabelle di dati estremamente grandi per addestramento ML, inferenza, HPC, BERT, DLRM
A100 da 40 GB HBM2 da 40 GB a 1,6 TBps NVLink Full Mesh a 600 GBps Addestramento ML, inferenza, HPC
L4 GDDR6 da 24 GB a 300 GBps N/A Inferenza ML, addestramento, workstation di visualizzazione remota, transcodifica video, HPC
T4 GDDR6 da 16 GB a 320 GBps N/A Inferenza ML, addestramento, workstation di visualizzazione remota, transcodifica video
V100 HBM2 da 16 GB a 900 GBps NVLink Ring a 300 GBps Addestramento ML, inferenza, HPC
P4 GDDR5 da 8 GB a 192 GBps N/A Workstation di visualizzazione remota, inferenza ML e transcodifica video
P100 HBM2 da 16 GB a 732 GBps N/A Addestramento ML, inferenza, HPC, workstation di visualizzazione remota

Per confrontare i prezzi delle GPU per i diversi modelli e le regioni disponibili su Compute Engine, consulta Prezzi delle GPU.

Grafico di confronto delle prestazioni

La tabella seguente descrive le specifiche di prestazioni dei diversi modelli di GPU disponibili su Compute Engine.

Prestazioni di computing

Modello di GPU FP64 FP32 FP16 INT8
B200 40 TFLOPS 80 TFLOPS
H200 da 141 GB 34 TFLOPS 67 TFLOPS
H100 da 80 GB 34 TFLOPS 67 TFLOPS
A100 da 80 GB 9,7 TFLOPS 19,5 TFLOPS
A100 da 40 GB 9,7 TFLOPS 19,5 TFLOPS
L4 0,5 TFLOPS* 30,3 TFLOPS
T4 0,25 TFLOPS* 8,1 TFLOPS
V100 7,8 TFLOPS 15,7 TFLOPS
P4 0,2 TFLOPS* 5,5 TFLOPS 22 TOPS†
P100 4,7 TFLOPS 9,3 TFLOPS 18,7 TFLOPS

* Per consentire il corretto funzionamento del codice FP64, nell'architettura delle GPU T4, L4 e P4 è incluso un numero ridotto di unità hardware FP64.
† Teraoperazioni al secondo.

Prestazioni Tensor Core

Modello di GPU FP64 TF32 FP16/FP32 a precisione mista INT8 INT4 FP8
B200 40 TFLOPS 2200 TFLOPS† 4500 TFLOPS*, † 9000 TFLOPS† 9000 TFLOPS†
H200 da 141 GB 67 TFLOPS 989 TFLOPS† 1979 TFLOPS*, † 3958 TOPS† 3958 TFLOPS†
H100 da 80 GB 67 TFLOPS 989 TFLOPS† 1979 TFLOPS*, † 3958 TOPS† 3958 TFLOPS†
A100 da 80 GB 19,5 TFLOPS 156 TFLOPS 312 TFLOPS* 624 TOPS 1248 TOPS
A100 da 40 GB 19,5 TFLOPS 156 TFLOPS 312 TFLOPS* 624 TOPS 1248 TOPS
L4 120 TFLOPS† 242 TFLOPS*, † 485 TOPS† 485 TFLOPS†
T4 65 TFLOPS 130 TOPS 260 TOPS
V100 125 TFLOPS
P4
P100

* Per l'addestramento con precisione mista, le GPU NVIDIA B200, H200, H100, A100 e L4 supportano anche il tipo di dati bfloat16.
† Per le GPU NVIDIA B200, H200, H100 e L4, è supportata la sparsità strutturale, che puoi utilizzare per raddoppiare il valore delle prestazioni. I valori mostrati sono con sparsità. Le specifiche sono dimezzate senza sparsità.

Passaggi successivi