Il motore dietro le fabbriche IA per l'era del ragionamento IA, ora in piena produzione.
Scopri i progressi rivoluzionari introdotti dall'architettura NVIDIA Blackwell nell'IA generativa e nel computing accelerato. Basandosi su generazioni di tecnologie NVIDIA, Blackwell definisce la prossima fase dell’IA generativa grazie a prestazioni, efficienza e scalabilità senza precedenti.
Le GPU con architettura Blackwell contengono 208 miliardi di transistor e sono prodotte utilizzando un processo TSMC 4NP su misura. Tutti i prodotti Blackwell sono dotati di due die con reticolo limitato collegati da un'interconnessione chip-to-chip a 10 terabyte al secondo (TB/s) in una singola GPU unificata.
Il Transformer Engine di seconda generazione utilizza la tecnologia personalizzata Blackwell Tensor Core in combinazione con le innovazioni di NVIDIA TensorRT™-LLM e NeMo™ Framework per accelerare l’inferenza e l'addestramento dei modelli linguistici di grandi dimensioni (LLM) e i modelli Mixture-of-Experts (MoE). I Tensor Core Blackwell aggiungono nuove precisioni, tra cui nuovi formati di microscaling definiti dalla community, offrendo elevata precisione e facilità di sostituzione per precisioni maggiori.
I Tensor Core Blackwell Ultra sono potenziati con un'accelerazione dello strato di attenzione 2 volte superiore e un FLOPS di calcolo IA 1,5 volte superiore rispetto alle GPU Blackwell. Il motore Blackwell Transformer utilizza tecniche di scalabilità a grana fine chiamate scaling micro-tensore, per ottimizzare le prestazioni e la precisione consentendo l'IA a virgola mobile a 4 bit (FP4). Questo raddoppia le prestazioni e le dimensioni dei modelli di nuova generazione che la memoria può supportare, mantenendo un'elevata precisione.
Blackwell include NVIDIA Confidential Computing, che protegge i dati sensibili e i modelli IA dagli accessi non autorizzati grazie a una solida sicurezza basata sull'hardware. Blackwell è la prima GPU compatibile con TEE-I/O nel settore e fornisce al contempo la soluzione di calcolo riservata più performante con host compatibili con TEE-I/O e protezione in linea su NVIDIA NVLink™. Blackwell Confidential Computing offre prestazioni di throughput quasi identiche rispetto alle modalità non crittografate. Le aziende possono ora proteggere in modo performante anche i modelli di grandi dimensioni, oltre a proteggere la proprietà intellettuale (IP) IA e consentire in modo sicuro l'addestramento IA, l'inferenza e l'apprendimento federato riservati.
Per sfruttare appieno il potenziale del calcolo exascale e dei modelli IA da trilioni di parametri, è necessario una comunicazione rapida e fluida tra ogni GPU all'interno di un cluster di server. La quinta generazione di interconnessione NVIDIA NVLink è in grado di scalare fino a 576 GPU al fine di offrire prestazioni accelerate per modelli IA da trilioni e multi-trilioni di parametri.
Il chip NVIDIA NVLink Switch consente di utilizzare 130 TB/s di larghezza di banda GPU in un dominio NVLink da 72 GPU (NVL72) e offre un'efficienza della larghezza di banda 4 volte superiore con il supporto di NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ FP8. Il chip NVIDIA NVLink Switch supporta i cluster oltre un singolo server alla stessa impressionante interconnessione da 1,8 TB/s. I cluster multi-server con NVLink scalano le comunicazioni delle GPU in equilibrio con la maggiore capacità di calcolo, pertanto NVL72 può supportare 9 volte il throughput di GPU rispetto a un singolo sistema da otto GPU.
L'analisi dei dati e i flussi di lavoro dei database si sono tradizionalmente basati sulle CPU per il calcolo. La scienza dei dati accelerata può aumentare significativamente le prestazioni di analisi dei dati, accelerando la generazione di valore e riducendo i costi. I database, tra cui Apache Spark, svolgono ruoli fondamentali nella gestione, l'elaborazione e l'analisi di grandi volumi di dati per l'analisi dei dati.
Il motore di decompressione di Blackwell e la capacità di accedere a enormi quantità di memoria nella CPU NVIDIA Grace™ su un collegamento ad alta velocità, 900 gigabyte al secondo (GB/s) di larghezza di banda bidirezionale, accelerano la pipeline completa di query di database per le massime prestazioni nell'analisi e nella scienza dei dati con il supporto dei più recenti formati di compressione come LZ4, Snappy e Deflate.
Blackwell aggiunge resilienza intelligente con un motore di affidabilità, disponibilità e manutenzione (RAS) dedicato per identificare potenziali guasti che potrebbero verificarsi sin dalle prime fasi e ridurre al minimo i tempi di inattività. Le funzionalità di gestione predittiva basate sull'IA di NVIDIA monitorano continuamente migliaia di punti di dati su hardware e software per la salute generale per prevedere e intercettare fonti di tempi di inattività e inefficienza. Ciò risulta in una resilienza intelligente che consente di risparmiare tempo, energia e costi di calcolo.
Il motore RAS di NVIDIA fornisce informazioni diagnostiche approfondite in grado di identificare le aree di preoccupazione e pianificare la manutenzione. Il motore RAS riduce i tempi di consegna localizzando rapidamente la fonte dei problemi e riduce al minimo i tempi di inattività facilitando una correzione efficace.
Scopri di più sull'architettura in grado di alimentare la nuova era dell'IA generativa e del computing accelerato.