Häufig gestellte Fragen zu NVIDIA A100 H100 GPU-Servern
Häufig gestellte Fragen zum Einsatz und zur Verwaltung dedizierter NVIDIA A100 H100 GPU-beschleunigter Server für KI-Training, Inferenz und High-Performance-Computing.
Was macht die NVIDIA A100- und H100-GPUs für KI-Workloads in Unternehmen geeignet?
Die NVIDIA A100- und H100-GPUs wurden speziell für KI-, Machine-Learning- und HPC-Anwendungen in Unternehmen entwickelt. Die A100 basiert auf der Ampere-Architektur mit Tensor-Kernen der dritten Generation und bietet eine bis zu 20-fach höhere Leistung als Vorgängergenerationen beim Training von KI-Modellen mit gemischter Präzision. Die H100, basierend auf der Hopper-Architektur, bietet eine doppelt so hohe Trainingsleistung wie die A100. Sie verfügt über die Transformer Engine, optimiert für große Sprachmodelle, Tensor-Kerne der vierten Generation und eine verbesserte NVLink-Konnektivität für verteiltes Training auf bis zu 256 GPUs.
Wie sieht der Zeitplan für die Bereitstellung dedizierter Server der Serien A100 und H100 aus?
Die Konfiguration erfolgt innerhalb von 5 Minuten nach Zahlungsbestätigung. Enterprise-Server bieten die Möglichkeit zum sofortigen Betriebssystem-Neuladen ohne Support-Ticket-Anfrage und ermöglichen so schnelle Entwicklungs- und Testiterationen. Die Netzwerkinfrastruktur ist für dauerhaft hohe Bandbreitenlasten optimiert und bietet latenzarme Verbindungen zu Cloud-Speichern und Rechenzentren.
Wie schneiden die GPUs A100 und H100 im Vergleich hinsichtlich Leistung und Fähigkeiten ab?
Die A100 bietet 40 GB/80 GB HBM2-Speicher, 6912 CUDA-Kerne und eine Speicherbandbreite von 1,6 TB/s mit Ampere-Architektur. Die H100 bietet 80 GB HBM3-Speicher, 8448 CUDA-Kerne und eine Bandbreite von 3 TB/s mit Hopper-Architektur. Die H100 bietet eine siebenmal höhere HPC-Leistung und ein doppelt so schnelles KI-Training im Vergleich zur A100. Zu den weiteren Vorteilen der H100 gehören die Transformer Engine für FP8-Präzision, die Multi-Instance GPU (MIG) der zweiten Generation mit Confidential Computing und das NVLink Switch System, das bis zu 256 GPUs für Exascale-KI-Training unterstützt.
Welche Funktionen für Unternehmensvernetzung und Skalierbarkeit stehen zur Verfügung?
Enterprise-GPU-Server unterstützen die fortschrittliche NVLink-Verbindungstechnologie für die GPU-zu-GPU-Kommunikation mit hoher Bandbreite. Der A100 verfügt über NVLink der dritten Generation, das 10- bis 20-mal schnellere Übertragungen als PCIe Gen4 ermöglicht, während der H100 das NVLink Switch System für den Anschluss von bis zu 256 GPUs in Exascale-Konfigurationen unterstützt. Beide Plattformen unterstützen die Multi-Instance-GPU-Technologie (MIG), die eine sichere Partitionierung in bis zu sieben isolierte GPU-Instanzen mit dedizierter Rechenleistung, dediziertem Speicher und dediziertem L2-Cache für maximale Ressourcennutzung und Workload-Isolation ermöglicht.
