关于 NVIDIA A100 H100 GPU 服务器的常见问题解答
关于部署和管理企业级 NVIDIA A100 H100 GPU 加速专用服务器以进行 AI 训练、推理和高性能计算的常见问题。
NVIDIA A100 和 H100 GPU 有哪些特性使其适用于企业级 AI 工作负载？
NVIDIA A100 和 H100 GPU 专为企业级 AI、机器学习和高性能计算 (HPC) 应用而设计。A100 采用 Ampere 架构，配备第三代 Tensor Core，混合精度 AI 训练性能比上一代产品提升高达 20 倍。H100 采用 Hopper 架构，训练速度比 A100 快 2 倍，配备针对大型语言模型优化的 Transformer Engine、第四代 Tensor Core 以及增强的 NVLink 连接，支持跨多达 256 个 GPU 进行分布式训练。
A100 或 H100 专用服务器的部署时间表是什么？
付款验证后，配置将在 5 分钟内完成。企业级专用服务器具备即时操作系统重装功能，无需提交支持工单，从而能够快速迭代开发和测试。网络基础设施针对持续高带宽工作负载进行了优化，并与云存储和数据中心实现低延迟连接。
A100 和 H100 GPU 在性能和功能方面有何区别？
A100 采用 Ampere 架构，配备 40GB/80GB HBM2 显存、6912 个 CUDA 核心和 1.6 TB/s 的显存带宽。H100 采用 Hopper 架构，配备 80GB HBM3 显存、8448 个 CUDA 核心和 3 TB/s 的显存带宽。与 A100 相比，H100 的高性能计算 (HPC) 性能提升 7 倍，人工智能 (AI) 训练速度提升 2 倍。H100 的其他优势包括：用于 FP8 精度计算的 Transformer Engine、支持机密计算的第二代多实例 GPU (MIG) 以及支持多达 256 个 GPU 的 NVLink 交换系统，可实现百亿亿次级 AI 训练。
有哪些企业级连接和可扩展性功能？
企业级GPU服务器支持先进的NVLink互连技术，可实现高带宽的GPU间通信。A100采用第三代NVLink，传输速度比PCIe Gen4快10-20倍；H100支持NVLink交换系统，可在百亿亿次级配置中连接多达256个GPU。两款平台均支持多实例GPU（MIG）技术，可将资源安全地划分为多达7个独立的GPU实例，每个实例都拥有专用的计算、内存和L2缓存，从而最大限度地利用资源并隔离工作负载。
