龐大的數據集、呈爆炸式增長的模型大小和復雜的模擬需要多個極速互連的 GPU 以及充分加速的軟件堆棧。NVIDIA HGX™ AI 超級計算平臺整合了 NVIDIA GPU、NVIDIA® NVLink®、NVIDIA InfiniBand 網絡及 NVIDIA NGC™ 目錄中經全面優化的 NVIDIA AI 和 HPC 軟件堆棧，提供出色的應用性能。NVIDIA HGX 具備端到端性能和靈活性，可助力研究人員和科學家整合模擬仿真、數據分析和 AI，推動科學研究取得新進展。
NVIDIA HGX 將 NVIDIA A100 Tensor Core GPU 與高速互連技術相結合，打造功能強大的服務器。HGX 擁有 16 個 A100 GPU，具有高達 1.3 TB 的 GPU 顯存和超過 2 TB/秒的顯存帶寬，可實現非凡加速。
與前幾代產品相比，HGX 借助 Tensor Float 32 (TF32) 開箱即可為 AI 提供高達 20 倍的加速，同時借助 FP64 實現 2.5 倍的 HPC 加速。NVIDIA HGX 提供了令人驚嘆的 10 petaFLOPS，為 AI 和 HPC 領域打造出全球性能強勁的加速擴展服務器平臺。
HGX 經過全面測試且易于部署，可集成至合作伙伴服務器中，以提供有保證的性能。HGX 平臺提供 4-GPU 和 8-GPU HGX 主板并采用 SXM GPU，也可采用 PCIe GPU 的形式以提供模塊化部署選項，為主流服務器帶來卓越計算性能。
DLRM 訓練
基于 HugeCTR 框架的 DLRM，精度 = FP16 | NVIDIA A100 80GB 批量大小 = 48 | NVIDIA A100 40GB 批量大小 = 32 | NVIDIA V100 32GB 批量大小 = 32。
深度學習模型的大小和復雜性急劇增加，需要系統具備大容量內存、強大計算能力和快速互連能力來實現可擴展性。 借助 NVIDIA NVSwitch™ 提供的高速多對多全 GPU 通信，HGX 能處理極其先進的 AI 模型。A100 80GB GPU 使 GPU 顯存容量提高了一倍，可在單個 HGX 中提供高達 1.3 TB 的顯存。對于在擁有龐大數據表的超大模型（深度學習推薦模型 (DLRM)）上出現的新興工作負載，相較于 A100 40GB GPU 驅動的 HGX，它能將處理性能加速高達 3 倍。
大數據分析基準測試 | 針對 10TB 數據集的 30 次分析零售查詢、ETL、ML、NLP | V100 32GB，RAPIDS/Dask | A100 40GB 和 A100 80GB，RAPIDS/Dask/BlazingSQL
機器學習模型需要通過加載、轉換和處理極大型數據集來獲取重要見解。借助高達 1.3TB 的統一顯存和通過 NVSwitch 實現的多對多全 GPU 通信，由 A100 80GB GPU 驅動的 HGX 能夠加載巨大的數據集并對其執行計算，從而快速獲得可行見解。 在大數據分析基準測試中，A100 80GB 提供見解的吞吐量比 A100 40GB 高兩倍，因此非常適合處理數據集大小急增的新型工作負載。
HPC 應用程序需要每秒執行大量計算增加每個服務器節點的計算密度可大幅減少所需的服務器數量，因而能夠大大節省數據中心所用成本和空間并降低功耗。在模擬仿真方面，高維矩陣乘法需要每個處理器從眾多相鄰處理器中提取數據以執行計算，這使得通過 NVIDIA NVLink 連接的 GPU 非常適合此用途。HPC 應用還可以利用 A100 中的 TF32 在 4 年內將單精度、密集矩陣乘法運算的吞吐量提高多達 11 倍。
由 A100 80GB GPU 提供支持的 HGX 在 Quantum Espresso（一種材質模擬）上提供了比 A100 40GB GPU 高 2 倍的吞吐量，加快了見解獲取速度。
熱門 HPC 應用?
應用加速的幾何平均數與 P100 加速性能對比：基準應用：Amber [PME-Cellulose_NVE]、Chroma [szscl21_24_128]、GROMACS [ADH Dodec]、MILC [Apex Medium]、NAMD [stmv_nve_cuda]、PyTorch (BERT-Large Fine Tuner]、Quantum Espresso [AUSURF112-jR]、隨機森林 FP32 [make_blobs (160000 x 64 : 10)]、TensorFlow [ResNet-50]、VASP 6 [Si Huge] | 包含雙路 CPU 和 4 個 NVIDIA P100、V100 或 A100 GPU 的 GPU 節點。
Quantum Espresso?
使用 CNT10POR8 數據集測量 Quantum Espresso 時的結果，精度 = FP64。
| HGX H100 | ||||
|---|---|---|---|---|
| H100 PCIe | 4-GPU | 8-GPU | 256-GPU | |
| GPUs | 1x NVIDIA H100 PCIe | HGX H100 4-GPU | HGX H100 8-GPU | 32x HGX H100 8-GPU |
| 外形規格 | PCIe | 4x NVIDIA H100 SXM | 8x NVIDIA H100 SXM | 16x NVIDIA H100 SXM |
| HPC 和 AI 計算 (FP64/TF32/FP16/FP8/INT8) | 48TF/800TF/1.6PF/3.2PF/3.2 POPS | 240TF/4PF/8PF/16PF/16POPS | 480TF/8PF/16PF/32PF/32POPS | 15PF/256PF/512PF/1EF/1EOPS |
| 顯存 | 每個 GPU 為 80GB | 高達 320GB | 高達 640GB | 高達 20TB |
| NVLink | 第四代 | 第四代 | 第四代 | 第四代 |
| NVSwitch | 不適用 | 不適用 | 第三代 | 第三代 |
| NVLink Switch | 不適用 | 不適用 | 不適用 | 第一代 |
| NVSwitch 互聯 GPU 間帶寬 | 不適用 | 不適用 | 900 GB/s | 900 GB/s |
| 聚合總帶寬 | 900 GB/s | 3.6 TB/s | 7.2 TB/s | 57.6 TB/s |
| HGX A100 | ||||
|---|---|---|---|---|
| A100 PCIe | 4-GPU | 8-GPU | 16-GPU | |
| GPUs | 1x NVIDIA A100 PCIe | HGX A100 4-GPU | HGX A100 8-GPU | 2x HGX A100 8-GPU |
| 外形規格 | PCIe | 4x NVIDIA A100 SXM | 8x NVIDIA A100 SXM | 16x NVIDIA A100 SXM |
| HPC 和 AI 計算 (FP64/TF32/FP16/INT8) | 19.5TF/312TF/624TF/1.2POPS | 78TF/1.25PF/2.5PF/5POPS | 156TF/2.5PF/5PF/10POPS | 312TF/5PF/10PF/20POPS |
| 顯存 | 每個 GPU 為 80GB | 高達 320GB | 高達 640GB | 高達 1,280GB |
| NVLink | 第三代 | 第三代 | 第三代 | 第三代 |
| NVSwitch | 不適用 | 不適用 | 第二代 | 第二代 |
| NVSwitch 互聯 GPU 間帶寬 | 不適用 | 不適用 | 600 GB/s | 600 GB/s |
| 聚合總帶寬 | 600 GB/s | 2.4 TB/s | 4.8 TB/s | 9.6 TB/s |
