Máy chủ NVidia DGX H100

Nền tảng AI Infrastructure tiêu chuẩn vàng cho doanh nghiệp

NVIDIA DGX H100 là hệ thống máy chủ AI thế hệ mới được NVIDIA phát triển nhằm đáp ứng các yêu cầu khắt khe nhất về huấn luyện (Training), suy luận (Inference), phân tích dữ liệu và điện toán hiệu năng cao (HPC). Được trang bị 8 GPU NVIDIA H100 Tensor Core cùng kiến trúc NVIDIA Hopper tiên tiến, DGX H100 mang lại hiệu năng AI lên đến 32 PetaFLOPS FP8, giúp doanh nghiệp tăng tốc triển khai các mô hình AI và Generative AI quy mô lớn.

Là nền tảng cốt lõi của NVIDIA DGX SuperPOD, DGX H100 được thiết kế để trở thành trung tâm của AI Factory hiện đại, cho phép các tổ chức xây dựng và vận hành các mô hình ngôn ngữ lớn (LLM), AI tạo sinh, hệ thống khuyến nghị (Recommendation Systems), xử lý ngôn ngữ tự nhiên (NLP), Computer Vision và các ứng dụng khoa học dữ liệu chuyên sâu.

Điểm nổi bật của NVIDIA DGX H100
Hiệu năng AI đột phá

DGX H100 sở hữu 8 GPU NVIDIA H100 Tensor Core thế hệ Hopper, cung cấp hiệu năng AI lên đến 32 PetaFLOPS FP8. Hệ thống được tối ưu hóa cho các tác vụ đào tạo mô hình AI quy mô lớn, Generative AI, Deep Learning và HPC. Theo NVIDIA, DGX H100 mang lại hiệu suất vượt trội so với thế hệ trước và được thiết kế cho các mô hình AI có hàng tỷ đến hàng nghìn tỷ tham số.

Bộ nhớ GPU tốc độ cực cao

Hệ thống tích hợp tổng cộng 640GB bộ nhớ GPU HBM3, cho phép xử lý các tập dữ liệu lớn và các mô hình AI phức tạp mà không làm giảm hiệu suất. Mỗi GPU H100 SXM được trang bị 80GB HBM3 với băng thông bộ nhớ lên đến 3.35TB/s.

Kết nối GPU siêu tốc với NVLink và NVSwitch

DGX H100 sử dụng 4 NVIDIA NVSwitch thế hệ mới, cung cấp băng thông GPU-to-GPU lên tới 900GB/s trên mỗi GPU. Điều này cho phép toàn bộ 8 GPU hoạt động như một hệ thống thống nhất, giảm thiểu độ trễ và tối đa hóa hiệu suất xử lý AI.

Hạ tầng mạng AI hiệu năng cao

Trang bị NVIDIA ConnectX-7 SmartNIC thế hệ mới, hỗ trợ kết nối 400Gb/s InfiniBand hoặc 200Gb/s Ethernet, DGX H100 cho phép mở rộng quy mô cụm AI và triển khai các môi trường huấn luyện phân tán với hiệu quả tối đa.

Nền tảng AI hoàn chỉnh

DGX H100 đi kèm NVIDIA AI Enterprise và NVIDIA Base Command, cung cấp đầy đủ công cụ quản lý, điều phối tài nguyên, lập lịch công việc và triển khai AI trên quy mô doanh nghiệp.

Thông số kỹ thuật máy chủ NVidia DGX H100

thành phần	Thông số
GPU	8 × NVIDIA H100 Tensor Core GPU
Kiến trúc GPU	NVIDIA Hopper
Bộ nhớ GPU	640GB HBM3
Bộ nhớ mỗi GPU	80GB HBM3
Hiệu năng AI	32 PetaFLOPS FP8
NVSwitch	4 × NVIDIA NVSwitch
Băng thông GPU-to-GPU	900GB/s
CPU	2 × Intel Xeon Platinum 8480C
Tổng số nhân CPU	112 Cores
Bộ nhớ hệ thống	2TB DDR5
Lưu trữ hệ điều hành	2 × 1.9TB NVMe M.2
Lưu trữ dữ liệu	8 × 3.84TB NVMe U.2
Tổng dung lượng lưu trữ	34.5TB NVMe
Mạng AI	8 × NVIDIA ConnectX-7
Kết nối InfiniBand	400Gb/s
Kết nối Ethernet	200Gb/s
Mạng quản trị	10GbE RJ45
BMC	Dedicated Management Port
Hệ điều hành hỗ trợ	Ubuntu, Red Hat Enterprise Linux, CentOS
Phần mềm AI	NVIDIA AI Enterprise
Quản lý cụm	NVIDIA Base Command
Công suất tiêu thụ tối đa	Khoảng 10.2kW
Nhiệt độ hoạt động	5°C – 30°C
Kích thước Rack	8U Rackmount
Hỗ trợ bảo hành	3 năm phần cứng và phần mềm tiêu chuẩn NVIDIA