Máy Chủ AI NVIDIA DGX H200

Nền tảng AI Factory mạnh mẽ cho doanh nghiệp và trung tâm dữ liệu

NVIDIA DGX H200 là hệ thống máy chủ AI cao cấp được NVIDIA thiết kế dành riêng cho các tác vụ Trí tuệ nhân tạo (AI), Generative AI, Machine Learning, Deep Learning và HPC (High Performance Computing). Được trang bị 8 GPU NVIDIA H200 Tensor Core thế hệ mới, DGX H200 mang đến hiệu năng lên đến 32 PetaFLOPS FP8 cùng tổng bộ nhớ GPU 1.128 TB, cho phép huấn luyện và suy luận các mô hình AI quy mô cực lớn một cách nhanh chóng và hiệu quả.

Là nền tảng cốt lõi của các kiến trúc NVIDIA DGX SuperPOD và DGX BasePOD, DGX H200 giúp doanh nghiệp xây dựng AI Factory hiện đại, đáp ứng các nhu cầu từ phát triển mô hình ngôn ngữ lớn (LLM), AI tạo sinh, xử lý ngôn ngữ tự nhiên (NLP), Computer Vision đến các ứng dụng khoa học và nghiên cứu chuyên sâu.

Tính năng nổi nội 

Hiệu năng AI vượt trội

• Trang bị 8 GPU NVIDIA H200 Tensor Core SXM.
• Hiệu năng AI đạt tới 32 PetaFLOPS FP8.
• Tăng tốc huấn luyện và suy luận cho các mô hình Generative AI và LLM quy mô hàng trăm tỷ tham số.

Bộ nhớ GPU cực lớn

• Tổng bộ nhớ GPU lên đến 1.128 GB HBM3e.
• Mỗi GPU sở hữu 141 GB HBM3e tốc độ cao.
• Phù hợp cho các mô hình AI lớn yêu cầu dung lượng VRAM khổng lồ.

Kết nối GPU tốc độ siêu cao

• 18 kết nối NVLink trên mỗi GPU.
• Băng thông GPU-to-GPU đạt 900 GB/s.
• 4 NVIDIA NVSwitch cung cấp tổng băng thông nội bộ lên đến 7.2 TB/s.

Hạ tầng mạng AI thế hệ mới

• Tích hợp NVIDIA ConnectX-7 400Gb/s.
• Băng thông mạng hai chiều đạt tới 1 TB/s.
• Hỗ trợ cả NVIDIA InfiniBand và Ethernet tốc độ cao.

Giải pháp AI hoàn chỉnh

• Tích hợp NVIDIA AI Enterprise.
• Hỗ trợ NVIDIA Base Command.
• Sẵn sàng triển khai AI Factory quy mô doanh nghiệp

Thông số kỹ thuật Máy Chủ AI NVIDIA DGX H200

Hạng mục	Thông số
GPU	8 × NVIDIA H200 Tensor Core GPU
Bộ nhớ GPU	1.128 GB HBM3e
Hiệu năng AI	32 PetaFLOPS FP8
NVLink	18 liên kết NVLink/GPU
Băng thông NVLink	900 GB/s mỗi GPU
NVSwitch	4 × NVIDIA NVSwitch
Băng thông GPU nội bộ	7.2 TB/s
CPU	2 × Intel Xeon Platinum 8480C
Tổng số nhân CPU	112 Core
Xung nhịp CPU	2.0 GHz Base / 3.8 GHz Turbo
RAM hệ thống	2 TB DDR5
Lưu trữ hệ điều hành	2 × 1.9 TB NVMe M.2
Lưu trữ dữ liệu	8 × 3.84 TB NVMe U.2
Tổng dung lượng lưu trữ	34.5 TB NVMe
Kết nối mạng AI	8 × NVIDIA ConnectX-7 400Gb/s
Cổng mạng quản trị	10GbE RJ45
BMC	Dedicated BMC Management Port
Công suất tiêu thụ tối đa	Khoảng 10.2 kW
Hệ điều hành hỗ trợ	NVIDIA DGX OS, Ubuntu, Rocky Linux, Red Hat Enterprise Linux
Kích thước	482.2 × 356 × 897.1 mm
Rack Size	8U
Trọng lượng	130.45 kg
Nhiệt độ hoạt động	5°C – 30°C