대용량 HBM3e 메모리 채용으로 성능이 향상된 NVIDIA H200, 스펙
엔비디아가 호퍼(Hopper) 아키텍처와 HBM3e를 채택한 GPU ‘엔비디아 H200’과 이를 탑재한 ‘엔비디아 HGX H200’을 발표했습니다.
엔비디아 H200은 고속 대용량 HBM3e 메모리를 채택한 호퍼 아키텍처 기반 GPU로, 메모리 대역폭은 4.8TB/s, 용량은 141GB 이며, 엔비디아 H100 대비 메모리 대역폭은 1.4배, 용량은 2배 에 달합니다.
대규모 언어 모델 추론에서는 Llama2 70B에서 1.9배, GPT-3 175B에서 1.6배의 속도를 구현이 가능하여, HPC 외에도 생성 AI와 대규모 언어 모델(LLM)의 속도를 향상시킬 수 있다는 것이 NVIDIA 측의 설명이다.
엔비디아 H200은 4웨이 또는 8웨이 구성의 엔비디아 HGX H200 서버 보드로 제공되며, 엔비디아 HGX H100 시스템 하드웨어 및 소프트웨어와의 호환성도 확보했다.
https://www.nvidia.com/en-us/data-center/h200/
Specifications
NVIDIA H200 Tensor Core GPU
| Form Factor | H200 SXM¹ |
|---|---|
| FP64 | 34 TFLOPS |
| FP64 Tensor Core | 67 TFLOPS |
| FP32 | 67 TFLOPS |
| TF32 Tensor Core | 989 TFLOPS² |
| BFLOAT16 Tensor Core | 1,979 TFLOPS² |
| FP16 Tensor Core | 1,979 TFLOPS² |
| FP8 Tensor Core | 3,958 TFLOPS² |
| INT8 Tensor Core | 3,958 TFLOPS² |
| GPU Memory | 141GB |
| GPU Memory Bandwidth | 4.8TB/s |
| Decoders | 7 NVDEC 7 JPEG |
| Max Thermal Design Power (TDP) | Up to 700W (configurable) |
| Multi-Instance GPUs | Up to 7 MIGs @16.5GB each |
| Form Factor | SXM |
| Interconnect | NVIDIA NVLink®: 900GB/s PCIe Gen5: 128GB/s |
| Server Options | NVIDIA HGX™ H200 partner and NVIDIA-Certified Systems™ with 4 or 8 GPUs |
| NVIDIA AI Enterprise | Add-on |
Thank you for reading my post, I hope you read other posts.