Nvidia, H100 GPU Hopper’ın daha fazla belleğe ve daha hızlı yeni bir sürümünü piyasaya sürüyor: H100 NVL, beş yerine altı HBM3 bellek yığını kullanıyor. H100 NVL, 94 GB depolama kapasitesine ve 3,9 TB/s aktarım hızına sahiptir. İkili paketteki iki model NV bağlantıları aracılığıyla birbirine bağlıdır ve birlikte 188 GB sağlar.
Karşılaştırma için: Mevcut en iyi masaüstü modeli GeForce RTX 4090, etkileyici bir 1 TB/s aktarım hızına sahip 24 GB GDDR6X RAM’den memnun.
Önceki H100 varyantlarında zaten fiziksel olarak SXM5 modülü için altı HBM3 yığını veya PCI kartında HBM2e yığınları vardı, ancak işlevsel kopyaların verimini artırmak için bir yığın her zaman kullanılmadan kaldı. H100 NVL söz konusu olduğunda, altı adet 16 GB HBM3’ün yalnızca 2 GB’ı, sorulduğunda Nvidia’nın bize onayladığı gibi, bu amaçla devre dışı bırakıldı. Görünüşe göre, bir HBM3 yığınında tek bir bellek seviyesi boşta.
Odak noktasında yapay zeka eğitimi
Nvidia, büyük yapay zeka modellerini eğitmek için açıkça H100 NVL’nin reklamını yapıyor – ChatGPT örnek olarak gösteriliyor. Buna göre, üretici entegre tensör çekirdeklerine odaklanıyor: FP16 formatında, 1979 teraflop’a ulaşmalıdırlar, FP8 doğruluğu tekrar yarıya iner – değerin iki katı, yani 3958 teraflop. Klasik iş yüklerinde, SXM5 sürümü gibi gölgelendirici çekirdekleri 34 FP64 veya 67 FP32 teraflop işler.
H100 NVL’nin kardeş sürümleriyle karşılaştırıldığında teknik özellikleri. Uyarı: NVidia, çift GPU paketi için H100 NVL için değerler belirtir.
(İmaj kredisi: Nvidia)
Bu, 132 shader çoklu işlemcisi, 16.896 shader çekirdeği, 528 tensör çekirdeği ve yaklaşık 1.8GHz’lik bir işlem saati ile H100 GPU’nun SXM5 versiyonuyla aynı çip konfigürasyonunu ifade ediyor. nanometre.
Bununla birlikte, uygulamaya bağlı olarak, Nvidia maksimum güç tüketimini 700’den 350’ye ve 400 watt’a düşürdüğü için, H100 NVL’nin sürekli yük altında önceki H100 SXM5’ten daha yavaş olması gerekir. Bu da verimliliği teşvik etmelidir.
H100 NVL yalnızca PCI Express 5.0 kartı olarak gönderilir. Bir GPU hızlandırıcı olarak, modelin görüntü çıkışı yoktur; Ayrıca kendi fanı yoktur, bu nedenle kesinlikle güçlü kasa havalandırmasına bağlıdır. Nvidia, sekiz adede kadar NVL H100 GPU kullanan sunucular ve veri merkezleri için ortak sistemlere sahiptir. Nvidia henüz fiyatlandırma hakkında yorum yapmadı.
(mm)
Haberin Sonu
Karşılaştırma için: Mevcut en iyi masaüstü modeli GeForce RTX 4090, etkileyici bir 1 TB/s aktarım hızına sahip 24 GB GDDR6X RAM’den memnun.
Önceki H100 varyantlarında zaten fiziksel olarak SXM5 modülü için altı HBM3 yığını veya PCI kartında HBM2e yığınları vardı, ancak işlevsel kopyaların verimini artırmak için bir yığın her zaman kullanılmadan kaldı. H100 NVL söz konusu olduğunda, altı adet 16 GB HBM3’ün yalnızca 2 GB’ı, sorulduğunda Nvidia’nın bize onayladığı gibi, bu amaçla devre dışı bırakıldı. Görünüşe göre, bir HBM3 yığınında tek bir bellek seviyesi boşta.
Odak noktasında yapay zeka eğitimi
Nvidia, büyük yapay zeka modellerini eğitmek için açıkça H100 NVL’nin reklamını yapıyor – ChatGPT örnek olarak gösteriliyor. Buna göre, üretici entegre tensör çekirdeklerine odaklanıyor: FP16 formatında, 1979 teraflop’a ulaşmalıdırlar, FP8 doğruluğu tekrar yarıya iner – değerin iki katı, yani 3958 teraflop. Klasik iş yüklerinde, SXM5 sürümü gibi gölgelendirici çekirdekleri 34 FP64 veya 67 FP32 teraflop işler.
H100 NVL’nin kardeş sürümleriyle karşılaştırıldığında teknik özellikleri. Uyarı: NVidia, çift GPU paketi için H100 NVL için değerler belirtir.
(İmaj kredisi: Nvidia)
Bu, 132 shader çoklu işlemcisi, 16.896 shader çekirdeği, 528 tensör çekirdeği ve yaklaşık 1.8GHz’lik bir işlem saati ile H100 GPU’nun SXM5 versiyonuyla aynı çip konfigürasyonunu ifade ediyor. nanometre.
Bununla birlikte, uygulamaya bağlı olarak, Nvidia maksimum güç tüketimini 700’den 350’ye ve 400 watt’a düşürdüğü için, H100 NVL’nin sürekli yük altında önceki H100 SXM5’ten daha yavaş olması gerekir. Bu da verimliliği teşvik etmelidir.
H100 NVL yalnızca PCI Express 5.0 kartı olarak gönderilir. Bir GPU hızlandırıcı olarak, modelin görüntü çıkışı yoktur; Ayrıca kendi fanı yoktur, bu nedenle kesinlikle güçlü kasa havalandırmasına bağlıdır. Nvidia, sekiz adede kadar NVL H100 GPU kullanan sunucular ve veri merkezleri için ortak sistemlere sahiptir. Nvidia henüz fiyatlandırma hakkında yorum yapmadı.
(mm)
Haberin Sonu