VMware, Las Vegas’taki şirket içi ticaret fuarında Nvidia ile yoğunlaştırılmış bir işbirliğini duyurdu ve VMware Private AI Foundation ile AI geliştiricileri için eksiksiz bir iş akışı ürününü duyurdu. Yeni teklif, üretken modeller oluşturmanın karmaşıklığını azaltmayı amaçlıyor ve küçük ortamlarda bile kullanılabiliyor.
Duyuru
İşletmeler için yapay zeka
Üreticiye göre VMware Private AI Foundation, üretken yapay zeka uygulamalarını iş süreçlerine entegre etmek isteyen ancak verilerinin güvenliği konusunda ciddi sorunlar yaşayan şirketlerin artan ilgisine bir yanıt niteliğinde. Yeni ürün paketiyle, yeterli veri korumasını sağlamak için Llama 2 veya Falcon gibi açık kaynaklı modellere dayalı kendi verilerinize yakın kendi üretken yapay zeka sistemlerinizi oluşturmanız mümkün olmalıdır. VMware Private AI Foundation, VMware Cloud Foundation yazılımı tarafından tanımlanan veri merkezi hizmetini temel alır ve oluşturmak, eğitmek ve dağıtmak için tasarlanmış entegre modelleri eğitmek amacıyla Nvidia AI Enterprise’ın parçası olan açık kaynaklı bir araç seti olan Nvidia NeMo çerçevesinin yeteneklerini kullanır. konuşma noktası ve ses kalıpları. NeMo, farklı yerleştirme teknikleri seçenekleri sunar ve çoklu GPU ve çok düğümlü konfigürasyonlarla büyük ölçekli model çıkarımı için optimize edilmiştir.
VMware Private AI Foundation’ın mevcut tüm Nvidia AI Enterprise konteynerlerini desteklemesi bekleniyor. Ürün ayrıca, gerekli sürücü desteğine sahip GPU’lar için önceden yapılandırılmış Derin Öğrenme VM görüntüleri ve dinamik veri yönetimini kolaylaştırmak için tasarlanmış PostgreSQL vektör veritabanlarıyla birlikte gelir. Müşteriler ayrıca önceden eğitilmiş yapay zeka modellerini test etmelerine ve değiştirmelerine olanak tanıyan Nvidia’nın AI Workbench’ine doğrudan erişime sahip oluyor.
Yapay zeka modeli ve dağıtım boyutu, gereken minimum GPU sayısını belirler. VMware tarafından yayımlanan referans yapılandırma 2, 4 ve 8 GPU ortamlarını desteklemektedir. İhtiyaçlara bağlı olarak, gerekli performansı elde etmek için iş yükleri uygun şekilde bölünebilir. VMware’e göre Llama 2 modelleri parametre boyutuna bağlı olarak 13 ile 140 GB arasında değişiklik gösteriyor. Ortalama 70GB’lık bir model GPU belleğine rahatça sığar.
NVLink ve NVSwitch aracılığıyla bağlantılar
Duyuru
Üreticiler, GPU’lar arasındaki bağlantı yolları için Nvidia NVLink ve Nvidia NVSwitch’i VM’ye entegre ediyor. NVLink, iki GPU sistemi arasında doğrudan bağlantı sunarken, NVSwitch daha büyük ortamların bağlanmasına olanak tanır. GPU ile vSAN yüksek performanslı depolama arasındaki bağlantı için VMware, veri aktarımı sırasında x86 CPU’yu zorlamamak amacıyla Nvidia GPUDirect Storage’ı kullanıyor.
Donanım açısından VMware Private AI Foundation’ın Nvidia L40s, H100 ve L100 GPU grafik birimlerini desteklediği söyleniyor. Nvidia’nın L40s GPU’su, üreticinin şu anda ürün yelpazesinde sahip olduğu en güçlü evrensel veri merkezi GPU’sudur. Nvidia’ya göre önceki nesil A100 GPU’lara kıyasla 1,2 kat daha fazla girişim performansı ve 1,7 kat daha fazla model eğitim performansı sunuyor. L40’lar aynı zamanda veri merkezi iletişimini optimize etmek için Bluefield-3 veri işleme ünitesi seçenekleriyle de donatılacak.
Yeni ürünün satıcısı olan VMware, Dell, HPE ve Lenovo gibi büyük isimlerle bir dizi ortaklığa imza atacağını duyurdu. Şirketler sistemi doğrudan önceden yapılandırılmış, kullanıma hazır bir çözüm olarak sunacak. Ancak VMware’e göre müşteriler, paketin tamamını mı yoksa yalnızca yazılımı mı satın alacaklarını ve daha sonra ikincisini sistemlerinde kullanmayı tercih etmekte özgürler. Fiyatlandırma açısından VMware henüz herhangi bir ayrıntı yayınlamadı ancak maliyetin kullanılan grafik birimi sayısına göre belirleneceğini belirtti. VMware Private AI Foundation’ın tam entegre versiyonu 2024’ün başlarında halka sunulacak.
(jvo)
Haberin Sonu
Duyuru
İşletmeler için yapay zeka
Üreticiye göre VMware Private AI Foundation, üretken yapay zeka uygulamalarını iş süreçlerine entegre etmek isteyen ancak verilerinin güvenliği konusunda ciddi sorunlar yaşayan şirketlerin artan ilgisine bir yanıt niteliğinde. Yeni ürün paketiyle, yeterli veri korumasını sağlamak için Llama 2 veya Falcon gibi açık kaynaklı modellere dayalı kendi verilerinize yakın kendi üretken yapay zeka sistemlerinizi oluşturmanız mümkün olmalıdır. VMware Private AI Foundation, VMware Cloud Foundation yazılımı tarafından tanımlanan veri merkezi hizmetini temel alır ve oluşturmak, eğitmek ve dağıtmak için tasarlanmış entegre modelleri eğitmek amacıyla Nvidia AI Enterprise’ın parçası olan açık kaynaklı bir araç seti olan Nvidia NeMo çerçevesinin yeteneklerini kullanır. konuşma noktası ve ses kalıpları. NeMo, farklı yerleştirme teknikleri seçenekleri sunar ve çoklu GPU ve çok düğümlü konfigürasyonlarla büyük ölçekli model çıkarımı için optimize edilmiştir.
VMware Private AI Foundation’ın mevcut tüm Nvidia AI Enterprise konteynerlerini desteklemesi bekleniyor. Ürün ayrıca, gerekli sürücü desteğine sahip GPU’lar için önceden yapılandırılmış Derin Öğrenme VM görüntüleri ve dinamik veri yönetimini kolaylaştırmak için tasarlanmış PostgreSQL vektör veritabanlarıyla birlikte gelir. Müşteriler ayrıca önceden eğitilmiş yapay zeka modellerini test etmelerine ve değiştirmelerine olanak tanıyan Nvidia’nın AI Workbench’ine doğrudan erişime sahip oluyor.
Yapay zeka modeli ve dağıtım boyutu, gereken minimum GPU sayısını belirler. VMware tarafından yayımlanan referans yapılandırma 2, 4 ve 8 GPU ortamlarını desteklemektedir. İhtiyaçlara bağlı olarak, gerekli performansı elde etmek için iş yükleri uygun şekilde bölünebilir. VMware’e göre Llama 2 modelleri parametre boyutuna bağlı olarak 13 ile 140 GB arasında değişiklik gösteriyor. Ortalama 70GB’lık bir model GPU belleğine rahatça sığar.
NVLink ve NVSwitch aracılığıyla bağlantılar
Duyuru
Üreticiler, GPU’lar arasındaki bağlantı yolları için Nvidia NVLink ve Nvidia NVSwitch’i VM’ye entegre ediyor. NVLink, iki GPU sistemi arasında doğrudan bağlantı sunarken, NVSwitch daha büyük ortamların bağlanmasına olanak tanır. GPU ile vSAN yüksek performanslı depolama arasındaki bağlantı için VMware, veri aktarımı sırasında x86 CPU’yu zorlamamak amacıyla Nvidia GPUDirect Storage’ı kullanıyor.
Donanım açısından VMware Private AI Foundation’ın Nvidia L40s, H100 ve L100 GPU grafik birimlerini desteklediği söyleniyor. Nvidia’nın L40s GPU’su, üreticinin şu anda ürün yelpazesinde sahip olduğu en güçlü evrensel veri merkezi GPU’sudur. Nvidia’ya göre önceki nesil A100 GPU’lara kıyasla 1,2 kat daha fazla girişim performansı ve 1,7 kat daha fazla model eğitim performansı sunuyor. L40’lar aynı zamanda veri merkezi iletişimini optimize etmek için Bluefield-3 veri işleme ünitesi seçenekleriyle de donatılacak.
Yeni ürünün satıcısı olan VMware, Dell, HPE ve Lenovo gibi büyük isimlerle bir dizi ortaklığa imza atacağını duyurdu. Şirketler sistemi doğrudan önceden yapılandırılmış, kullanıma hazır bir çözüm olarak sunacak. Ancak VMware’e göre müşteriler, paketin tamamını mı yoksa yalnızca yazılımı mı satın alacaklarını ve daha sonra ikincisini sistemlerinde kullanmayı tercih etmekte özgürler. Fiyatlandırma açısından VMware henüz herhangi bir ayrıntı yayınlamadı ancak maliyetin kullanılan grafik birimi sayısına göre belirleneceğini belirtti. VMware Private AI Foundation’ın tam entegre versiyonu 2024’ün başlarında halka sunulacak.
(jvo)
Haberin Sonu