StableLM: Stability AI, büyük AI dil modellerini açık kaynak olarak yayınlar
Stability AI, StableLM ile iki büyük dil modelini açık kaynak olarak yayınladı: iki büyük dil modelinin (LLM) her biri 3 ve 7 milyar parametre içerir. Sürüm bir alfa sürümüdür. Geliştiriciler bunları lisansa uygun olarak araştırma ve ticari amaçlarla kullanmakta, incelemekte ve uyarlamakta serbesttir.
StableLM-3B ve StableLM-7B, CC BY-SA-4.0 kapsamında lisanslanmıştır: bu, altındaki yazılımın herhangi bir biçimde çoğaltılabileceğini ve yeniden dağıtılabileceğini belirten bir copyleft lisansıdır. StableLM ile çalışan herkes, ticari olanlar da dahil olmak üzere herhangi bir amaç için şablonları düzenleyebilir ve değiştirebilir. Ancak, türevler ve ürünler her zaman copyleft lisansını devralır.
StableLM, copyleft lisansı altındadır
Bu, StableLM’den türetilen yeni modellerin, orijinal yazarı (Stable AI) ve lisansı değiştirilmemiş biçimde adlandırması ve taşıması gerektiği anlamına gelir. Bu şekilde oluşturulan yazılımın, örneğin fikri mülkiyetini beyan etmek veya devralınan lisansta değişiklik yapmak gibi amaçlarla kapalı kaynağa dönüştürülmesi yasaktır. Bu gereklilikler, ek şartlar veya teknik prosedürlerle yasal olarak geçersiz kılınamaz, CC BY-SA-4.0, özellikle güçlü bir copyleft lisansı olarak kabul edilir.
StabilityAI CEO’su Emad Mostaque tarafından duyurulduğu üzere StableLM, OpenAI’ninkiler gibi tescilli AI modellerine açık, şeffaf ve ölçeklenebilir bir alternatif sunmayı amaçlıyor. Yayın blog gönderisine göre, 15 ila 65 milyar parametreli modeller yakın gelecekte takip edilecek. StableLM serisindeki modellerin metin ve kaynak kodu üretebilmesi bekleniyor ve Mostaque’a göre bunlara dayalı çok sayıda uygulama için kullanılabiliyor. Blog gönderisine göre, LLM’ler nispeten küçük olduğundan Stability, uygun şekilde eğitilmeleri ve verimli bir mimariye sahip olmaları koşuluyla en küçük modellerin bile yüksek performans sağlayabileceğini göstermek istiyor.
The Pile açık kaynak tabanlı modeller mi?
Kararlılık AI, daha önce, Nisan 2023’ün başlarında Pythia ile araştırma için bir dizi daha küçük AI temel çalışması modeli yayınlayan AI EleutherAI tarafından desteklenen zemin çalışmasını destekledi. Pythia-12B, diğer şeylerin yanı sıra, Databricks’ten Dolly 2.0 ve LAION’dan OpenAssistant için başlangıç modelidir. açık kaynaklı Pythia modellerine dayanmaktadır. EleutherAI’nin GPT-J ve GPT-NeoX gibi önceki açık kaynak modelleriyle ilgili deneyimler de StableLM’nin mevcut sürümüne katkıda bulunmuştur.
StableLM, büyük dil modellerini modellemek için iyi bilinen 800 gigabaytlık veri kümesi “The Pile” üzerine inşa edilen yeni bir deneysel veri kümesi üzerinde eğitildi, ancak toplam 1,5 trilyon içerik belirteciyle bundan yaklaşık üç kat daha büyük. Kayıt sorunlu kabul edilir çünkü içinde muhtemelen telif hakkıyla korunan eserler de içerirler (bunun açık kaynak lisansları için ne gibi sonuçları olacağı şu anda hala açıktır ve bu veri kümesini veya internetten ortak taramayı kullanan diğer projeleri de etkiler). Eğitim veri kümesi boyutunda, StableLM, Meta AI’nın belirli araştırma projeleri için kullanıma sunulan ve bir sızıntı nedeniyle yarı resmi sürümlerden yasa dışı şubelere kadar internette dolaşan tescilli LLaMA AI modeliyle eşittir.
RedPajama, LLaMA’yı açıkça yeniden yaratıyor: temel veri seti mevcut
Başka bir açık kaynak projesi, kendi oluşturduğu bir veri kümesiyle benzer ölçüde çalışır: Nisan 2023’ün ortalarında, StableLM’nin yayınlanmasından sadece birkaç gün önce, ABD ve Kanada’dan ortaklarla üst düzey bir araştırma işbirliği RedPajama için eğitim veri kümesini yayınladı. 1.2 trilyon jeton ve ayrıca LLaMA kartını model olarak aldı. RedPajama, güçlü performans değerlerine sahip bir dizi son teknoloji açık kaynak modelini piyasaya sürmeyi ve ardından serbest lisans altında yayınlanmamış LLaMA’yı yeniden oluşturmayı planlıyor. StableLM’den farklı olarak, en azından RedPajama veri kümesi Apache 2.0 lisansı altındadır, bu nedenle onunla eğitilen modeller ve uygulamalar bile kısıtlama olmadan ticari olarak kullanılabilir.
LAION ve Açık Mektup
RedPajama’da yer alan Büyük Ölçekli Yapay Zeka Açık Ağı (LAION eV), daha önce ağ üyelerinin en güçlü ticari tekliflerle karşılaştırılabilir yeteneklere sahip son teknoloji ürünü büyük ölçekli yapay zeka dil modelleri oluşturmak istediğini duyurmuştu. Life of Life Enstitüsü’nün Elon Musk ve büyük yapay zeka modellerinin geliştirilmesine ara verilmesi çağrısında bulunan diğer ünlüler tarafından imzalanan açık mektubuna yanıt olarak, yapay zeka için uluslararası bir yüksek performanslı bilgi işlem kümesi oluşturmak için şu anda bir imza kampanyası sürüyor.
Aynı zamanda Musk, x.ai alanı ve çalışma adı TruthGPT altında OpenAI ile rekabet edecek olan kendi AI şirketini duyurmuştu. Bunun açık kaynaklı yapay zeka olması pek olası değil.
Ortak yayınlanan araştırma modelleri
StableLM’nin alfa sürümlerine ek olarak, Stability AI, talimatlarla birlikte bir dizi iyileştirilmiş arama modeli yayınlar. Bu arama şablonları, Alpaca, GPT4All, Dolly, ShareGPT ve HH veri kümeleri gibi farklı açık kaynaklı etkileşimli yapay zeka veri kümelerinin kombinasyonlarına erişir. Bu şablonlar kesinlikle ticari amaçlar için uygun değildir ve yalnızca araştırma amacıyla kullanılabilir. Lisansınız ticari olmayan bir CC BY-NC-SA 4.0’dır ve Stanford’un Alpaca lisansına benzer (Meta AI tarafından araştırma için izin verilen birçok LLaMA çatalından biri).
Sürüm blog gönderisinde, şu anda piyasaya sürülen iki modelden daha büyük olan StableLM-7B’den bazı konuşma örnekleri var. StableLM, şu anda ortaya çıkan açık kaynaklı AI modellerinin hareketine tam olarak uyuyor. Stability AI, hedef belirleme için üç anahtar kelime sağlar: şeffaflık, erişilebilirlik ve destek. Açık kaynak modeller, kullanıcıları desteklemek için vardır, onların yerini almak için değil. Bunlar, daha küçük modellerle bile uygulanabilen verimli, özel ve pratik yapay zeka uygulamalarıdır. Açıkça “ilahi yapay zeka” yarışına girmek istemiyorlar. Blog gönderisindeki açıklamaya göre, üretkenliği artıran ve insanları daha yaratıcı olmaya teşvik eden günlük uygulamalara ve kullanıma odaklanılıyor.
Yapay zeka modellerinin izlenebilirliğini ve açıklanabilirliğini ortaklaşa iyileştirmek, riskleri belirlemek ve güvenlik önlemleri geliştirmek için araştırmacıların bu şekilde yayınlanan modellerin “arka planına bakabilmeleri” önemlidir. Özel ve genel alanlar, hassas verileri paylaşmadan veya AI kontrol yeteneklerini açığa çıkarmadan açık kaynak modellerini amaçlarına göre optimize edebilir.
Teknik rapor aşağıdaki gibidir
StableLM, Stability AI GitHub deposunda mevcuttur. Performans karşılaştırması için bir teknik rapor ve ölçütler henüz mevcut değildir, ancak “yakın gelecekte” sunulmalıdır. Sürümle birlikte, büyük dil modellerini ayarlamak için yaygın bir uygulama olan İnsan Geri Bildirimiyle Güçlendirmeli Öğrenim (RLHF) için bir kitle kaynak programı başlayacak.
Projesinde yapay zeka asistanları için ortak bir çabayla yüksek kaliteli, garantili ve serbestçe erişilebilir bir temel veri seti yayınlayan OpenAssistant gibi topluluk çalışmaları bir model görevi görüyor. Daha fazla ayrıntıyı blog yazısında bulabilirsiniz.
(onun)
Haberin Sonu