İster bilgi yönetiminde bir yardım, ister arama motorlarına bir alternatif, ister programlamada fikir tartışması ortağı olsun, üretken yapay zekanın ve büyük dil modellerinin kullanımı resmi ve gayri resmi olarak günlük çalışmalara eşlik eder. Özellikle uyumluluk açısından bakıldığında, yapay zeka araçları ve modelleri ile gölge BT'nin çoğalmasına izin vermek yerine, bilgili çalışanlar tarafından planlı ve yapılandırılmış bir uygulama arzu edilir. Prototipleri test ettikten sonra modelleri verimli kullanıma koymak isterseniz, bu yapısal sorunlara yol açabilir. Kısa bir röportajda iX, şirketlerin en başından itibaren kendilerine nasıl yardımcı olabileceğini açıklıyor.
Duyuru
Şu anda iş dünyasında büyük dil modelleri için hangi kullanım durumları ortaya çıkıyor?
Operasyonlarda hızla ivme kazanabilecek tipik kullanım senaryoları, müşteri iletişimi veya satış alanlarında bulunur. Bunlar açıkça tipik sohbet robotları veya lider nitelikleridir. Ancak aynı zamanda hukuk, satın alma ve finans departmanlarında, insan kaynaklarında veya ürün geliştirmede de birçok LLM deneysel statüden çıkıyor ve günlük operasyonel çalışmalarda etkilerini giderek daha fazla geliştiriyor. Bu nedenle olası kullanım durumlarının sayısı çok fazladır. Aynı zamanda bu durum organizasyonlarda karar vermeyi daha da zorlaştırıyor: Nereden başlayacağım? Hangi ürün hangi uygulama için uygundur?
Sofiane Fessi, başta dijital ve e-ticaret olmak üzere çeşitli analitik ve veri bilimi rollerinde 15 yıllık deneyime sahiptir. Dataiku'ya Orta Avrupa Satış Mühendisliği Bölge Başkan Yardımcısı olarak katılmadan önce, Birleşik Krallık'taki birçok büyük şirkete veri biliminin web analitiği ve e-ticaret verilerine uygulanması konusunda danışmanlık yaptı.
Genel olarak ay çekimleriyle başlamamanız tavsiye edilir, çünkü yapay zekanın uygulanması her zaman insan perspektifinden düşünülmelidir. Ve her şey sonsuza dek sürmediğinde hem karar vericiler hem de çalışanlar çok daha fazla motive olurlar, ancak ilk sonuçlar daha az yönetim ve daha fazla üretkenlik şeklinde hemen fark edilir.
Doğru modeli nasıl bulup kalitesini nasıl değerlendirebilirim?
Ekip liderleri ve karar vericiler bazı temel kurallara uymalıdır: Veri ekipleri, şirket departmanlarına ne kullanmaları gerektiğini söylemesi gereken kişiler değildir. Tam tersine. Kullanıcılar kendilerine gerçekten neyin yardımcı olduğunu en iyi bilirler. Çalışanların bireysel vakalara yönelik ürünleri izinsiz ve koordinesiz bir şekilde kendileri tedarik etmesi nedeniyle sıklıkla kontrolsüz gölge BT ortaya çıkar. Kuruluşlar öncelikle gerçek kullanıcıları en başından itibaren sürece dahil etmenin bir yolunu bulmalıdır. Ayrıca bir yapay zeka uygulamasının deneysel bir aşamadan sonra performansının nasıl değerlendirileceği de en baştan net olmalıdır. Son olarak esneklik üzerinde durulmalıdır. Bir yapay zeka çözümünün umulandan daha az uygun olduğu ortaya çıkarsa, onu mümkün olduğu kadar kolay bir şekilde değiştirmek mümkün olmalıdır. Katılım, şeffaflık, kontrol ve uyum için çerçeve koşulları yaratmayı başaran kişi zaten ödevin çoğunu yapmış demektir.
Bununla birlikte, büyük dil modellerinin çalışmalarının kalitesi yalnızca modellerin kendilerine değil, aynı zamanda mevcut verilere ve iş gücünün yapay zeka uygulamalarını yönetme becerisine de bağlıdır. 400 BT yöneticisinin katılımıyla yapılan bir anket, görüşülen şirketlerin %58'inin yapay zeka işleme için yüksek kaliteli veri eksikliğinden veya bu verilere erişim eksikliğinden şikayetçi olduğunu gösteriyor. Ancak anketin yapıldığı tarihte katılımcıların yalnızca %57'si çalışanlarına veri yönetimi konusunda eğitim vermişti. Bu gereklilikler karşılanırsa, Yüksek Lisans'ın gerçek mekanizmalarını değerlendirmeye başlayabiliriz.
Basitçe söylemek gerekirse, LLM sonuçlarının kalitesi, argümanların veya cevapların doğruluğu, uygunluğu ve netliği kriterlerine göre değerlendirilebilir. Cevap doğruluğu, verilen cevabın gerçekten doğru olup olmadığını değerlendirirken cevap alaka düzeyi, cevabın sorulan soruyla ilgili ve tematik olarak ilgili olup olmadığını ölçer. Açık olalım: Yüksek Lisans'lar sorulan soruya cevap vermeyen doğru bir cevap da verebileceği için doğruluk her zaman alaka anlamına gelmez.
Şirketlerin LLM'lerinin performansını değerlendirme kriterlerini yalnızca rastgele ve manuel olarak kontrol ettiklerini, bunun da modellerin yeterli şekilde değerlendirilmesine izin vermediğini sıklıkla gözlemliyoruz. Yüksek Lisans'ların işlediği veri miktarının hızla artmasıyla, insan gözünün buna ayak uydurması kesinlikle imkansızdır. Olmamalı çünkü bu tür modellerin varoluş nedeni budur. Bu nedenle sağlam, veriye dayalı bir değerlendirme çerçevesi sunmak önemlidir. Cevapların aslına uygunluğu, doğruluğu ve uygunluğunun yanı sıra bağlamın kesinliği gibi önceden belirtilen kriterler, özel olarak oluşturulmuş bir istemin kullanıldığı “yargıç olarak yüksek lisans” tekniği gibi izleme teknikleri için değerlendirmenin temelini oluşturur. kullanılan insan değerlendirmesi için vekil olarak ikincil bir LLM kullanır. BERT, ROUGE ve BLEU puanı gibi diğer yararlı ölçümler geleneksel NLP tabanlı istatistiksel tekniklere dayanmaktadır.
Deney aşamasından işletme aşamasına geçmek için ne gerekiyor?
Oyunun kurallarına ve daha önce özetlenen veri sorununa ek olarak, 400 BT yöneticisiyle yaptığımız anket başka ilginç noktaları da ortaya çıkardı. %44'ü kaynak eksikliğini ve %28'i teknik bilgi eksikliğini şirketlerindeki tipik frenler olarak belirtiyor. Ayrıca AI Kanununun yürürlüğe girmesinden bu yana uyumluluk ve kontrol konuları tartışmalara yön vermiştir. Başarının anahtarını, gölge BT durumunda deneyimlediğimiz çevikliği ve yüksek içsel motivasyonu kontrollü bir ortama aktarmakta görüyorum. LLM'lerin kullanımına ilişkin bütçeler, veri erişim hakları ve aynı zamanda farklı LLM'lerin kullanımı mümkün olduğunca basit bir şekilde kontrol edilmeli ve yönetilmelidir. Uyum sorunları yöneticilerin ve bireysel çalışanların çok fazla zamanını alırsa motivasyonu yok eder.
Sonuçta her şey gerçek katma değere bağlı. Çalışanları zorlamak isteyen herkes çıkmaza girer. LLM'lere katılmak ve bunları kullanmak herkes için mümkün olduğunca basit olmalıdır. Yapay zeka temsilcilerinin 2025'te operasyonel uygulamayı önemli ölçüde hızlandıracağına inanıyorum. Bu nedenle zorlama oldukça verimsizdir: Ankete katılan yöneticilerin %65'i, GenAI girişimlerinin mali açıdan başarılı olduğunu ve stratejik katma değer sunduğunu söyledi. Hangi argüman daha ikna edici olabilir?
Sayın Fessi, cevaplarınız için çok teşekkür ederim.
Şirketlerinde halihazırda büyük dil modellerini ve artırılmış erişim oluşturmayı kullanan herkes, acilen model güvenliği konusunu düşünmelidir. iX 01/2025'in kapak bölümü burada önemli bilgiler sağlar.
“Üç soru ve cevap” serisinde iX, ister bilgisayar önündeki kullanıcının bakış açısı, ister yöneticinin bakış açısı, ister yöneticinin günlük yaşamı olsun, günümüzün BT zorluklarının özüne inmek istiyor. bir yönetici. Günlük uygulamalarınızdan veya kullanıcılarınızdan önerileriniz var mı? Hangi konuyu kısa ve doğrudan okumak istersiniz? O halde bize yazmaktan veya forumda yorum bırakmaktan çekinmeyin.
(şşş)
Duyuru
Şu anda iş dünyasında büyük dil modelleri için hangi kullanım durumları ortaya çıkıyor?
Operasyonlarda hızla ivme kazanabilecek tipik kullanım senaryoları, müşteri iletişimi veya satış alanlarında bulunur. Bunlar açıkça tipik sohbet robotları veya lider nitelikleridir. Ancak aynı zamanda hukuk, satın alma ve finans departmanlarında, insan kaynaklarında veya ürün geliştirmede de birçok LLM deneysel statüden çıkıyor ve günlük operasyonel çalışmalarda etkilerini giderek daha fazla geliştiriyor. Bu nedenle olası kullanım durumlarının sayısı çok fazladır. Aynı zamanda bu durum organizasyonlarda karar vermeyi daha da zorlaştırıyor: Nereden başlayacağım? Hangi ürün hangi uygulama için uygundur?
Sofiane Fessi, başta dijital ve e-ticaret olmak üzere çeşitli analitik ve veri bilimi rollerinde 15 yıllık deneyime sahiptir. Dataiku'ya Orta Avrupa Satış Mühendisliği Bölge Başkan Yardımcısı olarak katılmadan önce, Birleşik Krallık'taki birçok büyük şirkete veri biliminin web analitiği ve e-ticaret verilerine uygulanması konusunda danışmanlık yaptı.
Genel olarak ay çekimleriyle başlamamanız tavsiye edilir, çünkü yapay zekanın uygulanması her zaman insan perspektifinden düşünülmelidir. Ve her şey sonsuza dek sürmediğinde hem karar vericiler hem de çalışanlar çok daha fazla motive olurlar, ancak ilk sonuçlar daha az yönetim ve daha fazla üretkenlik şeklinde hemen fark edilir.
Doğru modeli nasıl bulup kalitesini nasıl değerlendirebilirim?
Ekip liderleri ve karar vericiler bazı temel kurallara uymalıdır: Veri ekipleri, şirket departmanlarına ne kullanmaları gerektiğini söylemesi gereken kişiler değildir. Tam tersine. Kullanıcılar kendilerine gerçekten neyin yardımcı olduğunu en iyi bilirler. Çalışanların bireysel vakalara yönelik ürünleri izinsiz ve koordinesiz bir şekilde kendileri tedarik etmesi nedeniyle sıklıkla kontrolsüz gölge BT ortaya çıkar. Kuruluşlar öncelikle gerçek kullanıcıları en başından itibaren sürece dahil etmenin bir yolunu bulmalıdır. Ayrıca bir yapay zeka uygulamasının deneysel bir aşamadan sonra performansının nasıl değerlendirileceği de en baştan net olmalıdır. Son olarak esneklik üzerinde durulmalıdır. Bir yapay zeka çözümünün umulandan daha az uygun olduğu ortaya çıkarsa, onu mümkün olduğu kadar kolay bir şekilde değiştirmek mümkün olmalıdır. Katılım, şeffaflık, kontrol ve uyum için çerçeve koşulları yaratmayı başaran kişi zaten ödevin çoğunu yapmış demektir.
Bununla birlikte, büyük dil modellerinin çalışmalarının kalitesi yalnızca modellerin kendilerine değil, aynı zamanda mevcut verilere ve iş gücünün yapay zeka uygulamalarını yönetme becerisine de bağlıdır. 400 BT yöneticisinin katılımıyla yapılan bir anket, görüşülen şirketlerin %58'inin yapay zeka işleme için yüksek kaliteli veri eksikliğinden veya bu verilere erişim eksikliğinden şikayetçi olduğunu gösteriyor. Ancak anketin yapıldığı tarihte katılımcıların yalnızca %57'si çalışanlarına veri yönetimi konusunda eğitim vermişti. Bu gereklilikler karşılanırsa, Yüksek Lisans'ın gerçek mekanizmalarını değerlendirmeye başlayabiliriz.
Basitçe söylemek gerekirse, LLM sonuçlarının kalitesi, argümanların veya cevapların doğruluğu, uygunluğu ve netliği kriterlerine göre değerlendirilebilir. Cevap doğruluğu, verilen cevabın gerçekten doğru olup olmadığını değerlendirirken cevap alaka düzeyi, cevabın sorulan soruyla ilgili ve tematik olarak ilgili olup olmadığını ölçer. Açık olalım: Yüksek Lisans'lar sorulan soruya cevap vermeyen doğru bir cevap da verebileceği için doğruluk her zaman alaka anlamına gelmez.
Şirketlerin LLM'lerinin performansını değerlendirme kriterlerini yalnızca rastgele ve manuel olarak kontrol ettiklerini, bunun da modellerin yeterli şekilde değerlendirilmesine izin vermediğini sıklıkla gözlemliyoruz. Yüksek Lisans'ların işlediği veri miktarının hızla artmasıyla, insan gözünün buna ayak uydurması kesinlikle imkansızdır. Olmamalı çünkü bu tür modellerin varoluş nedeni budur. Bu nedenle sağlam, veriye dayalı bir değerlendirme çerçevesi sunmak önemlidir. Cevapların aslına uygunluğu, doğruluğu ve uygunluğunun yanı sıra bağlamın kesinliği gibi önceden belirtilen kriterler, özel olarak oluşturulmuş bir istemin kullanıldığı “yargıç olarak yüksek lisans” tekniği gibi izleme teknikleri için değerlendirmenin temelini oluşturur. kullanılan insan değerlendirmesi için vekil olarak ikincil bir LLM kullanır. BERT, ROUGE ve BLEU puanı gibi diğer yararlı ölçümler geleneksel NLP tabanlı istatistiksel tekniklere dayanmaktadır.
Deney aşamasından işletme aşamasına geçmek için ne gerekiyor?
Oyunun kurallarına ve daha önce özetlenen veri sorununa ek olarak, 400 BT yöneticisiyle yaptığımız anket başka ilginç noktaları da ortaya çıkardı. %44'ü kaynak eksikliğini ve %28'i teknik bilgi eksikliğini şirketlerindeki tipik frenler olarak belirtiyor. Ayrıca AI Kanununun yürürlüğe girmesinden bu yana uyumluluk ve kontrol konuları tartışmalara yön vermiştir. Başarının anahtarını, gölge BT durumunda deneyimlediğimiz çevikliği ve yüksek içsel motivasyonu kontrollü bir ortama aktarmakta görüyorum. LLM'lerin kullanımına ilişkin bütçeler, veri erişim hakları ve aynı zamanda farklı LLM'lerin kullanımı mümkün olduğunca basit bir şekilde kontrol edilmeli ve yönetilmelidir. Uyum sorunları yöneticilerin ve bireysel çalışanların çok fazla zamanını alırsa motivasyonu yok eder.
Sonuçta her şey gerçek katma değere bağlı. Çalışanları zorlamak isteyen herkes çıkmaza girer. LLM'lere katılmak ve bunları kullanmak herkes için mümkün olduğunca basit olmalıdır. Yapay zeka temsilcilerinin 2025'te operasyonel uygulamayı önemli ölçüde hızlandıracağına inanıyorum. Bu nedenle zorlama oldukça verimsizdir: Ankete katılan yöneticilerin %65'i, GenAI girişimlerinin mali açıdan başarılı olduğunu ve stratejik katma değer sunduğunu söyledi. Hangi argüman daha ikna edici olabilir?
Sayın Fessi, cevaplarınız için çok teşekkür ederim.
Şirketlerinde halihazırda büyük dil modellerini ve artırılmış erişim oluşturmayı kullanan herkes, acilen model güvenliği konusunu düşünmelidir. iX 01/2025'in kapak bölümü burada önemli bilgiler sağlar.
“Üç soru ve cevap” serisinde iX, ister bilgisayar önündeki kullanıcının bakış açısı, ister yöneticinin bakış açısı, ister yöneticinin günlük yaşamı olsun, günümüzün BT zorluklarının özüne inmek istiyor. bir yönetici. Günlük uygulamalarınızdan veya kullanıcılarınızdan önerileriniz var mı? Hangi konuyu kısa ve doğrudan okumak istersiniz? O halde bize yazmaktan veya forumda yorum bırakmaktan çekinmeyin.
(şşş)