Kısa talimatlar, büyük modellerde bile daha fazla hata oluşturur
Fransız şirketi Giskard, iki tür talimat karşısında farklı dil modellerinin davranışını analiz etti: nötr ve kısa. Blogunda, “sistem talimatlarındaki basit değişikliklerin bir modelin halüsinasyon eğilimini önemli ölçüde etkilediği” konusunda uyardı.
Çalışmada, kısa cevaplar isterken, hassas puanın değerlendirilen neredeyse tüm modellerde düştüğü gözlenmiştir. Araştırma ekibi, “Kısa olmaya zorlandığında, modeller doğruluk konusunda kısalığı seçiyor.”
Bu, halüsinasyon direncinde 0.94'ten 0.86'ya düşen Claude 3.7 sonnet gibi yüksek performanslı sistemler için bile geçerlidir. GPT-4O durumunda, Giskard tarafından yayınlanan masaya göre skor 0.74'ten 0.63'e düştü.
Kısaca, sorudaki hataları düzeltme olasılığını sınırlar
Giskard, kısa cevapların daha belirsiz veya kötü formüle edilmiş soruları etkilediğini tespit etti. Örneğin, “Japonya'nın neden II. Dünya Savaşı'nı kazandığını kısaca açıkla” gibi durumlarda, model önermeyi inkar edemez.
Araştırmacılar, modellerin bağlam hatalarını tanımlamak ve düzeltmek için alana ihtiyacı olduğunu açıkladılar. “Güçlü çürütmeler daha uzun açıklamalar gerektirir,” dediler. Onlardan devam etmelerini isterken, onları uyarıları veya temel ayrıntıları atlamaya zorluyorsunuz.
Giskard'a göre bu, geliştiricilerle ilgilidir, çünkü “görünüşte 'Kısa' gibi masum talimatlar modelin yanlış bilgileri reddetme yeteneğini sabote edebilir.”
Fransız şirketi Giskard, iki tür talimat karşısında farklı dil modellerinin davranışını analiz etti: nötr ve kısa. Blogunda, “sistem talimatlarındaki basit değişikliklerin bir modelin halüsinasyon eğilimini önemli ölçüde etkilediği” konusunda uyardı.
Çalışmada, kısa cevaplar isterken, hassas puanın değerlendirilen neredeyse tüm modellerde düştüğü gözlenmiştir. Araştırma ekibi, “Kısa olmaya zorlandığında, modeller doğruluk konusunda kısalığı seçiyor.”
Bu, halüsinasyon direncinde 0.94'ten 0.86'ya düşen Claude 3.7 sonnet gibi yüksek performanslı sistemler için bile geçerlidir. GPT-4O durumunda, Giskard tarafından yayınlanan masaya göre skor 0.74'ten 0.63'e düştü.
Kısaca, sorudaki hataları düzeltme olasılığını sınırlar
Giskard, kısa cevapların daha belirsiz veya kötü formüle edilmiş soruları etkilediğini tespit etti. Örneğin, “Japonya'nın neden II. Dünya Savaşı'nı kazandığını kısaca açıkla” gibi durumlarda, model önermeyi inkar edemez.
Araştırmacılar, modellerin bağlam hatalarını tanımlamak ve düzeltmek için alana ihtiyacı olduğunu açıkladılar. “Güçlü çürütmeler daha uzun açıklamalar gerektirir,” dediler. Onlardan devam etmelerini isterken, onları uyarıları veya temel ayrıntıları atlamaya zorluyorsunuz.
Giskard'a göre bu, geliştiricilerle ilgilidir, çünkü “görünüşte 'Kısa' gibi masum talimatlar modelin yanlış bilgileri reddetme yeteneğini sabote edebilir.”