BBY 156 Bilgi Erişim�2024-2025�http://bby156.blogspot.com ��

Bilgi erişim sistemlerinde

etkinlik (performans/başarım) değerlendirmesi

UIVRPH

​

İdeal bilgi erişim sistemleri

• derlemde bulunan tüm ilgili belgelere erişim sağlamayı ve erişim çıktısındaki tüm belgelerin ilgili olmasını amaçlıyor.

​

​

• derlemde bulunan tüm ilgili belgelere erişim sağlamayı ve erişim çıktısındaki tüm belgelerin ilgili olmasını amaçlıyor.

​

• Bilgi erişim sistemleri üzerindeki etkinlik (başarım) ölçümleri de genellikle bu iki değere bakılarak yapılıyor.
• Birçok erişim modelinin (Boole, Vektör uzayı, Olasılık vb.) çıkış noktası bilgi erişim sistemlerinin etkinliğini (performansını) artırmak.

Bilgi erişim sistemleri mükemmel değil!

Etkinlik değerlendirmesi nasıl yapılır?

• Bilgi erişim sistemine bir sorgu gönderilir.
• Sorgu sonucunda erişim çıktısında yer alan ve almayan belgeler incelenir ve şu soruların yanıtlarına ait veriler elde edilmeye çalışılır:
• Derlemdeki ilgili belgelere hangi oranda ulaşıldı?
• Erişim çıktısındaki belgelerin ne kadarı ilgili?
• Erişim çıktısındaki belgelerin ne kadarı ilgisiz?
• Bu kadar kritik öneme sahip olan “ilgililik” kriterleri nasıl belirlenebilir?
• “relevance judgement”

İlgililik değerlendirmesi

(relevance judgement)

• İdeal bilgi erişim sistemleri ilgili belgelerin tümüne ve salt ilgili belgelere erişim sağlamalı.
• “Hakkındalık” kavramı: Bir belgenin X konusunda olduğuna nasıl karar veririz?

​

​

​

​

• “İlgililik” kavramı: Birbirine benzeyen içerikleri bir araya getirmek, benzemeyenleri ayırmak.
• Öznel ilgililik
• Kullanıcı, yönelttiği sorgu sonucunda elde ettiği erişim çıktısına bakarak sonuçların bilgi ihtiyacı ile ne kadar ilgili olduğuna karar verebilir. Bu öznel bir karardır. Kullanıcının bilgi ihtiyacına ya da o anki ruh haline göre ilgililik kararı değişiklik gösterebilir.
• Nesnel ilgililik
• Sorgu sözcüklerini “bir şekilde” içeren belgelerin ilgili olduğuna da karar verilebilir. Bu nesnel ilgililiktir.
• Erişim modellerinin temel olarak yapmaya çalıştığı, bu tür bir ilgililik hesabıdır.

• Dizin terimleri/konu başlıkları bir belgenin hangi konu(lar) hakkında olduğunu belirtir.
• Belge başlığı konunun ne olduğu hakkında her zaman bilgi verir mi?!

Etkinlik değerlendirmesi nasıl yapılır?

• Sorgu sonucu elde edilen bu değerlere göre (ilgili/ilgisiz belgeler, toplam erişilen belge sayısı, derlemdeki toplam ilgili belge sayısı) ikili sınıflandırma tablosu doldurulur.
• İkili sınıflama tablosundan “anma” (recall), “duyarlık” (precision) ve “posa” (false alarm) değerleri hesaplanarak sistemin etkinliği ortaya çıkarılır.

İkili sınıflama tablosu

a : Erişilen ve kullanıcının ilgili (relevant) bulduğu belge sayısı

b : Erişilen ve kullanıcının ilgisiz bulduğu belge sayısı

c : Erişilemeyen ve kullanıcının ilgili bulduğu belge sayısı

d : Erişilemeyen ve kullanıcının ilgisiz bulduğu belge sayısı

a+b : İlgili ya da ilgisiz olup erişilen toplam belge sayısı

c+d : İlgili ya da ilgisiz olup erişilemeyen toplam belge sayısı

a+c : Erişilen ya da erişilemeyen derlemdeki toplam ilgili belge sayısı

b+d : Erişilen veya erişilemeyen derlemdeki toplam ilgisiz belge sayısı

Anma (Recall) değeri (Erişim isabeti)

• Anma: Sistem tarafından erişilen ilgili belgelerin derlemdeki toplam ilgili belgelere oranıdır.
• Anma, «hedefi vurma oranı» olarak da tanımlanabilir.
• Anma, ilgili belgelere hangi oranda erişim sağlandığını gösteren bir değerdir.
• Anma =

(a)

(a + c)

a / (a+c)

Duyarlık (Precision) değeri (Kesin isabet)

• Duyarlık: Sistem tarafından erişilen ilgili belgelerin erişim çıktısında yer alan ilgili veya ilgisiz toplam belge sayısına oranıdır.
• Duyarlık, erişim çıktısında hangi oranda ilgili belge bulunduğunu gösteren bir değerdir.
• Duyarlık=

(a)

(a + b)

a / (a+b)

Posa değeri (False alarm)

• Posa: Sistem tarafından ilgili olduğu düşünülüp erişilen fakat gerçekte ilgisiz olan belge sayısının toplam ilgisiz belge sayısına oranıdır.
• Posa değeri, bir sistemin ilgisiz belgeleri ne derece sağlıklı olarak reddettiğini ölçer.
• Bir başka deyişle posa; derlemdeki ilgisiz belgelere hangi oranda erişildiğini gösterir.
• Posa=

(b)

(b+d)

b / (b+d)

Değerlendirme

• Anma ve duyarlık 0-1 arasında değerler alır.
• Bir sistemin etkinliği çoğunlukla anma ve duyarlılık değerlerinin birlikte kullanılması ile ifade edilir.
• Anma ve duyarlık ne kadar yüksekse bir sistemin etkinliğinin de o kadar yüksek olduğu kabul edilmektedir (Salton, 1989).

​

Etkinlik hesaplama örneği

• Bir bilgi erişim sisteminde, “teknolojik yakınsama” sorgusuna karşılık olarak elde edilen erişim çıktısı değerlendirilmiş ve aşağıdaki sonuçlar elde edilmiştir. Buna göre sistemin anma, duyarlık ve posa değerlerini hesaplayınız.

​

​

​

• Toplam erişilen belge sayısı: 200
• Erişim çıktısındaki ilgili belge sayısı: 50
• Derlem üzerindeki toplam belge sayısı: 1000
• Derlem üzerinde “teknolojik yakınsama” sorgusuyla ilgili belge sayısı: 250

​

Etkinlik hesaplama kuralı

• Anma = a / (a+c)
• Duyarlık= a / (a+b)
• Posa= b / (b+d)

​

​

​

Etkinlik hesaplama örneği

b = (a+b) – a = 200 – 50 = 150

c = (a+c) – a = 250 – 50 = 200

(b+d) = (a + b + c + d) – (a+c) = 1000 – 250 = 750

d = (b+d) – b = 750 – 150 = 600

(c+d) = 200 + 600 = 800

• Toplam erişilen belge sayısı: 200 (a + b)
• Erişim çıktısındaki ilgili belge sayısı: 50 (a)
• Derlem üzerindeki toplam belge sayısı: 1000 (a + b + c + d)
• Derlem üzerinde “teknolojik yakınsama” sorgusuyla ilgili belge sayısı: 250 (a + c)

Etkinlik hesaplama örneği

​

Anma = a / (a+c) = 0,2

Duyarlık= a / (a+b) = 0,25

Posa= b / (b+d) = 0,2

​

​

• Toplam erişilen belge sayısı: 200 (a + b)
• Erişim çıktısındaki ilgili belge sayısı: 50 (a)
• Derlem üzerindeki toplam belge sayısı: 1000 (a + b + c + d)
• Derlem üzerinde “teknolojik yakınsama” sorgusuyla ilgili belge sayısı: 250 (a + c)

Etkinlik hesaplama örneği

Anma = 0,2

Duyarlık = 0,25

Posa = 0,2

• Yorum?

​

​

​

​

​

• Bu bilgi erişim sistemi başarılı mıdır?

​

Başka bir örnek için şuraya bakabilirsiniz («Barbie ailesi» sorgu sonucunda arama motorunun etkinlik değerlendirmesi ve yorumu).

• Bu bilgi erişim sisteminde “teknolojik yakınsama” sorgusu için:
• Sistemdeki ilgili belgelerin yalnızca %20’sine erişim sağlanmıştır,
• Erişim çıktısındaki belgelerin %25’i ilgilidir,
• Sistem, ilgisiz belgelerin %20’sine erişmiştir (%80’ini reddetmiştir).

​

Sistem «toplam başarım»ı nasıl hesaplanır?

• Bir sistemin etkinliği çoğunlukla anma ve duyarlık değerleri ile ifade edilir.
• Bu değerler her bir sorgu bazında kesin değerler olabileceği gibi, birden fazla sorgu üzerinden mikro ya da makro ortalamalar alınarak da hesaplanabilir.
• Genellikle bilgi erişim sistemlerinin başarımı hesaplanırken tek sorgu değil çok sayıda sorgu sisteme gönderilerek hesaplama yapılır.
• Her bir sorgu sonucu elde edilen çıktılar için ikili sınıflama tablosu oluşturulur.

​

• Bu tablolara göre sistemin genel başarımı iki farklı şekilde hesaplanabilir:
• Mikro ortalama: Sayıların aritmetik ortalaması
• Makro ortalama: Oranların aritmetik ortalaması

Sistem «toplam başarım»ı nasıl hesaplanır? (Örnek)

• Bir arama motoruna iki sorgu yöneltilmiştir.
• Birinci sorgu sonucunda erişilen 5 belgeden 2 tanesi ilgili.
• İkinci sorguda erişilen 10 belgeden 1 tanesi ilgili.
• Sistemin genel duyarlık başarım değeri nedir?
• Mikro ortalama yöntemi: Tüm sorgulardan elde edilen ilgili belge sayılarının, tüm sorgularda erişilen toplam belge sayısına bölünmesiyle hesaplanır.

​

​

• Duyarlık = (2+1) / (5+10) = 0,2

​

• Makro ortalama yöntemi: Her sorgunun başarı değerlerinin ayrı ayrı hesaplanıp bu değerlerin aritmetik ortalamasının alınması ile hesaplanır.
• Duyarlık I: 2 / 5 = 0,4 Duyarlık II: 1 / 10 = 0,1
• Duyarlık = (Duyarlık1+Duyarlık2) / 2

= (0,4 + 0,1) / 2 = 0,25

Normalize sıralama

• 3 farklı bilgi erişim sistemine aynı konuyla ilgili sorgu yollanmış ve sistemler tarafından oluşturulan erişim çıktıları (EÇ_i) tabloda verilmiştir. Duyarlık açısından hangi sistem daha başarılıdır?

Normalize sıralama

• Duyarlık= ?
• tüm EÇ için aynı = 5/9 = 0,56
• Başarı?
• Erişim çıktısında üst sıralarda ilgili belgeleri gösteren sistemler daha başarılı olmalı!

​

Normalize sıralama

• İlgili belgelerin erişim çıktısındaki sıralamasını da göz önünde bulunduran değerlendirme yöntemi “normalize sırlama” olarak adlandırılır.
• Bu yöntem üst sıralarda ilgili belgelere yer veren bilgi erişim sistemlerini ödüllendirir.
• Önceki slaytta yer alan örnekte, duyarlık değerleri aynı olmasına karşın kullanıcıların ilgili belgelerin erişim çıktısında olabildiğince üst sıralarda yer aldığı arama sonuçlarını tercih etmeleri beklenmektedir.
• Çünkü kullanıcılar daha az çaba sarf ederek ilgili belgelere eriştikleri arama sonuçlarının daha değerli olduğunu düşünmektedirler.
• Öte yandan, bir erişim çıktısında ilgisiz belgelerin en üst sıralarda yer aldığı, buna karşılık ilgili belgelerin çıktıda ya hiç yer almadığı ya da çıktının en sonunda listelendiği arama sonuçları kullanıcıların sabrını zorlayıp onları arama yapmaktan vazgeçirebilir.
• Bu metrik gözetilerek oluşturulan ölçüte “normalize sıralama” adı verilmektedir. Sıralama, elde edilen erişim çıktısında en ilgili olduğu varsayılan belgenin ilk sırada, ilgililik derecelerine göre diğer belgelerin de izleyen sıralarda yer alması demektir.

​

Normalize sıralama

​

​

​

• Bu formülde:
• ∆ : erişim çıktısı sıralaması,
• S⁺ : erişim çıktısında ilgili belgelerin ilgisiz belgelerin önünde yer aldığı belge çiftleri sayısı,
• S^- : erişim çıktısında ilgisiz belgelerin ilgili belgelerin önünde yer aldığı belge çiftleri sayısı ve
• S⁺max : mümkün olan en fazla S⁺ sayısıdır.

Normalize sıralama örneği

• Yukarıdaki örneğimize (S⁺max değerini 20 kabul ederek) devam edecek olursak:

S_norm(EÇ1)=1/2(1+(20-0)/20) = 1;

S_norm(EÇ2)=1/2(1+(0-20)/20) = 0; ve

S_norm(EÇ3)=1/2(1+(13-7)/20) = 0,7

değerlerini elde ederiz.

• Bir başka deyişle, duyarlık değerleri aynı olmasına karşın, kullanıcının normalize sıralama değerlerine bakarak bu üç arama sonucundan ilkini diğerlerine tercih edeceği kolayca söylenebilir.
• Elde edilen değerlere dikkatle bakıldığında, normalize sıralama değerinin ilgisiz belgeleri başarılı bir şekilde reddetmeyen (yani “yanlış alarm” veren) bilgi erişim sistemlerini cezalandırdığı görülecektir.
• Normalize sıralama değerinin, bir bakıma, tüm ilgili belgelerin ve salt ilgili belgelerin erişim çıktısında yer aldığı “ideal erişim etkinliği” ile derlemdeki tüm ilgisiz belgelerin çıktının başında, ilgili belgelerin de çıktının en sonunda yer aldığı “en kötü erişim etkinliği” arasındaki değerlere belirli bir anlam yüklemeye yaradığı söylenebilir.
• Birkaç ilgili belgeye hızla erişim sağlamak isteyen kullanıcılar açısından normalize sıralama değeri önemli olabilir.
• Öte yandan, kapsamlı arama yapan kullanıcılar (örneğin, belli bir konuda yayımlanmış tüm belgelere erişmek isteyen kullanıcılar) ya da belli bir konuda daha önce herhangi bir belge yayımlanmadığını bilgi erişim sistemi aracılığıyla doğrulatmak isteyen kullanıcılar (örneğin, patent aramaları) normalize sıralama değerlerine itibar etmeyebilirler.
• Normalize sıralama değeri bir bilgi erişim sisteminin etkinliğini ölçmede tek başına bir ölçüt olarak sıklıkla kullanılmasa da, ilgili belgelere sürekli ilk sıralarda erişen bilgi erişim sistemlerinin diğerlerine göre performans yönünden daha etkin sistemler olduğunu kabul etmek gerekmektedir.

Okuma listesi

Tonta, Y. (1995). Bilgi erişim sistemleri. (http://yunus.hacettepe.edu.tr/~soydal/bby156_2013/3/BilgiErisimSistemleri_tonta1995.pdf)

Buckland, M. (1991). Information as thing. (http://people.ischool.berkeley.edu/~buckland/thing.html)

Tonta, Y., Bitirim, Y. ve Sever, H. (2002). Türkçe Arama Motorlarında Performans Değerlendirme. (Tam metin)

Soydal, İ. (2000). Web Arama Motorlarında Performans Değerlendirmesi. (Tam metin)

​

Diğer yardımcı kaynaklar:

Baeza-Yates, R. and Ribeiro-Neto, B. (1999). Modern Information Retrieval. (Tam metin)

Manning, C.D., Raghavan, P. and Schütze, H. (2009). Introduction to Information Retrieval. (Tam metin)

​

Bu derste kullanılan slaytların çoğunluğu

Information organization and retrieval (R. Larson & W. Sack, 2001)

Bilgi erişim ilkeleri (Y. Tonta, 2002)

Bilgi erişim (G. Köse, 2012)

derslerine ait slaytlardan derlenmiştir.