BBY 156 Bilgi Erişim�2023-2024�http://bby156.blogspot.com ��👉 Bilgi erişim kuralları �(erişim fonksiyonları)�

Bilgi Erişim Sistemleri ~temel bileşenler (hatırlatma)

• Bir bilgi erişim sistemi:
• (1) bir belge derlemi ya da bu belgeleri temsil eden dizin terimlerini içeren kayıtlar,
• (2) kullanıcıların sorgu cümleleri, ve
• (3) kullanıcıların sorgu cümlelerinde yer alan terimlerle derlemdeki belgelere verilen terimleri karşılaştırarak ilgili belgeleri belirlemek için kullanılan bir erişim kuralından

oluşur.

Bilgi Erişim Sistemi

Derlemdeki belgeler nasıl saklanıyor? (hatırlatma)

• Bir bilgi erişim sisteminde derlemdeki belgeler gerektiğinde hızlı bir biçimde erişilebilmesi için ? ? ? ? saklanır.
• Bilgi erişim sistemlerinde dizinlerin işlevi nedir?
• Dizin, derlemde bulunan her bir belgeye en hızlı biçimde erişimi sağlayan ve özel veri yapıları kullanılarak oluşturulan bir yapıdır.
• Dizinleme, verilere yavaş olan bellek (Hard Disk) yerine çok daha hızlı olan ana hafızadan (RAM) erişimi mümkün kılar.
• Bilgi erişim sistemlerinde derlemlerin boyutları düşünüldüğünde dizinleme olmadan arama sonuçlarına hızlı erişimin mümkün olmadığı açıktır.

dizinlenerek

Bilgi erişim sistemlerinin temel parçaları

• Basit bir bilgi erişim sistemi (BES) dört parçadan oluşur:
• [ D, Q , F , R(q₁, d_j) ]
• D =>

derlemde bulunan belgelerin mantıksal temsili/görüntüsünün oluşturduğu küme. Yani?

içerik belirteçleri/dizin terimleri

• Q =>

kullanıcı ihtiyaçlarının mantıksal temsillerinin oluşturduğu küme. Yani?

kullanıcı “sorgu”ları

• F =>

belge ve sorgu gösterimlerinin ve bunlar arasındaki bağlantıların/ilişkilerin gösterildiği iskelet yapı. Yani?

erişim fonksiyonu

• R (q₁, d_j) =>

sıralama (ranking) fonksiyonu

Bu fonksiyon, sorgu (q₁∈ Q) ve belge (d_j ∈ D) gösterimlerini bir rakamla (sıra) ilişkilendirir. Bu tip bir sıralama, sorgu için getirilecek belgelerin belirli bir kritere (örn. ilgililik) göre düzenlenmesini sağlar.

Başlarken…

• Erişim fonksiyonlarının temel işlevlerinden biri nedir?
• Bilgi erişim sistemlerinin performansını artırmak

​

Başlarken…

• Bilgi erişim sistemlerinin performansı ile kastedilen nedir?
• Kullanıcının bilgi ihtiyacı (sisteme yönelttiği sorgu) ile ilgili olan derlemdeki tüm belgelere eksiksiz olarak ulaşabilmesi.
• Kullanıcının sisteme yönelttiği sorgu sonucunda sistemin sunduğu sonuç listesinin tamamen ilgili belgelerden oluşması.
• Eğer gelen sonuç listesi tamamen ilgili belgelerden oluşamamışsa, en azından sonuç listesindeki ilgisiz belgelerin oranının olabildiğince düşük olması.
• Gelen sonuç listesi tamamen ilgili belgelerden oluşmamışsa ilgili belgelerin üst sıralarda yer alıyor olması (en ilgiliden daha ilgisize doğru sıralama yapılıyor olması).
• Sistemin “İlgili”liği anlamlı şekilde hesaplıyor olması: Bir sorgu terimi bir belgede 1, bir başka belgede 100 kez geçiyorsa (uzunluk normalizasyonu da yapıldıktan sonra) bu 100 kez geçen belgenin “daha ilgili” olarak değerlendirilip sonuç listesinde üst sırada yer alması gerekir.

Erişim fonksiyonu ~ özellikleri

​

• Eşleştirme:
• Erişim fonksiyonu, derlemde bulunan belgeler ile kullanıcı sorgularının hangi oranda eşleştiğini bulan ve bu eşleşmeyi derecelendiren (skor değeri) yöntemdir.
• Benzerlik:
• Erişim fonksiyonu, kullanıcı sorgusunu derlemde bulunan her bir belge ile teker teker karşılaştırarak her bir belge – sorgu çifti için bir benzerlik değeri üretir.
• Sıralama:
• Erişim fonksiyonu tarafından verilen her bir belge – sorgu skoru, büyükten küçüğe doğru sıralanır ve böylece kullanıcıya, sorgu ile ilgili olan belgelerin yer aldığı erişim çıktısı listesi sunulur.

​

[ D, Q, F, R(q₁, d_j) ]

Erişim fonksiyonu ~ modeller

• Bilgi erişim sistemlerinde kullanılan erişim kuralları (fonksiyonları/modelleri) kabaca üç başlık altında sınıflanabilir:
• Boole (kesin çakışma - exact match) (Boolean)
• Vektör uzayı (Vector space model)
• Olasılık kuramına dayalı modeller (Probabilistic models)
• Bunların dışında modern bilgi erişimde kullanılan daha karmaşık modeller de var:
• Dil modeli, Gizli anlam dizinleme (Latent semantic indexing), Sinir ağları (Neural networks) vb.

Boole Modeli

Kaynak: Tonta, 1995

Olasılık kuramı

Kaynak: Tonta, 1995

Vektör uzayı modeli

Kaynak: Tonta, 1995

Boole modeli (küme teorisi)

Boole işleçleri ve De Morgan’s kuralı

• Özellikler

De Morgan’s Kuralı

​

¬ (a V b) => (¬ a) Ʌ (¬ b)

¬ (a Ʌ b) => (¬ a) V (¬ b)

Associativity: birleşim

Commutativity: değişim

Absorbtion: yutan eleman

Distribution: dağılım

Complements: tümleme

Boole modeli

• Boole mantığında bir derleme yöneltilen sorgu içinde kullanılan terim, derlem içindeki belgelerde ya vardır ya yoktur (yani sistem “ilgililiğe” karar verirken ikili [binary] ağırlıklandırma kullanılıyor) =>
• Buna göre, sorgu çalıştırıldığında aranan terim ve belge arasında çakışma varsa (yani ilgili sorgu terimi belgenin dizin terimleri arasında en az bir kez geçtiyse) belge “ilgili”, yoksa “ilgisiz” olarak değerlendirilecektir.
• Bu modelde bir terimin bir belgede bir kez geçmesi ile bin kez geçmesi arasında bir farklılık yoktur.
• Bu ne demek?

W_ij = T_j teriminin D_i belgesi için ağırlığı

Boole modeli

• Örneğin yaklaşık 5000’er kelimeden oluşan iki farklı belge olduğunu düşünelim. X terimi birinci belgenin içinde 1 kez, ikinci belgenin içinde 100 kez geçsin.
• Normal şartlar altında bu iki belgenin X terimi ile ilgililiğini değerlendirecek olsak ikinci belge terimle daha fazla ilgilidir deriz.
• Ancak Boole modeline göre bu iki belge arasında fark yoktur. Çünkü ilgililik derecelendirmesi yapmaz.

Derlemde görünen kutuların uzunluklarının daha uzun ya da daha kısa belgeleri (Doc1, … Doc10) temsil ettiğini düşünün. Kutularda yazan harfleri ise dizin terimlerinin belgelerdeki geçiş yoğunluğu olarak farz edin. Örnek derlemde yer alan dokümanlardaki dizin terimleri; A, B, C, D, E olsun.

Buna göre, hangisi A terimi ile en ilgili belge olarak değerlendirilebilir?

Boole modeli ~ avantaj-dezavantaj

• Boole modelinin temel avantajı tasarımındaki basitlik.
• En önemli dezavantajı ise tam çakışma (exact match) erişim kuralının çok az ya da çok fazla sonuç getirebilecek olması.
• Benzerlik derecelendirmesi yok: Sorgu ile belgenin ne kadar ilgili olduğunu gösteren bir skor değeri üretilmiyor bunun yerine ilgili / ilgisiz (1/0) yargısı var.
• Eşleştirmelerde terim ağırlıklandırma yok: Bir belge içerisinde 1 kez geçen terimle 100 kez geçen terim aynı ağırlıkta, bu durum belge içeriğini temsil eden değerli terimleri seçmemizi engelliyor.
• Sorgu oluşturmak zor: Kullanıcıların bilgi ihtiyaçlarını ifade edebilmek için karmaşık sorgular kurabilmesi gerekiyor.
• Sisteme bir sorgu yöneltildiğinde sistemin hata toleransı yok: Bilgi ihtiyacı tam ifade edilmek zorunda, yaklaşık sonuç alma olasılığı yok.

alternatif ?...

• Bir terimin bir belgedeki geçiş sıklığı belgenin hem belirli bir konu ile olan ilgililiğini hem de derlemdeki diğer belgelerle olan yakınlığını belirler.
• Bugün biliniyor ki; terim ağırlıklandırması erişim performansını fark edilir derecede artırıyor.
• Bu ağırlıklandırma yöntemi Boole mantığında yer almadığı için «vektör uzayı» erişim modeli ortaya çıktı.

​

Vektör uzayı modeli (Vector space model)

• Bir derlemdeki belgelerin ortak bir vektör uzayında vektörel olarak ifade edilmesi «vektör uzayı modeli» olarak tanımlanır.
• Terimler hem sorguları hem de belgeleri göstermede kullanıldığı için vektör uzayı modelinde pratik olarak sorguların ve belgelerin “terim uzayı”nda birer nokta olarak temsil edildiği varsayılmaktadır.
• Bu yaklaşımda her iki noktadan geçen ayrık iki vektör (belge vektörü ve sorgu vektörü) düşünülür.
• Bu iki vektörün vektörel çarpımı (iki vektörün arasındaki açının kosinüsüne eşit olduğundan “kosinüs katsayısı” da denir) ya da skaler çarpımı (iç çarpım katsayısı da denir), sorgu-belge noktaları arasındaki benzerliğin derecesini bulmaya yardımcı olur (ilgili örnekler için tıklayın).
• Vektör uzayı modelinin temel özelliği, sorgu sözcükleri ile belgelerin içerdiği dizin terimleri arasında kısmi çakışmaya (partial matching) olanak tanıması.
• Bu kısmi çakışma hem sorgu sözcüklerinin hem de belgelerdeki dizin terimlerinin ağırlıklandırılması ile gerçekleştirilebiliyor.

​

​

Vektör uzayı modeli ~ aşamaları

• Belge dizinleme
• Terim ağırlıklandırma (term weighting)
• Sıralama (ranking)

Terim ağırlıklandırma:

• Terim ağırlıkları, kullanıcı sorgusu ile sistemde tutulan belgelerde yer alan dizin terimlerinin benzerliklerinin hesaplanması için kullanılıyor.
• Terim sıklığı (term frequency), belgeler açısından bir çeşit içerik tanımlayıcı olarak kabul ediliyor ve genellikle ağırlıklandırılmış belge vektörünün temeli olarak kullanılıyor.
• Terim ağırlıklandırma için üç temel faktör kullanılıyor ve bu üç temel faktörün çarpımı terim ağırlığını veriyor:
• Terim sıklığı (term frequency)
• Derme sıklığı (collection frequency)
• Uzunluk normalizasyonu (length normalization)
• Terim ağırlıklandırma için en sık kullanılan tf*idf hesaplaması sistem performansını artırıyor. Yani tf*idf hesaplaması ile ağırlıklandırma yapılan sistemlerde yüksek performans (örn. anma-recall ve duyarlık-precision) değerleri) elde edilebiliyor (anma ve duyarlık konusu ile ilgili detaylar için bkz. «10. etkinlik değerlendirmesi» başlıklı ders notları).

Sıralama:

• Sıralama genellikle belge ve sorgu vektörleri arasındaki benzerlik ölçümü (similarity measure) sonucuna göre yapılır. Buna göre belgeyi temsil eden dizin terimleri ve sorgu sözcükleri ne kadar çakışırsa benzerlik o kadar yüksek demektir.
• En yaygın kullanılan benzerlik ölçümü, doküman vektörü ve sorgu vektörü arasındaki açıyı ölçen kosinüs katsayısıdır (cosine coefficient).
• Sorgu sonucunda erişilen belgelerin benzerlik derecelerine göre azalan sıralama ile dizilmesi sonucu, vektör uzayı modeli, sorgu terimleri ile kısmi olarak çakışan (partial match) belgeleri de dikkate almış olur.
• Yapılan incelemeler, bu şekilde (terim ağırlıklarına göre en ilgiliden daha ilgisize göre) sıralanmış bir sonuç listesinin, kullanıcıların bilgi ihtiyaçlarını daha net bir şekilde karşılaması açısından Boole modeli ile elde edilen sonuç listesinden daha iyi olduğunu gösteriyor.

Benzerlik ölçüsü (ya da skoru)

☞Vektörler arasında hesaplanan cos Ø değeri açıyı değil açısının cos değerini gösteriyor.

​

☞ Ø açsı büyüdükçe açının cos değeri küçülüyor. O zaman cos Ø değeri ne kadar büyükse vektörler birbirine o kadar yakındır diyebiliriz.

​

☞ Vektörler arasındaki cos Ø değeri iki vektörün birbirine ne kadar yakın olduğunu gösterir.

​

☞ İki vektör arasındaki açının kosinüsünün 1,0 çıkması iki vektörün aynı ya da üst üste olduğunu gösterir. Yani aralarındaki Ø açısı 0 (sıfır).

​

☞ Vektörler arasındaki bu açı Bilgi Erişim alanında benzerlik ölçüsü (similarity measure) olarak adlandırılır.

​

​

​

​

​

​

​

​

Vektör oluşturma

• Temel Vektör: t1, t2, t3…tn
• n adet kelimeden oluşur,
• Derlemdeki tüm kelimeleri kapsamalıdır.

​

• Belge/Sorgu Vektörleri: f1, f2, f3…fn
• dizinde bulunan n adet tekil kelimenin, belge/sorgu içerisindeki sıklık değeri (frekansı) vektör katsayısı olarak kullanılır (“terim ağırlıklı gösterim”)

Boole vs. Vektör uzayı

• Boole modelindeki en büyük problem belge-sorgu eşleşmeleri için bir sıralama/derece (rank) belirlenememesiydi.
• Vektör yaklaşımı ile bu sorun bir nebze giderilebiliyor.
• Erişilen belgelerin benzerlik derecelerine göre azalan sıralama ile dizilmesi sonucu vektör uzayı modeli, sorgu terimleri ile kısmi olarak çakışan (partial match) belgeleri de dikkate almış olur.
• Şimdi sorun, belge içerisindeki her terimin aynı önemle değerlendiriliyor olması. Oysa, bir terim bir belge içerisinde ne kadar çok geçiyorsa ? ? ? ? .
• Diğer taraftan, bir belgede sıklığı yüksek olan bir terim aynı zamanda derlemdeki diğer belgeler içinde de sık geçiyorsa

? ? ? ? ? ?

​

​

​

• O halde, bir belge içinde çok geçen ancak derlemde çok sayıda belgede bulunmayan terimler bizim için daha anlamlı. Bu nedenle erişim fonksiyonunda bu tür terimler daha değerli olmalı, ama nasıl?

​

​

o terim o belge için o kadar değerlidir.

ilgili terimin ayırt edici özelliği veya belge içindeki diğer terimlere göre göreceli değeri “düşük” olacaktır. (Söz konusu terim, dizin terimi olarak tercih edilmeyecektir, hatta bazı durumlarda“stop words” listesine bile eklenmesi düşünülebilir.)

tf*idf ağırlıklandırma

Vektör uzayı modelinde, derleme ait ters dizin kütüğünde terimler için ikili (0/1) ağırlıklandırma yerine tf*idf ağırlıklandırma yöntemi kullanılır.

​

tf (term frequency): Terim sıklığı anlamına gelir ve bir terimin bir belge içerisindeki geçme sayısını ya da sıklığını (frequency) ifade eder. tf değerini hesaplamak için 2 yöntem var:

• Birincisinde; terimin ilgili belge içerisinde geçme sayısı (sıklığı) doğrudan kullanılır,
• İkincisinde; terimin ilgili belge içerisinde geçme sayısı (sıklığı), ilgili belgedeki toplam kelime sayısına bölünür ve sayı normalleştirilir.

​

​

​

​

idf (inverse document frequency): Devrik belge sıklığı anlamına gelir ve bir terimin derlemdeki diğer belgelerde geçme sıklığını ifade eder.

• idf toplam belge sayısının belirli bir terimi içeren belge sayısına bölündükten sonra ölçeği küçültmek için logaritmasının alınması ile bulunur.
• idf hesaplanırken aşağıdaki formül kullanılır:
• N= Derlemde bulunan toplam belge sayısı
• df(j)= j teriminin geçtiği belge sayısı

tf*idf ağırlıklandırma: ters dizin kütükleri (inverted index)

• Ne gerek var?
• Çok büyük belge derlemlerini düz bir belge-terim matrisi ile dizinlemek çok zor.
• Milyonlarca belge-milyarlarca terimin olduğu bir derlemi düşünün!
• Bir derlemi sorgularken en önemli noktalardan biri hızlı sonuç almak.
• Sorgu terimleri ile dizin terimlerinin çakıştırılma işleminin mümkün olduğunca hızlı gerçekleşmesi gerek.
• “Ters dizin kütükleri” bu büyük derlemlerin dizinlenmesinde kolaylık ve bu derlemleri sorgulamada hız sağlıyor.

Ters dizin kütüklerinin oluşturulmasında ilk aşama: «Sözlük» oluşturulması

1. Belgeler içerisinde geçen kelimeler ayrıştırılır (parsing) ve her bir kelime ilgili belgenin numarası ile işaretlenir.

​

DOC #1

Now is the time for all good men to come to the aid of their country

DOC #2

It was a dark and stormy night in the country manor. The time was past midnight

Ters dizin kütüğü oluşturmak için sözcüklerin dizin terimlerine ne şekilde çevrildiği ve belgelerdeki geçiş sıklıklarının nasıl tablolaştırılarak «sözlük» oluşturulduğunu şu dosyanın sekmelerinden de sırasıyla, adım adım takip edebilirsiniz.

2. Tüm belgeler ayrıştırılıp çıkan kelimeler tabloya eklendikten sonra tablo kelimelere göre alfabetik olarak sıralanır.

​

3. Tek bir belgede geçen birden fazla kelime birleştirilir ve kelimenin belge içerisinde geçme sıklığı da tabloya eklenir.

​

4. Tablo, «sözlük (dictionary)» ve «kayıtlar (postings)» olmak üzere ikiye ayrılır.

• Dizin yapısı iki tablodan oluşur. Birinci tabloda derlemdeki tüm terimler ve bu terimlerin kaç belgede, toplam kaç defa kullanıldığı bilgisi saklanır.
• İkinci tabloda ise terimin hangi belgelerde kaç defa bulunduğu bilgisi ilk tablo ile ilişkili biçimde saklanır.

tf*idf ağırlıklandırma formülü: tf nasıl bulunur?

​

wij= tf_ij * log (N/df_j)

​

​

wij= t_j teriminin d_i belgesi için ağırlığı

N= derlemdeki toplam belge sayısı

df_j= t_j teriminin belge sıklığı

tf_ij= t_j teriminin d_i belgesinde geçme sıklığı (terim sıklığı)

* Belgeler: d1, d2, d3, d4

* Terimler: A, B, C, D

tf*idf ağırlıklandırma formülü: idf değeri bize ne söyler?

• Elimizde 10.000 belgelik bir derlem olduğunu düşünelim. Aşağıdaki örneklerde pay, derlemdeki toplam belge sayısını; payda ise derlemde belirli bir terimi içeren belge sayısını göstermektedir:

• Derlemde, bir terimi içeren belge sayısı arttıkça idf değeri azalıyor.
• İlgili terim kullanılarak yapılacak bir sorguda idf değeri yüksek çıkan belgelerin gelmesi daha etkili sonuç listesi elde edileceği anlamına geliyor.
• Yani idf değeri ne kadar yüksekse o terim derlem açısından o kadar değerlidir şeklinde yorumlanabilir.
• Ancak dizin terimlerinin ağırlığını hesaplamak için tek başına idf değeri yeterli değildir.

Belgelerin

idf

değerleri

tf*idf ağırlıklandırma formülü: Deneyin

• tf*idf formülünün ne şekilde uygulandığı ve belgelere göre terim ağırlıklarının ne şekilde belirlendiğini görmek için şu örneği inceleyin.
• Gelecek slaytlarda da benzer bir örnek var. Son slaytta yer alan «ters dizin kütüğü»nün doldurulmamış hücrelerini, yukarıda linkini paylaştığım örnekteki gibi her belge için gerekli hesaplamaları yaparak siz doldurun. Ortaya çıkan tabloyu aşağıdakilere göre yorumlayın:
• Hangi sözcükler dizin terimi olarak daha değersiz?
• Hangi belgeleri hangi dizin terimleri daha iyi temsil ediyor?
• Belirli bir terimle yapılan arama sonucunda ne tür bir sonuç sıralaması gelmesi gerekir?

tf*idf ağırlıklandırma örneği: �örnek derlem

• Derlemdeki belgelerimiz:
• D1 : bilgi erişim ve bilgi dizinleme
• D2 : sanal dünya ve bilgi
• D3 : kütüphane ve veri saklama
• D4 : dünyada ekonomik durum
• D5 : günlük ekonomik veriler
• D6 : haftalık veya günlük mali veriler

olsun

tf*idf ağırlıklandırma örneği: �belge – terim matrisinin (sözlük) oluşturulması

D1 : bilgi erişim ve bilgi dizinleme

D2 : sanal dünya ve bilgi

D3 : kütüphane ve veri saklama

D4 : dünyada ekonomik durum

D5 : günlük ekonomik veriler

D6 : haftalık mali ve günlük mali

veriler

Derlemin özellikleri:

• 6 farklı belge var
• Belgelerde toplam 25 kelime var
• Belgelerden elde edilmiş toplam 16 tekil dizin terimi var
• Durma kelimeleri çıkarılmadı
• Gövdeleme yapılmadı

tf*idf ağırlıklandırma örneği: �formülün hesaplanması

“bilgi” teriminin D₁ belgesi için tf*idf ağırlıklandırması nedir?

• tf(“bilgi”) = 2
• idf(“bilgi”)=log(6/2) = 0,477
• tf(“bilgi”)*idf(“bilgi”) = 0,954

​

​

Derlemdeki belgelerimiz:

D₁ : bilgi erişim ve bilgi dizinleme

D₂ : sanal dünya ve bilgi

D₃ : kütüphane ve veri saklama

D₄ : dünyada ekonomik durum

D₅ : günlük ekonomik veriler

D₆ : haftalık mali ve günlük mali veriler

“ve” teriminin D₆ belgesi için tf*idf ağırlıklandırması nedir?

• tf(“ve”) = 1
• idf(“ve”)=log(6/4) = 0,176
• tf(“ve”)*idf(“ve”) = 0,176

​

​

“mali” teriminin D₆ belgesi için tf*idf ağırlıklandırması nedir?

• tf(“mali”) = 2
• idf(“mali”)=log(6/1) = 0,778
• tf(“mali”)*idf(“mali”) = 1,556

​

​

Örnekler içinde en değerli terim hangisi? Neden?

idf= log (N/df_bilgi)

Toplam kaç belge var?

Ilgili terim kaç belgede geçiyor?

En değerli terim “Mali”

• Çünkü idf değeri en yüksek olan terim “mali”.
• idf değeri ne kadar büyükse ilgili terim derlem için o kadar önemlidir.

tf*idf ağırlıklandırma örneği:�ters dizin kütüğü (inverted index) oluşturulması

Derlemdeki terimlere göre ters dizin kütüğündeki terim ağırlıklarını D₁ için güncelleyelim:

tf(“bilgi”) * idf(“bilgi”)= 2 * 0,477 =

0,954

​

tf(“erişim”) * idf(“erişim”)= 1 * 0,778 =

0,778

​

tf(“dizinleme”) * idf(“dizinleme”)= 1 * 0,778=

0,778

​

tf(“ve”) * idf(“ve”)= 1 * 0,176 =

0,176

​

Derlemdeki belgelerimiz:

D₁ : bilgi erişim ve bilgi dizinleme

D₂ : sanal dünya ve bilgi

D₃ : kütüphane ve veri saklama

D₄ : dünyada ekonomik durum

D₅ : günlük ekonomik veriler

D₆ : haftalık mali ve günlük mali veriler

Okuma listesi

Tonta, Y. (1995). Bilgi erişim sistemleri. (http://yunus.hacettepe.edu.tr/~soydal/bby156_2013/3/BilgiErisimSistemleri_tonta1995.pdf)

Buckland, M. (1991). Information as thing. (http://people.ischool.berkeley.edu/~buckland/thing.html)

Tonta, Y., Bitirim, Y. ve Sever, H. (2002). Türkçe Arama Motorlarında Performans Değerlendirme, s.17-29. (Tam metin)

Tunç, S.K. (2012). Bilgi erişim sistemleri. (http://yunus.hacettepe.edu.tr/~soydal/bby156_2013/6/sevgikoyuncutunc)

​

Diğer yardımcı kaynaklar:

Baeza-Yates, R. and Ribeiro-Neto, B. (1999). Modern Information Retrieval. (Tam metin)

Manning, C.D., Raghavan, P. and Schütze, H. (2009). Introduction to Information Retrieval. (Tam metin)

​

Bu derste kullanılan slaytların çoğunluğu

Information organization and retrieval (R. Larson & W. Sack, 2001)

Bilgi erişim ilkeleri (Y. Tonta, 2002)

Bilgi erişim (G. Köse, 2012)

derslerine ait slaytlardan derlenmiştir.