BBY 156 Bilgi Erişim�2025-2026�http://bby156.blogspot.com ��Belge işleme

(document processing)

Bilgi erişim sistemleri ~işlevsel mimari

Belge işleme

(document processing)

Bilgi erişim sistemleri ~işlevsel mimari

Larson, 2001

Bazı kavramlar

• Doğal dil işleme (natural language processing)
• Belge işleme (document processing)
• Belge ön işleme (document pre-processing)

​

Belge işleme adımları (document processing steps)

Kaynak: Hearst, M & Larson, R. (2001), Lecture-4_202

​

Belge işleme: Belgelerden dizin terimi yaratma süreci ..

• Tipik bir bilgi erişim sisteminde belgeler “terim”ler (dizin terimleri) ile gösterilir.
• Bu terimler her zaman sadece dizinleme yapan uzmanın seçtiği dizin terimleri/kontrollü anahtar sözcüklerden oluşmaz. Doğal dille dizinleme yapan bilgi erişim sistemleri de vardır.
• Özellikle derlemdeki belgelerin tam metinlerinin dizinlenmesi, otomatik olarak gerçekleştirilmesi gereken bir süreçtir.

​

Kontollü dizinleme: ?

Genelde insan eliyle yapılır, tezaruslar kullanılır (bkz. “5. Dizinleme”: TR dizin örneğindeki gibi)

Doğal dille dizinleme: ?

Bilgi erişim sistemlerine entegre yazılımlar tarafından otomatik olarak gerçekleştirilir. Genellikle akademik veri tabanları, Google için yapılan dizinleme işlemi buna örnektir. Derlem içinde tam metin arama yapma olanağı sunar.

​

​

Kaynak: Tonta, Bitirim & Sever (2002), s.16

.. Belge işleme: Belgelerden dizin terimi yaratma süreci ..

• Özellikle tam metin otomatik dizinleme yapılan bir sistemde yer alan derlemdeki belgelerden “terim” elde etmek için sistem tarafından genelde şu aşamalar gerçekleştirilir:
1. Harf olmayan karakterler boşluklarla yer değiştirilir
2. Tek harfli sözcükler silinir
3. Bütün karakterler küçük harfli yapılır
4. “Dur listesi”nde (stop words) geçen sözcükler silinir
5. Sözcükler gövdelenir (stemming)
6. Tek karakterli gövdeler atılır

.. Belge işleme: Belgelerden dizin terimi yaratma süreci ..

• Son adımdan sonra, elde edilen listedeki yüksek sıklıklı sözcükler terim sözlüğünden çıkarılır ve böylece derleme duyarlı ikinci bir “dur listesi” oluşturulur.
• Bu adım her derlem için uygun olmayabilir.
• Derlemde geçen tamlamaların / sözcük öbeklerinin (phrase) dizin terimlerine eklenebilmesi için sistemde sık olarak beraber geçen kelimeler belirlenir.
• Tamlama oluşturma / belirleme işleminde kelime çiftleri teker teker ayıklanarak sıklıkları bulunur ve en sık kullanılan N tane tamlama (ya da oluşan tamlamaların tamamı) dizin terimleri (terim sözlüğü) arasına eklenir.
• Tamlamalar, yüksek ve orta sıklıklı sözcükler ayrı ayrı olarak terim sözlüğüne otomatik olarak eklenir.
• Tüm bu işlemler sırasında eş anlamlı sözcükler de terim listesi içinde tanımlanır.
• Bu süreç, belge işleme (document processing) ya da ön işleme (pre-processing) olarak tanımlanır.

​

Kaynak: Tonta, Bitirim & Sever (2002), s.16

Belgelerin, özellikle otomatik şekilde tam metin dizinlenmesi sırasında uygulanan ve önceki slaytlarda anılan “belge işleme” sürecini daha iyi anlayabilmek için “etiket bulutu” örneğini düşünün:

Cümle yapısı

• I have a YouTube channel.

​

​

​

​

• Benim bir YouTube kanalım var.

​

• i
• have
• a
• youtube
• channel

• ben - im
• bir
• youtube
• kanal - ım
• var

Belgelerden «dur listesi» (stop words) çıkarma

Kaynak: Hearst, M & Larson, R. (2001)

Belgeler için gövdeleme (stemming) ve morfolojik analiz

• Hedef: benzer sözcükleri “normalize” etmek
• Morphology (sözcüklerin “biçim”i)
• Çekim ekleri (inflectional morphology)
• Çekim ekleri atılırken sözcüklerin dilbilgisel (grammatical) sınıfı asla bozulmaz
• dog dogs
• ben benim, bende, benden, …
• Yapım ekleri (derivational morphology)
• Bir sözcükten başka bir sözcük türetme
• Genelde sözcüklerin dilbilgisel sınıfı değişir
• build building;
• health healthy;
• kütüphane kütüphaneci, kütüphanecilik
• Özellikle İngilizce için morfolojik analiz ve gövdelemeyi otomatik olarak gerçekleştiren başarılı sayılabilecek hazır algoritmalar var (örn. Lovins Stemmer, N-Gram Stemmer, Lancaster Stemmer, … => bkz. A Comparative Study of Stemming Algorithms
• Türkçe gibi sondan eklemeli dillerde gövdeleme önemli ve otomatik gövdeleme yazılımlarının geliştirilmesine ihtiyaç var.
• Dil yapılarındaki farklılıklar nedeniyle her dil için farklı bir algoritma geliştirilmesi gerekiyor. Örneğin “Zemberek” adlı yazılım Türkçe için kullanılan otomatik gövdeleme araçlarından biri.

Kaynak: Hearst, M & Larson, R. (2001), Lecture-4_202

​

İngilizce için otomatik gövdeleme hatalarına örnek

Kaynak: Hearst, M & Larson, R. (2001), Lecture-4_202

​

good / best => ?

​

«Lemmatisation»

(Kök çözümleme)

Türkçe için otomatik gövdeleme hatalarına örnek

• Metnin orijinal hali:
• Üründen çok memnun olmadım.
• Durma sözcükleri atıldıktan ve “Zemberek” ile gövdeleme yapıldıktan sonra elde edilen dizin terimleri:
• ürün memnun ol

Kaynak: Eren, Utku, Çavuşlar (2013), s.20-21

​

“Türkçe’nin dil yapısında olan olumsuzluk ekleri dolayısıyla stemming uygulamalarında hatalarla karşılaşılmıştır. Kök bulma algoritmaları –me , –ma olumsuzluk eklerini kök dışına attığında cümlenin olumluluk durumunu kıyaslamakta zorlanıyoruz. Gövdeleme sonucunda cümle yüklemi kök halinde bırakılır. Normalde olumsuz olan cümlemiz bu haliyle olumlu görünmektedir. Olumsuzluğu sağlayan “-ma” eki atılmıştır. Bu nedenle Türkçede bu aşamada karmaşıklık yaşanabilir. İngilizce’de olumsuzluk “not” eki ile sağlandığı için böyle bir durumla karşılaşılmamaktadır.”

Yaşanan bu sorun, örneğin, “bir ürün hakkında yapılan olumsuz yorumların analizi” gibi bir işlemde hatalı veriler elde edilmesine neden olacaktır.

Sizce?

Belge işleme süreci sonunda elde edilen terimler

• Bütün bu aşamalardan geçip otomatik olarak oluşturulmuş sözcüklere “terim” (dizin terimi) denir.
• Terimler, hem belgeleri göstermede (belge/dizin terimleri) hem de sorguları ifade etmede (sorgu terimleri) kullanılır.

​

Kümeleme yöntemi

• «Erişim kuralı»nın uygulanmasından önce, tüm ilgili belgelere ulaşmak için sorgu terimlerinin sadece benzer kümelerle karşılaştırılması işlemidir.
• Bilgi erişim deneyleri göstermiştir ki erişimden önce belgelerin kümelenmesi/sınıflandırması daha isabetli/ilgili sonuçlara erişilebilmesi için daha etkili bir yöntemdir.
• Eğer birbirine konu yönünden benzer belgeler kümelenebilirse, dermedeki tüm ilgili belgelere erişebilmek için sistemin, sorgu terimleriyle sadece benzer kümelerin dizin terimlerini karşılaştırması yeterli olacaktır.
• Dolayısıyla, sorgu terimleri ile dermedeki her bir belgenin dizin terimlerini karşılaştırmak gerekmeyecektir.
• Daha fazla bilgi için şu notu inceleyebilirsiniz.
• Kümeleme=> Daha az işlem daha hızlı sonuç
• Küme sayısı=> Kümeleme formülü
• Bir dermede bulunan küme sayısı, kullanılan kümeleme formülüne bağlıdır.
• Belge kümeleme, kümelenecek belgeler arasındaki benzerliğin ölçülmesine dayanır.
• Kümeleme nesneleri:
• Konu başlıkları,
• Kitap adları,
• Tam metin
• … vb.

​

Bilgi erişim sistemleri ~işlevsel mimari

Okuma listesi

• Çapkın, Ç. (2016). Üstverinin tam-metin bilgi erişim performansı üzerindeki etkisi: Küçük ölçekli Türkçe külliyat üzerinde deneysel bir araştırma. (Tam metin)
• Rumsey, S. (2008). How to Find Information: A guide for researchers (Chpt.6, p.49-79).
• Tonta, Y. (1995). Bilgi erişim sistemleri. (Tam metin)
• Tonta, Y., Bitirim, Y. ve Sever, H. (2002). Türkçe Arama Motorlarında Performans Değerlendirme, s.17-35. (Tam metin)
• Manning, C.D., Raghavan, P. and Schütze, H. (2009). Introduction to Information Retrieval, s.1-18. (Tam metin)
• Baeza-Yates, R. and Ribeiro-Neto, B. (1999). Modern Information Retrieval, s.3-10 & 19-34. (Tam metin)

​

​

Ödev (çözüm):

Kelime Bulutu