BBY 156 Bilgi Erişim�2023-2024�http://bby156.blogspot.com ��👉 Belge işleme � 👉 Kullanıcı deneyimi

Bilgi erişim sisteminin mantıksal düzenlemesi

Belge işleme

(document processing)

Bazı kavramlar

• Doğal dil işleme (natural language processing)
• Belge işleme (document processing)
• Belge ön işleme (document pre-processing)

​

Belge işleme adımları (document processing steps)

Kaynak: Hearst, M & Larson, R. (2001), Lecture-4_202

​

Belge işleme: Belgelerden dizin terimi yaratma süreci ..

• Tipik bir bilgi erişim sisteminde belgeler “terim”ler (dizin terimleri) ile gösterilir.
• Bu terimler her zaman sadece dizinleme yapan uzmanın seçtiği dizin terimleri/kontrollü anahtar sözcüklerden oluşmaz. Doğal dille dizinleme yapan bilgi erişim sistemleri de vardır.
• Özellikle derlemdeki belgelerin tam metinlerinin dizinlenmesi, otomatik olarak gerçekleştirilmesi gereken bir süreçtir.

​

Kontollü dizinleme: ?

Genelde insan eliyle yapılır, tezaruslar kullanılır (bkz. TR dizin)

Doğal dille dizinleme: ?

Bilgi erişim sistemlerine entegre yazılımlar tarafından otomatik olarak gerçekleştirilir. Genellikle akademik veri tabanları, Google için yapılan dizinleme işlemi buna örnektir. Derlem içinde tam metin arama yapma olanağı sunar.

​

​

Kaynak: Tonta, Bitirim & Sever (2002), s.16

.. Belge işleme: Belgelerden dizin terimi yaratma süreci ..

• Özellikle tam metin otomatik dizinleme yapılan bir sistemde yer alan derlemdeki belgelerden “terim” elde etmek için sistem tarafından genelde şu aşamalar gerçekleştirilir:
1. Harf olmayan karakterler boşluklarla yer değiştirilir
2. Tek harfli sözcükler silinir
3. Bütün karakterler küçük harfli yapılır
4. “Durma listesi”nde (stop words/list) geçen sözcükler silinir
5. Sözcükler gövdelenir (stemming)
6. Tek karakterli gövdeler atılır

​

.. Belge işleme: Belgelerden dizin terimi yaratma süreci ..

• Son adımdan sonra, elde edilen listedeki yüksek sıklıklı sözcükler terim sözlüğünden çıkarılır ve böylece derleme duyarlı ikinci bir durma listesi oluşturulur.
• Bu, isteğe bağlı gerçekleştirilen bir adımdır.
• Derlemde geçen tamlamaların (phrase / sözcük öbekleri) dizin terimlerine eklenebilmesi için sistemde sık olarak beraber geçen kelimeler belirlenir.
• Bu da isteğe bağlı bir adımdır.
• Tamlama oluşturma/belirleme işleminde kelime çiftleri teker teker ayıklanarak sıklıkları bulunur ve en sık kullanılan N tane tamlama (ya da oluşan tamlamaların tamamı) dizin terimleri (terim sözlüğü) arasına eklenir.
• Tamlamalar, yüksek ve orta sıklıklı sözcükler ayrı ayrı olarak terim sözlüğüne otomatik olarak eklenir.
• Tüm bu işlemler sırasında eşanlamlı sözcükler de terim listesi içinde tanımlanır.
• Bu süreç, belge işleme (document processing) ya da ön işleme (pre-processing) olarak tanımlanır.

​

Kaynak: Tonta, Bitirim & Sever (2002), s.16

Belgelerin, özellikle otomatik şekilde tam metin dizinlenmesi sırasında uygulanan ve önceki slaytlarda anılan “belge işleme” sürecini daha iyi anlayabilmek için “etiket bulutu” örneğini düşünün:

Cümle yapısı

• I have a YouTube channel.

​

​

​

​

​

• Benim bir YouTube kanalım var.

​

• i
• have
• a
• youtube
• channel

• ben - im
• bir
• youtube
• kanal - ım
• var

Belgelerden «dur listesi» (stop words) çıkarma

Kaynak: Hearst, M & Larson, R. (2001)

Belgeler için gövdeleme (stemming) ve morfolojik analiz

• Hedef: benzer sözcükleri “normalize” etmek
• Morphology (sözcüklerin “biçim”i)
• Çekim ekleri (inflectional morphology)
• Çekim ekleri atılırken sözcüklerin dilbilgisel (grammatical) sınıfı asla bozulmaz
• dog dogs
• ben benim, bende, benden, ...
• Yapım ekleri (derivational morphology)
• Bir sözcükten başka bir sözcük türetme
• Genelde sözcüklerin dilbilgisel sınıfı değişir
• build building; health healthy; kütüphane kütüphaneci, kütüphanecilik
• Özellikle İngilizce için morfolojik analiz ve gövdelemeyi otomatik olarak gerçekleştiren başarılı sayılabilecek hazır algoritmalar var (örn. Lovins Stemmer, N-Gram Stemmer, Lancaster Stemmer, … => bkz. A Comparative Study of Stemming Algorithms).
• Türkçe gibi sondan eklemeli dillerde gövdeleme önemli ve otomatik gövdeleme yazılımlarının geliştirilmesine ihtiyaç var.
• Dil yapılarındaki farklılıklar nedeniyle her dil için farklı bir algoritma geliştirilmesi gerekiyor. Örneğin “Zemberek” adlı yazılım Türkçe için kullanılan otomatik gövdeleme araçlarından biri.

​

Kaynak: Hearst, M & Larson, R. (2001), Lecture-4_202

​

İngilizce için otomatik gövdeleme hatalarına örnek

Kaynak: Hearst, M & Larson, R. (2001), Lecture-4_202

​

good / best => ?

​

«Lemmatisation»

(Kök çözümleme)

Türkçe için otomatik gövdeleme hatalarına örnek

• Metnin orijinal hali:
• Üründen çok memnun olmadım.
• Durma sözcükleri atıldıktan ve “Zemberek” ile gövdeleme yapıldıktan sonra elde edilen dizin terimleri:
• ürün memnun ol

Kaynak: Eren, Utku, Çavuşlar (2013), s.20-21

​

“Türkçe’nin dil yapısında olan olumsuzluk ekleri dolayısıyla stemming uygulamalarında hatalarla karşılaşılmıştır. Kök bulma algoritmaları –me , –ma olumsuzluk eklerini kök dışına attığında cümlenin olumluluk durumunu kıyaslamakta zorlanıyoruz. Gövdeleme sonucunda cümle yüklemi kök halinde bırakılır. Normalde olumsuz olan cümlemiz bu haliyle olumlu görünmektedir. Olumsuzluğu sağlayan “-ma” eki atılmıştır. Bu nedenle Türkçede bu aşamada karmaşıklık yaşanabilir. İngilizce’de olumsuzluk “not” eki ile sağlandığı için böyle bir durumla karşılaşılmamaktadır.”

Yaşanan bu sorun, örneğin, “bir ürün hakkında yapılan olumsuz yorumların analizi” gibi bir işlemde hatalı veriler elde edilmesine neden olacaktır.

Sizce?

Belge işleme süreci sonunda elde edilen terimler

• Bütün bu aşamalardan geçip otomatik olarak oluşturulmuş sözcüklere “terim” (dizin terimi) denir.
• Terimler, hem belgeleri göstermede (belge/dizin terimleri) hem de sorguları ifade etmede (sorgu terimleri) kullanılır.

​

Kümeleme yöntemi

• «Erişim kuralı»nın uygulanmasından önce, tüm ilgili belgelere ulaşmak için sorgu terimlerinin sadece benzer kümelerle karşılaştırılması işlemidir.
• Bilgi erişim deneyleri göstermiştir ki erişimden önce belgelerin kümelenmesi/sınıflandırması daha isabetli/ilgili sonuçlara erişilebilmesi için daha etkili bir yöntemdir.
• Eğer birbirine konu yönünden benzer belgeler kümelenebilirse, dermedeki tüm ilgili belgelere erişebilmek için sistemin, sorgu terimleriyle sadece benzer kümelerin dizin terimlerini karşılaştırması yeterli olacaktır.
• Dolayısıyla, sorgu terimleri ile dermedeki her bir belgenin dizin terimlerini karşılaştırmak gerekmeyecektir.
• Daha fazla bilgi için şu notu inceleyebilirsiniz.
• Kümeleme=> Daha az işlem daha hızlı sonuç
• Küme sayısı=> Kümeleme formülü
• Bir dermede bulunan küme sayısı, kullanılan kümeleme formülüne bağlıdır.
• Belge kümeleme, kümelenecek belgeler arasındaki benzerliğin ölçülmesine dayanır.
• Kümeleme nesneleri:
• Konu başlıkları,
• Kitap adları,
• Tam metin
• … vb.

​

Bilgi erişim sisteminin mantıksal düzenlemesi

Erişim kuralı

• Bir bilgi erişim sisteminde temel nokta:
• Kullanıcının girdiği sorgu terimlerinin, «ilgili» belgelerden oluşan bir erişim çıktısı oluşturabilmek için sistem tarafından yorumlanması.
• Bunun için sorgu cümlelerindeki terimlerle belgelerin dizin kayıtlarındaki terimler karşılaştırılır.
• Arama sonucunun kalitesi büyük ölçüde bu karşılaştırma işleminde kullanılan erişim kurallarına bağlıdır.
• Hangi kayıtlara erişilip/erişilmeyeceğini erişim kuralı belirler.

​

Temel erişim kuralları (modeller)

• Sorgu ifadesindeki terimlerle, dizin terimleri arasında kesin çakışma (exact match) gerektiren erişim kuralları ve Boole erişim kuralları
• Olasılık kuramına dayalı erişim kuralları
• Vektör uzayı modeli

​

NOT: Boole, vektör uzayı ve olasılık kuramı ile ilgili modellerden, «Bilgi erişim kuralları» başlığı altında, 25 Nisan ve 2 Mayıs haftalarında yapacağımız derslerde bahsedeceğiz. Bu hafta (bundan sonraki slaytlarda), «Boole» mantığından kısaca bahsetme nedenimiz, 4 Nisan haftasında üzerinde duracağımız «kullanıcı Boole mantığını nasıl kullanır» konusuna giriş yapabilmek.

Kesin çakışma/Boole modeli ..

• Sorgu terimleri ve dizin terimleri ikilidir:
• Sorgu terimleri belgenin dizin kaydında ya vardır ya yoktur.
• Erişim için her terim eşit derecede önem taşır.
• Sorgu ifadesindeki terimler, kavramsal dizinlerden (tezarus) alınan ilgili terimlerle genişletilebilir.

.. Kesin çakışma/Boole modeli

• Genellikle erişilen kayıtlar kabaca “erişildi” (1) / “erişilmedi” (0) mantığına göre sıralanabilir. Ya da erişilen kayıtlar sorgu cümlesinde ve dizin kaydında mevcut çakışan terim sayısına göre sıralanabilir.
• Boole modelinde erişim fonksiyonu ikili mantıkla çalıştığı için erişim çıktısındaki belgelerde mantıksal ilgililiği temel alan bir sıralama mantığı yoktur (Salton, 1989).
• Tek başına Boole mantığı üzerine inşa edilmiş sistemlerde, erişim çıktısının en başında yer alan belgeyle en sonunda yer alan belge aynı erişim değerine sahiptir.
• Boole sorgusundan tam olarak ne istenildiğini sistemin anlaması kolay olmayabilir.
• Beklenenden çok fazla ya da çok az sonuç gelebilir.
• Bu dezavantajlarına rağmen basit sorgular oluşturmaya olanak tanır ve bilgi erişim sisteminin mimarisi bu mantığa göre çok hızlı ve kolaylıkla inşa edilebilir.

​

Boole Modeli

4 Nisan 2024:

Boole modelinin özellikleri ve kullanılan işleçler (derse hazırlık için aşağıdakileri yapmayı deneyin)

“

H.Ü. Kütüphanelerinin abone olduğu

• EbscoHost
• Web of Science
• Scopus
• ScienceDirect

adlı veri tabanlarının arama özelliklerini inceleyin:

• Veri tabanlarının arama özelliklerinde ne gibi farklılıklar var?
• «Wildcard», «truncation», «joker», «nesting», «phrase» vb. arama özellikleri ne işe yarıyor?
• Bunlar için kullanılan operatörler veri tabanları arasında değişiklik gösteriyor mu? (Örn.” wildcard search” ya da “proximity operators” veri tabanları tarafından destekleniyor mu? Bunlar kullanılarak arama yapılabiliyor mu, yanıt evetse hangilerinde, nasıl?)

Kullanıcı bakış açısı ile bilgi erişim sistemlerinin kullanımı

• Bilgi erişim sistemlerinde arama stratejisi nasıl planlanır:
• Arama terimleri belirlenir.
• Arama sınırlandırılır (kaynak türü, yıl vb.).
• Kesme/joker (truncation/wildcards) kullanımı, tamlamalar vb. alternatifler belirlenir ve arama yapılacak bilgi erişim sisteminin özelliklerine göre ilgili karakterler kullanılır.
• Terimler uygun şekilde birbirine bağlanır (örn. Boole mantığı).
• Terimler bilgi erişim sisteminin sunduğu diğer bağlayıcılar (connectors) ile birbirine bağlanır.

Online arama yapma süreci

(Rumsey, 2008, p.53)

Geniş (broader) ve dar (narrower) terimlere karar verme

Ödev: Kelime bulutu oluşturma�Teslim: BBY BYE – 27 Mart

• Üniversitenin kariyer planlama merkezi son zamanlarda "içerik yönetimi" ile ilgili iş ilanlarında hangi nitelikte personel talep edildiğini merak ediyor. Bu bilgiye ihtiyaç duyan merkez çalışanları için bir kelime (etiket) bulutu hazırlamanız gerekiyor. Kapsam şöyle:
• yenibiris.com platformunda "bilgi teknolojileri", "medya", "pazarlama" kategorilerinde ilana çıkılmış olan ve iş ilanının içinde "içerik" ifadesi geçen işleri listeleyin. Filtrelediğiniz bu listedeki tüm ilanlarda bulunan "Aranan Nitelikler" ile ilgili bir kelime bulutu hazırlayın ve elde ettiğiniz bu kelime bulutuna dayanarak aşağıdaki soruları yanıtlayın:
• Söz konusu işler için firmaların en fazla aradığı ilk beş nitelik hangisi?
• Kelime bulutunu hazırlarken hangi "belge ön işleme" adımlarını yerine getirdiniz? Neden?
• Bu adımları yerine getirmeden önce ve getirdikten sonra kelime bulutunuzda ne gibi değişiklikler oldu? Ortaya çıkan bu farklılığın nedeninin ne olabileceğini değerlendirin.
• Bu ödevi, elde ettiğiniz verilere uygulayacağınız ön işlemeden önce ve sonraki kelime bulutuna ait iki görselin bulunduğu ve yukarıdaki üç sorunun yanıtlarının en fazla 500 kelime ile özetlendiği bir çıktı olarak BBY ÖYS'deki BBY 156 dersinin 28 Mart haftasında yer alan ödev etkinliğine en geç 27 Mart 2024 saat 23.59'a kadar (Adınız Soyadınız_BBY156_Belgeİşleme.docx şeklinde adlandırdığınız) MS Word dosyası olarak yüklemiş olmanız gerekiyor.
• Raporunuz ile ilgili hatırlatmalar:
• Ödevi en fazla üç kişiden oluşmak kaydıyla ekip olarak da hazırlayabilirsiniz. Fakat ödevi hazırlayan ekip üyelerinin olası soruları yanıtlayabilmek için mutlaka derste hazır bulunması gerekiyor.
• Lütfen rapora kapak sayfası hazırlaMAyın. Sol üst köşeye Ad-Soyad ve Numara bilgilerinizi yazmanız yeterli.
• Kelime bulutunu hazırlamak için wordart.com, worditout.com, www.mentimeter.com/features/word-cloud gibi (ya da kendi araştırmalarınız sonucu bulduğunuz) çevrimiçi kelime bulutu oluşturucu sitelerden ya da kodlama bilginiz varsa hazır yazılım kütüphanelerinden yararlanabilirsiniz.
• Ortaya çıkardığınız kelime bulutunda düzeltemediğiniz herhangi bir arıza gözlemliyorsanız bunu da metin içinde açıklayın (ne olması gerekirken ne görünüyor, sebebi ne olabilir).

Okuma listesi

• Çapkın, Ç. (2016). Üstverinin tam-metin bilgi erişim performansı üzerindeki etkisi: Küçük ölçekli Türkçe külliyat üzerinde deneysel bir araştırma. (Tam metin)
• Rumsey, S. (2008). How to Find Information: A guide for researchers (Chpt.6, p.49-79).
• Tonta, Y. (1995). Bilgi erişim sistemleri. (Tam metin)
• Tonta, Y., Bitirim, Y. ve Sever, H. (2002). Türkçe Arama Motorlarında Performans Değerlendirme, s.17-35. (Tam metin)
• Manning, C.D., Raghavan, P. and Schütze, H. (2009). Introduction to Information Retrieval, s.1-18. (Tam metin)
• Baeza-Yates, R. and Ribeiro-Neto, B. (1999). Modern Information Retrieval, s.3-10 & 19-34. (Tam metin)

​

​