1 of 38

BBY 156 Bilgi Erişim�2024-2025�http://bby156.blogspot.com ��İnternette bilgi erişim

JUYDKB

2 of 38

Web’de arama ile ilgili zorluklar

Veriden kaynaklı

Kullanıcıdan kaynaklı

  • Dağıtık veri
  • Geçici veri/Tazelik “Freshness” (“40% of the web changes every month”<= sosyal medyanın bu kadar yaygın olmadığı dönemlerde yapılan araştırmalara göre…)
  • Aşırı bilgi => Üssel büyüme
  • Yapısal olmayan ve tekrarlanan (gereksiz) veri (“30% of web pages are near duplicates”)
  • Düzenlenmemiş/gözden geçirilmemiş veri
  • Çoklu biçim (multiple formats)
  • Ticari önyargılar
  • Saklı (örtük) veri
  • Arama motorlarının arayüzüne aşina olmayan kullanıcılar (Örneğin, “sancar a*” sorgusu tüm arama motorlarında aynı anlama mı gelir?)
  • Verinin mantıksal görünüşüne aşina olmayan kullanıcılar (Örneğin, tek tırnak (“) işareti kullanılarak yapılan sorgu ile tek tırnak (‘) ile yapılan sorgu aynı şey midir?)
  • Farklı bilgi ihtiyacı olan ve farklı arama davranışları sergileyen kullanıcılar (Örneğin doğal dil kullanarak arama yapanlarla daha karmaşık sorgu formülasyonu kullanabilenler)

3 of 38

Arama motorları ve geleneksel bilgi erişim sistemleri arasındaki farklar

  • Geleneksel bilgi erişim sistemlerinde dizinlenecek belgeler durağandır (statik). Başka bir deyişle, bir belge bir defa dizinlendikten sonra bir daha dizinleme işlemine genellikle tabi tutulmaz.
  • Arama motorlarının mimarisi ise bilgi erişim sistemlerininkine göre farklı, çünkü çok daha dinamik bir yapı var.
    • «Web kaynaklarının %40’ı her ay değişiyor.» (Kahle, 1996)
    • «Bir Web sitesinin “yarı ömrü” (half-life) 2 yıl civarında.» (Koehler, 1999)
    • «İnternet ortamındaki bir bağlantının (link) ortalama ömrünün 44 gün olduğu belirtiliyor.» (Kahle, 1997)
    • «Web kaynakları tahmini olarak ortalama 75 gün değişmeden kalmaktadırlar.» (Brake, 2001)
    • «Bilimsel içerikli web sayfalarının yaşam sürelerinin medyanı 9 yıl ve bunların yalnızca %62’si web üzerinde arşivleniyor» (Hennessey ve Ge, 2013)
    • «Akademik ve hukuksal atıflarda yer alan URL’lerin %70’inin ve ABD Yargıtay kararlarına ait URL’lerin %50’sinin atıf yapılan orijinal bilgiye yönlendirmediği anlaşıldı.» (Zittrain, Albert ve Lessig, 2014)

4 of 38

«Half-life» veya “attention span” kavramları hakkında fikir edinmek için aşağıdaki örnekleri inceleyin:

​

The half-life of internet references cited in communication journals

https://www.researchgate.net/publication/249831425_The_half-life_of_internet_references_cited_in_communication_journals

​

Bit.ly link analysis on half-life of web content

https://visualign.org/2011/09/09/bit-ly-link-analysis-on-half-life-of-web-content

​

Infographic: Half-Life Of Social Media Shares

http://searchengineland.com/infographic-half-life-of-social-media-shares-98433

​

The Lifespan of a Social Media Post

https://www.copypress.com/blog/lifespan-social-media-content /

5 of 38

Arama motorlarının türleri

​

6 of 38

Bilgi erişim sistemlerinin işlevsel mimarisi (hatırlatma)

ön yüz

ön yüz

arka yüz

(Tonta, Bitirim ve Sever, 2002)

7 of 38

Arama motorlarının işlevsel mimarisi (Türkçe arama motoru örneği)

8 of 38

Arama motorlarının işlevsel mimarisi

  • Web arama motorları kabaca üç ana modülden oluşur. Bunlar;
    • Web örümceği (Web crawler/spider),
    • Dizinleme ve
    • Arama

modülleridir.

​

9 of 38

Arama motorlarının işlevsel mimarisi

10 of 38

Web örümceği

  • İnternetteki tüm web sayfalarını keşfetmeyi ve toplamayı amaçlar. Böylece bu sayfalara erişimi mümkün kılar. Bir web örümceğinin kalitesi aşağıdaki ölçütlere göre değerlendirilebilir:
    • Kapsama alanı: Web'in yüzde kaçını toplayabildi?
    • Güncellik: Toplanan sayfalar ne kadar güncel?
    • İşe yararlılık: Toplanan sayfalar popüler ve önemli sayfalar mı? (Ricardo Baeza-Yates, B. Barla Cambazoglu, 2010)

​

? Derin web vs. Web örümceği ?

11 of 38

Web örümceği

  • Ziyaret edilecek olan sayfaların bir listesini tutar, sıraya uygun olarak bu sayfaları ziyaret eder, içeriklerini getirir ve link analizi yaparak ziyaret edilmesi gereken yeni sayfaları keşfeder.
  • Web örümcekleri, başlangıçta hangi web sayfalarını ziyaret edeceklerini bilmek zorundadır bu nedenle bir başlangıç listesi (seed) verilir.
    • 2017 Mart ayına kadar başlangıç listeleri için genellikle DMOZ (http://www.dmoz.org/) linkleri kullanılıyordu.

​

12 of 38

​

​

​

​

​

​

​

​

​

​

http://www.dmoz.org/docs/en/about.html

13 of 38

Sullivan, D. (2017). DMOZ has officially closed after nearly 19 years of humans trying to organize the web. (http://searchengineland.com/dmoz-has-officially-closed-271530 )

14 of 38

Web örümceği (politikalar)

  • Web'in çok büyük boyutta ve değişken olması Web örümcekleri için en önemli sorun. Bu sorunları çözmek için bazı kararlar almak ve politikalar üretmek gerekir:
    • Web Sayfası Seçimi (selection) Politikası: Tüm web sayfalarını belirlenen süre içinde toplamak mümkün olamayacağı için bir "Web Sayfası Seçimi Politikası"na ihtiyaç vardır. Toplanacak web sayfalarının türünü belli kriterlere göre önceliklendirmek gerekmektedir (link analizi). Örn: En çok referans (link) verilen sayfalar, bloglar vb.
    • Yeniden Ziyaret Etme (re-visit) Politikası: Sayfalarının dinamik olması ve çok hızlı değişmeleri nedeniyle sayfaların en güncel halini elde etmek gerekir.
      • Web örümceği tarafından yakalanan ve indekste saklanan bir sayfa, bu sayfada zamana bağlı olarak meydana gelebilecek değişiklik ve güncellemeleri yansıtabilmesi için düzenli olarak tekrar ziyaret edilmelidir.
      • Bu ziyaretlerin ne zaman yapılacağını belirlemek için sayfanın yenilenme (freshness) hızı ya da yaş (age) değerine bakılır.
      • Bazı arama motorları bu değerlere bakmadan düzenli aralıklarla getirilen sayfaları tekrar ziyaret eder.

​

​

​

​

Google Web Crawler nasıl dizinleme yapıyor, anlamak için bkz: https://developers.google.com/search/docs/fundamentals/how-search-works?hl=tr

15 of 38

Web örümceği (politikalar)

    • Nezaket (politeness) Politikası: Web sayfalarının içeriğini indirme işlemi, sayfanın ait olduğu web sitesi sunucusuna belli bir yük getirmektedir. Çok sık aralıklarda örümcekler bu sayfaları indirmeye çalıştığında sunucular diğer istemcilere hizmet edemez hale gelebilmektedir. Bu politikada bir web sayfasının en az kaç saniye aralıkla indirileceği belirlenir.
      • Web örümcekleri tarafından kullanılan bot’lar, web siteleri için ilgili web sunucularına sayfaları indirmek için istek yollarlar.
      • Örümcekler tarafından kullanılan bant genişliği çok fazla olduğu için örümceğin kullandığı bot, ilgili web sitesinin sınırlı bant genişliğinin tamamını kullanabilir (sonuç: “server overload”).
      • Bu durumda, ilgili siteye erişmeye çalışan diğer kullanıcılar yoğunluktan dolayı sayfalara erişemez, bu istenmeyen bir durumdur.
      • Bu tıkanıklığı engellemek için “robots exclusion protocol” yöntemi kullanılır.
      • Bu protokolde sunucuda tutulan robots.txt dosyasında örümceklerin erişmesi istenmeyen sayfalar ve web sunucusuna örümcek tarafından yapılacak iki istek arasında geçmesi gereken zaman gibi parametreler yazılır.

Ayr. Bkz. http://en.wikipedia.org/wiki/Web_crawler

http://en.wikipedia.org/wiki/Robots_Exclusion_Standard

16 of 38

Web örümceği (politikalar)

    • Paralel Çalışma (parallelisation) Politikası: Bilgi erişim sistemi hız kazanmak açısından birden fazla web örümceği çalıştırıyorsa aynı web sayfasının birçok örümcek tarafından indirilmemesi için bir "Paralel Çalışma Politikası" belirlenerek tekrarlı sayfa indirmenin engellenmesi gerekir. Örn: Her örümceğin farklı yer sağlayıcılarla yönlendirilmesi gibi... (Castillo, 2004)

​

17 of 38

Web örümceği �(sayfa getirici ve dil tespiti)

Belirli dillere özel web örümcekleri tasarlayabilmek için dil tespiti gerekir.

    • Örneğin, çok dilli web üzerinde sadece Türkçe belgelerin toplanmasını sağlayacak akıllı web örümceği yaratmak konusu akademik bir problem.
    • Bunun bir problem olmasının iki temel nedeni var:
      • Web üzerinde her bir belgenin dilini tespit etmek
      • Sadece belirli dille yazılmış belgeleri seçmek

​

18 of 38

Web örümceği �(sayfa getirici ve dil tespiti)

    • Web üzerindeki, örn. Türkçe belgelerin tespit edilmesine yönelik olarak kullanılan farklı yöntemler var ve bunlar genellikle istatistiklere dayanıyor:
      • Sesli / sessiz harf yaklaşımı:
        • «Türkçe’de kelimelerin %50’si sesli harfle bitiyor. İngilizce kelimelerin %28’i sesli harfæle bitiyor.»
      • Türkçe heceleme kurallarına göre karar verme:
        • «Bir belgedeki kelimelerin %70’i Türkçe heceleme kurallarına uygun olarak heceleniyorsa belge Türkçe’dir.»
      • Durma kelimeleri yaklaşımı:
        • «Bir belge içinde Türkçe için tanımlanan durma kelimelerinden farklı n tanesi geçiyorsa belge Türkçe’dir.»
      • Türkçe karakter yaklaşımı:
        • «Bir belge içerisinde Türkçe karakterlerden (ı, ç, ş, ğ, ü) farklı n tanesi geçiyorsa belge Türkçe’dir.»

​

19 of 38

Sorgu

  • Web arama motorlarına yöneltilen sorgular kısa
    • Çoğu ortalama ~2 kelime
    • Doğal dille arama ve sesli arama yükselişte
  • Kullanıcı beklentileri
    • “İlk sırada gelen sonuç benim görmek istediğim sonuç olmalı!”

​

Google Search Statistics and Facts 2023

20 of 38

Arama sonuçlarının derecelendirilmesi

  • Pek çok arama motoru erişim fonksiyonu (vektör uzayı, olasılıksal, dil modeli vb.) olarak kullanılan yöntemlerin belge/sorgu eşleşmesi için ürettiği skor değerlerine göre bir derecelendirme yapar.
  • Google ile birlikte bu derecelendirme skoruna link alma skorları da eklendi.
    • PageRank (sayfa değeri) yöntemi, internet üzerinde bir sayfaya diğer sayfalardan ne kadar fazla referans (link) verilirse o sayfanın o kadar değerli olacağı görüşü üzerine geliştirildi.
    • Bu yaklaşım, “bilimsel bir çalışmaya diğer makalelerden ne kadar çok atıfta bulunulursa o çalışma o kadar önemlidir” mantığına benzetilebilir.

​

21 of 38

Sayfa değeri

(PageRank)

  • Google'ın sıralamada kullandığı algoritma, bir web sitesinin 0-10 arasındaki değerini göstermeye yarıyordu.
    • Bu değer, genel olarak içeriğin özgünlüğüne, sayfaya verilmiş bağlantılara ve bağlantı veren sayfaların kalitesine bağlı olarak değişir.
    • PageRank, değer olarak bir web sitesinin Google tarafından arama sonuçlarında sıralanmasını ve Google tarayıcısının (örümceğinin) siteyi kontrol etme sıklığını etkiler.

“PageRank ile birlikte bir link pazarı oluşmasından dolayı Google bu konuda kendini geri çekmiş ve 2014 yılında hiçbir PageRank güncellemesi gerçekleştirmemiştir. 6 Ekim 2014 tarihinde Google yetkilisi John Mueller tarafından; "Muhtemelen PageRank güncellemesi olmayacak’ şeklinde bir açıklama yapılmıştır .” (https://en.wikipedia.org/wiki/PageRank)

​

22 of 38

Sayfa değeri

(PageRank)

  • PageRank'in ana fikri şu şekilde:
    • Eğer bir A sayfası B sayfasının linkini yayımlamışsa bunun nedeni B sayfasının A sayfası ziyaretçileri tarafından dolaşılabilecek olarak düşünülmüş olmasıdır. Bu yapıya göre A sayfası B sayfasının sayfa değerini yükseltmiş olacaktır.
    • A sayfası ne kadar yüksek sayfa değerine sahipse B sayfasının değeri de buna orantılı olarak artacaktır.
    • A sayfasında ne kadar az dışarı link varsa, B sayfasının değeri o kadar yüksek olacaktır. Bu mantığa göre A sayfası sadece B sayfasını link verilecek değerde görmüşse, B sayfasının “PageRank”i çok daha fazla artacaktır.

​

23 of 38

Denenen diğer bazı

Google algoritmaları

  • Google Panda
  • Google Penguin
  • Google Pigeon
  • Google Hummingbird
  • …

(https://en.wikipedia.org/wiki/PageRank)

24 of 38

Alternatif «sıralama»

yöntemleri

  • «Google wants to rank websites based on facts not links»
    • “Knowledge-Based Trust score”
  • «Arama algoritmaları nasıl çalışır»
  • «Faydalı özellikler»

25 of 38

Life of a Google Query

26 of 38

Önemli!=> Google arama özellikleri

27 of 38

Önemli!=> Google arama özellikleri

  • “Gerçek kişilerin Google Arama'yı nasıl daha iyi hale getirdiğini görün”

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

https://www.youtube.com/watch?time_continue=2&v=WbSouimbtjU&source_ve_path=Mjg2NjY&feature=emb_logo

28 of 38

Bilgi erişim sistemlerinde araştırma konuları – Birleştirilmiş arama motorları (Meta search engines)

  • Kullanıcıyı birden fazla arama motorunda arama yapma külfetinden kurtarır.
  • Kullanıcı farklı arama motorlarının birbirinden farklı sorgu dillerini öğrenmek zorunda kalmaz.
  • Sistem arama motorlarının en yüksek ilişkili sonuçlarını kullanıcıya en üstte sunduğu için kullanıcının aradığını kolayca bulma olasılığı yükselmektedir. (Meng, August 2009)
  • Örnekler:

​

28

29 of 38

Bilgi erişim sistemlerinde araştırma konuları – Kişiselleştirilmiş arama (personalized search)

  • Kullanıcının internetteki aktivitelerinin, bilgi tüketim alışkanlıklarının izlenerek kullanıcı hakkında edinilen bilgilerin bilgi erişim sistemlerinde kullanılması ve kullanıcıya “anlamlı” sonuçlar döndürülmesi olarak tanımlanır. (Pitkow, Schütze, Cass, Cooley, Turnbull, Edmonds, Adar, Breuel, 2002)
  • Özel hayatın gizliliği ve kullanıcıların zamanla ilgi alanlarının değişmesi konularına dikkat edilmelidir.

29

30 of 38

Bilgi erişim sistemlerinde araştırma konuları – Anlamsal arama (semantic search)

  • Anlamsal aramada sorgu sözcüklerinin belgede bulunma sıklığı değil, kullanıcının gerçekte neyi aradığı ve web içeriklerinin konusu /anlamı önemlidir.
  • Sorgu sözcükleriyle birlikte eş anlamlı sözcükler de aramaya dahil edilir.
  • Sözcüklerin tüm varyasyonları aramaya dahil edilir: improve, improved, improvement
  • Sadece anahtar kelime değil konu ile ilgili diğer kelimelerin de bilinmesi gerekir (ontological knowledge). Örn: üst solunum yolu enfeksiyonu ->(nezle, grip, sinüzit, faranjit)

​

30

31 of 38

Bilgi erişim sistemlerinde araştırma konuları – Anlamsal arama (semantic search) ~Sorunlar

  • Anlamsal arama için yapılması gereken ön çalışma (ontoloji oluşturma) çok uzun zaman almaktadır.
  • Doğal dil sorgularını makinenin anlayabileceği ontolojik sorgulara dönüştürmek henüz tam olarak mümkün olmamıştır.
  • Web içeriğinde konunun ve anlamın bulunması da çözülmeyi bekleyen sorunlar arasındadır.
  • Örnekler:

31

(McCoy, 2016)

32 of 38

Bilgi erişim sistemlerinde araştırma konuları – Soru-yanıt sistemleri (question-answering systems)

  • Kullanıcının sorduğu soruya cevap olarak bulduğu bilgileri toparlayıp tek bir sonuç olarak döndürür.
  • Günümüz soru yanıtlama sistemleri "soru sınıflama" modülü ile sorunun ve cevabın türünü belirlerler.
  • Soru analiz edildikten sonra sistem metinler üzerinde karmaşık doğal dil işleme tekniklerini çalıştırır.
  • Bu sırada bir filtre, cevabın türüne göre paragraflar arasından cevabı bulur. Örneğin soruda "kim" sorusu soruluyorsa cevap bir özel isim olmalıdır.
  • Örneğin; answers.com

32

33 of 38

Bilgi erişim sistemlerinde araştırma konuları –

Generative AI

  • Gemini (Google DeepMind) => https://deepmind.google/about/

​

  • Chat gpt (open AI) => https://openai.com/blog/chatgpt

​

  • DeepSeek (DeepSeek) => https://www.deepseek.com/en

​

​

  • Grok (xAI) => https://www.deepseek.com/en

.

.

.

33

34 of 38

Bilgi erişim sistemlerinde araştırma konuları –

Bilgi çıkarımı (information extraction) / Text mining / Data Mining / ...

​

​

34

35 of 38

Bilgi erişim sistemlerinde araştırma konuları –

Konu tespit ve takip sistemleri (topic detection and tracking)

  • Haber yayınlarının izlenerek yeni / farklı bir haber olduğunda ilgililerin uyarılmasını sağlayan sistemlerdir.
  • Dört ana modülden oluşur.
    • “İlk Hikaye Algılama Modülü“ sisteme yeni bir hikaye ulaştığında bunun tartıştığı konu daha önceden tanımlanmış konularla ilgili değilse, yeni bir konu olduğunu belirler.
    • "Küme Belirleme Modülü" gelen hikaye bir ilk hikaye değilse ilgili konu kümesine yerleştirir, eğer ilk hikaye ise bunun için yeni bir küme oluşturur.
    • "Haber İzleme Modülü" haber kaynaklarından sisteme gelen haberleri değerlendirilerek, bu haberlerin daha önceden belirlenmiş olan konularla ilgili olup olmadıklarını araştırır.
    • "Hikaye Bağlantı Algılama Modülü” ise sisteme ulaşan iki farklı hikayenin aynı konuyu tartışıp tartışmadıklarını anlamayı amaçlar.
  • Konuyla ilgili bazı araştırma örnekleri için bkz.

35

36 of 38

Bilgi erişim sistemlerinde araştırma konuları – Farklı uygulamalar

​

​

36

37 of 38

Sonuç

  • Mobil cihazların sabit ve dizüstü bilgisayarların yerine geçmesi internete erişimi kolaylaştırdı, içerik oluşturma daha da hızlandı.
  • 4G ve 5G ile bant genişliklerinin 2-3 katına çıkması nedeniyle veri iletimi de hızlanıyor.
  • Bu gelişmeler dünyada üretilen bilginin daha da hızla artmasına neden oluyor.
  • Bilgi erişim sistemleri sadece metin değil aynı oranda ses, video, resim arama araçları haline dönüşüyor.
  • Bu nedenlerle bilgi erişim sistemlerinin hem işi zorlaşıyor hem de ihtiyacın artmasıyla bu sistemler gün geçtikçe daha da önem kazanıyor.
  • Doğru kaynağa en kısa zamanda ulaşabilmek için kullanıcıyı tanıyan, arama yaparken niyetini anlayan, web içeriğinin konusunu tespit edebilen akıllı sistemlere ihtiyaç giderek artıyor.

​

​

​

37

38 of 38

Okuma listesi

​

Tonta, Y. (1995). Bilgi erişim sistemleri.

Erbil, E ve Çolakkol, A. (2001). Internet’te bilgi arama stratejileri ve bilgiye erişim.

Olcay, N.E. (2003). Türkçe Internet tarama motoru kullanıcılarının arama stratejilerinin analizi: Arabul örneği.

Tunç, S.K. (2012). Bilgi erişim sistemleri.

Kesen S., Şenol C. ve Yanar Z. (2008). Google Scholar ve Scirus arama motorlarında Türkçe anahtar sözcüklerle yapılan aramalar üzerine bir değerlendirme.

Şencan, İ. (2014). Haber metinlerinin kategorizasyonunda varlık isimleri ve konu başlıkları ilişkisi.

Köse, G. (2014). Sınırlı alanlarda konu tespit ve takibi için genişletilmiş bir mimari yapı önerisi.

​

Diğer yardımcı kaynaklar:

Baeza-Yates, R. and Ribeiro-Neto, B. (1999). Modern Information Retrieval. (Tam metin)

Manning, C.D., Raghavan, P. and Schütze, H. (2009). Introduction to Information Retrieval. (Tam metin)

​

Bu derste kullanılan slaytların çoğunluğu

Bilgi erişim ilkeleri (Y. Tonta, 2002)

Bilgi erişim (G. Köse, 2012)

derslerine ait slaytlardan ve

Sevgi Koyuncu Tunç’un “Bilgi Erişim Sistemleri” başlıklı yayımlanmamış çalışmasından derlenmiştir.