1 of 33

BBY 156 Bilgi Erişim�2022-2023�http://bby156.blogspot.com ��Kavramlar

2 of 33

Bilgi toplumuna geçiş hızı

​

  • Pulluk insan yeteneklerini ve üretimi 10 kat artırıyor
  • Kimyasal gübre tarımda üretimi 10 kat artırıyor
  • Pulluk * Kimyasal gübre=100 kat artış => Tarım devrimi
  • Buharlı makine 1000 kat artırıyor => Sanayi devrimi
  • Bilgi ve iletişim teknolojileri bilgi toplama-işleme-iletimde milyonlarca kat artış sağladı.

​

Yani BİT’ler insan yeteneklerini trilyonlarca kat artırdı 🡺 Bilgi devrimi?

«Belki atalarımız da bir enformasyon çağında yaşadılar – farkında olmadan.» (Headrick, 2002)

​

3 of 33

Bilginin değişen rolü

  • Tarım Toplumunda bilgi
    • sorun çözmede yardımcı olan kritik bir “girdi” idi.
  • Sanayi Toplumunda bilgi ?
    • ticari bir ürün, en temel ekonomik kaynak, “kalkınmanın can damarı” haline gelen bilgi “çözümün” kendisi oldu.
  • Bilgi Toplumunda bilgi ?
    • yaratılabilecek, iletilebilecek, depolanabilecek sınırsız bilgi giderek bir “sorun” haline gelmeye başladı.

4 of 33

Bilgi teknolojisi dünyayı nasıl değiştiriyor?

  • Aygıttan aygıta ağ bağlantısı
    • IoT (Internet of Things)
  • Her aygıt ve uygulamada gömülü olan kesin yerel mekan bilgisi
  • Sıcaklık, hareket, basınç, hızlanma, akış, elektrik kullanımı, ışınım, kimyasal kompozisyonu vb. ölçen algılama aygıtlarının bütünleştirilmesi

​

YANİ?...

5 of 33

Bilgi teknolojisi dünyayı nasıl değiştiriyor?

Gittiğimiz her yerde, yazdığımız her şeyle, bilgi ve iletişim teknolojilerini kullanarak yaptığımız her işlemle “iz” bırakıyoruz…

iz = bilgi = pazarlama, satış, strateji, politika, güç, manipülasyon/yönetim, zenginlik, iktidar, buluş, …

Bu durumda “bilgi”yi kaybetme lüksü var mı?!

6 of 33

Bilgi “ortam”ları

  • Bilgi depolama ortamları
    • beyin, kültürel birikim, “dış” ortamlar
  • Bilgi iletim ortamı
    • dağıtık ağlar: saniyeler içinde Kongre Kütüphanesi’nin içeriğini bir yerden bir yere iletmek mümkün
  • Bilgi işleme ortamları
    • beyin, bilgisayarlar, insanlardan daha “akıllı” makineler, yapay zeka

​

«...tüm insanlığın belleği herkes tarafından erişilebilir hale getirilebilir, ve muhtemelen yakın bir gelecekte getirilecektir... Bu beyin, insan kafası ya da kalbi gibi kolayca tahrip edilemez. Kesin ve tam olarak Peru’da, Çin’de, İzlanda’da, Merkezi Afrika’da ya da tehlikeye ve engellemeye karşı garanti altına alınabilecek herhangi bir yerde bu beynin röprodüksiyonu yapılabilir. Bu beyin aynı zamanda hem kafataslı bir hayvanınki gibi tek bir yerde toplanabilir hem de bir amipinki gibi dağıtık ama canlı olabilir.» Wells

«Dünya uygarlığı bir savaşla yok olup, geriye kütüphanelerde saklanan nesnel bilgi içeriği kalırsa, uygarlığı yeniden kurmak mümkündür. Halbuki bu nesnel bilgi içeriği, yani kütüphaneler yok olup, yalnızca öznelerin öğrenme yeteneği kalsa, çağdaş uygarlığı yeniden inşa etmek hemen hemen imkânsızdır. » Popper

​

«İnsanlar yazıyı öğrenirlerse akıllarına unutkanlık aşılanır; bellek alıştırması yapmayı bırakırlar. Çünkü yazılı olana güvenirler; şeyleri ezbere değil, dışsal işaretler aracılığıyla hatırlamaya çalışırlar. Keşfettiğiniz şey bellek için değil, hatırlama için bir reçetedir. Ve size inananlara sunduğunuz şey gerçek bir hikmet değil, sadece onun görüntüsüdür. Çünkü size inananlara birçok şey söyleyerek, ama öğretmeden, onları çok biliyorlarmış gibi gösterebilirsiniz. Oysa çoğunlukla hiçbir şey bilmezler. Ve insanlar gerçek hikmetle donatılmazlarsa diğer insanlara yük olurlar.» Platon

~tarihsel bakış

7 of 33

Bilgi ekonomisi

  • Ekonomi: Kıt kaynakların tahsisi
  • “. . . Bilginin yeni rolü tam olarak değerlendirilmeden, zenginliğin rolü konusundaki hiçbir tahmin tutarlı olmayacaktır.”
  • “. . . İşleri hızlandırarak zamanla ilişkimizi değiştirdiğimizde, bilginin bir bölümünü kaçınılmaz bir şekilde eskitiyoruz. Dolayısıyla, etrafımızda sürüklediğimiz eski bilgi miktarını artırıyoruz.”

8 of 33

Dönüşüm !

  • Aşırı «yayın» artışı

​

    • Bilgi patlaması

​

      • Bilgi erişim sistemleri

​

        • Semantik arama araçları

​

​

​

«information retrieval»

  • Aşırı veri artışı

​

    • «Big data»

​

      • Veri bilimi

​

        • İçgörü

​

​

​

«information extraction»

Sorunlar - Fırsatlar

9 of 33

Bilgi patlaması – 2000’lerin başı

  • Her yıl sadece ABD’de yüz milyarlarca fotoğraf çekiliyor
  • Milyarlarca röntgen filmi çekiliyor
  • Günde yüz milyarlarca e-posta mesajı gönderiliyor
  • Yazıcılardan yılda trilyonlarca sayfa çıktı alınıyor
    • 2002’de dünyada üretilen yeni bilgi miktarı
      • 5 Exabyte (5 x 1018 byte)
      • 5 Exabyte’lık bilgi = 37,000 yeni Kongre Kütüphanesi!

= 50 milyardan fazla The Economist dergisinin içeriği

​

10 of 33

Bir Exabyte (EB) ne kadar büyük?

Kilobyte (KB)

1,000 bytes OR 103bytes

2 Kilobytes: A Typewritten page.

100 Kilobytes: A low-resolution photograph.

Megabyte (MB)

1,000,000 bytes OR 106 bytes

1 Megabyte: A small novel OR a 3.5 inch floppy disk.

2 Megabytes: A high-resolution photograph.

5 Megabytes: The complete works of Shakespeare.

10 Megabytes: A minute of high-fidelity sound.

100 Megabytes: 1 meter of shelved books.

500 Megabytes: A CD-ROM.

Gigabyte (GB)

1,000,000,000 bytes OR 109 bytes

1 Gigabyte: a pickup truck filled with books.

20 Gigabytes: A good collection of the works of Beethoven.

100 Gigabytes: A library floor of academic journals.

Terabyte (TB)

1,000,000,000,000 bytes OR 1012 bytes

1 Terabyte: 50000 trees made into paper and printed.

2 Terabytes: An academic research library.

10 Terabytes: The print collections of the U.S. Library of Congress.

400 Terabytes: National Climactic Data Center (NOAA) database.

Petabyte (PB)

1,000,000,000,000,000 bytes OR 1015 bytes

1 Petabyte: 3 years of EOS data (2001).

2 Petabytes: All U.S. academic research libraries.

20 Petabytes: Production of hard-disk drives in 1995.

200 Petabytes: All printed material.

Exabyte (EB)

1,000,000,000,000,000,000 bytes OR 1018 bytes

2 Exabytes: Total volume of information generated in 1999.

5 Exabytes: All words ever spoken by human beings.

2 KB: Daktilo ile yazılmış bir sayfa

100 KB: Düşük çözünürlüklü bir fotoğraf

1 MB: Disket

2 MB: Yüksek çözünürlüklü bir fotoğraf

5 MB: Shakespeare’in tüm çalışmaları

10 MB: 1 dk.lık ses

100 MB: 1 m.lik raf dolusu kitap

500 MB: Bir CD-ROM

.

.

>5 Exabyte: İnsanlar tarafından geçmişten bugüne konuşulmuş tüm kelimeler!

11 of 33

Bilgi patlaması – Internet (2001)

  • “Yüzey web”de yaklaşık 100 milyar belge var (1670 Terabyte)
  • “Derin web”de 550 milyar belge var (91.857 Terabyte)

​

Surface Web

http://www.stephenleonard.ie/censorship/deep.html

12 of 33

​

​

​

​

​

​

​

​

2005’te Google’ın 5 milyon terabaytlık belge içinden 170 terabaytını dizinlediği söyleniyor:

“Google 7 yıldır dizinleme yapıyor ve 5 milyon tb.lık belgenin tamamını dizinlemesi için 300 yıla ihtiyacı var. Ve bu ancak kimse webde hiçbir yeni içerik yaratmazsa mümkün olabilir…”

13 of 33

Kaynak: www.science.gov/communications/library/00-44-00-22-10-07.ppt

14 of 33

http://www.emc.com/about/destination/digital_universe/pdf/Expanding_Digital_Universe_IDC_WhitePaper_022507.pdf

161 Exabayt ne kadar eder?

Dünyadan Güneşe kadar uzanan 12 raf kitap !

​

Kişi başına 6 ton kitap !

THE UNSTRUCTURED DATA PROBLEM

Over 95% of the digital universe is "unstructured data" – meaning its content can't be truly represented by its location in a computer record, such as name, address, or date of last transaction. Digital images, voice packets, and the musical notes in an MP3 file would be considered unstructured data. In organizations, unstructured data accounts for more than 80% of all information.

​

There may be information about the content, such as when it was captured – e.g., the time stamp on a camcorder clip – or its compression scheme, address from which it was sent or received if indeed it was, or file size. But that information, or "metadata," is generally not enough to determine what is actually contained in a unit of information without some human or automated intervention.

«

«»

15 of 33

16 of 33

  • Web kullanıcılarının %85’i ihtiyaç duydukları bilgiyi bulmak için arama motorlarını kullanıyor. Fakat neredeyse aynı oranda insan da aradıklarını bulamamanın en büyük sorunları olduğunu ifade ediyor.
  • Arama yapanlar o gün için webe yeni aktarılan ~3000 sayfadan yalnızca birini görebiliyorlar.
  • Arama motorları webdeki içeriğin yalnızca %4’üne ulaşabiliyor: ~19 TB içerik-1 Milyar tekil belge.
  • 7500 TB’dan fazla içerik-550 Milyar tekil belgeye bildiğimiz arama araçları ile ulaşılamıyor (örn. Google, Yandex vb.)
  • Çözüm: Bireyler bilgi gereksinimlerini karşılayabilmek için “semantik arama teknolojileri”ne ihtiyaç duyuyor.
        • Yapay zeka destekli soru-cevap sistemleri/chatbotlar (AI-based question-answering systems/chatbots)

​

(2012)

17 of 33

Bilgi patlaması - 2020

  • Büyük Veri (Big Data)
    • 2020 itibariyle dijital evrendeki veri miktarının 44 zetabyte’a ulaşacağı tahmin ediliyor.
      • Bu verilerin %90’dan fazlası son yıllarda üretildi!
    • 2025 itibariyle dünyada günde 463 exabyte veri üretiliyor olacağı tahmin ediliyor.
      • 212.765.957 adet DVD’ye eşdeğer!

​

18 of 33

Aşırı bilgi ve kullanıcı

  • “Yangın hortumundan su içmeye çalışmak”!…
  • Erişilemeyen bilgi kullanılamaz, kullanılamayan bilginin varlığı anlamsız.
  • Bilgi erişim sorunu günümüzde zirve yapmış gibi görünse de tarihsel kökeni 1940’lara dayanıyor.
    • Wells, “World Encyclopedia” (1936)
    • Bush, “As we may think,” Atlantic Monthly, (1945)
      • Memex (memory expansion)
    • “Bilgi erişim” (Information retrieval - IR) teriminin ilk kez kullanımı (Calvin Mooers, 1952)
    • Otomatik dizinleme – KWIC/KWOC (Luhn, 1958)
    • Boole modeli (Lockheed, 1960’lar)
    • Mantıksal model (Mooers, Cooper & Maron, Van Rijsbergen, 1960- )
    • Olasılık modeli (Maron-Kuhns, 1960; Robertson-Jones, 1976; Robertson-Maron-Cooper, 1982; Croft, 1979 )
    • Vektör uzayı modeli (Gerard Salton, 1961)
    • İstatistiksel ağırlıklandırma (tf*idf, 1970’ler)
    • Dil modelleri (Ponte-Croft, 1998)
    • Performans ölçümleri
    • Cranfield, Medlars, SMART, STAIRS, TREC, 1960- (Cleverdon, Lancaster, Salton, Blair-Maron, Harman)

19 of 33

Bilgi erişim? Veri bilimi?

information

retrieval

information

extraction

20 of 33

“Bilgi erişim”in entelektüel temelleri

  • Sistem felsefesi
  • Bilim felsefesi
  • Dil felsefesi

​

21 of 33

Dil felsefesi ve bilgi erişim

  • Bilgi düzenleme ve bilgi erişim de dil kullanımının özel bir türü
  • Dilbilimsel yapılar
    • Söz dağarcığı (vocabulary)
    • Anlambilim (semantics)
    • Söz dizimi (syntax)
  • Kataloglama, sınıflama, dizinleme

​

22 of 33

Sınıflama kuramı

Belgeleri tanımlamak mekanik bir süreç değil:

  • Entelektüel dizinleme ya da otomatik dizinleme (“bağıntılı dizinleme”)
  • Belli sözcüklerin varlığı/yokluğu
  • İstatistiksel dizinleme
  • Dildeki belirsizlik
  • Tanımlar üzerinde anlaşma
  • Terimlerin sınıflandırılması
    • Sınıflama dile dayanıyor
    • Dil belirsizlikler içeriyor
    • Kavramlar üzerinde anlaşma sağlamak zor
      • Domates “meyve” mi “sebze” mi?
      • “Alternatif tıp” hangi konuya girer?
          • Felsefe?
          • Din?
          • Sağlık ve tıp?

​

** Geçmişte, Webster sözlüğünde “domates” şöyle tanımlanıyor: “kırmızı ya da sarımtırak sulu bir meyve, sebze olarak kullanılır, bitki olarak yumuşak, kabuksuz bir meyvedir.”

Aslında teknik olarak o dönemde domates bir meyve (berry) olarak tanımlanıyor, ama 1893’te ABD Anayasa Mahkemesi domatesin sebze olduğuna karar veriyor. West Indies’ten domates ithal eden John Nix, sebze ithaline konulan %10’luk gümrük vergisini ödememek için dava açıyor. Nix domatesin meyve olduğunu savunuyor. Mahkeme ise domatesin meyve gibi tatlı olarak değil de sebze olarak tüketildiğini göz önünde bulundurarak domatesin sebze olduğuna hükmediyor. (Kaynak: Denise Grady, “Best Bite of Summer”, Self 19(7): 124-125, July 1997’den aktaran: Louis Rosenfeld and Peter Norville, Information architecture for the World Wide Web. Sebastopol, CA: O’Reilly, 1998.)

​

** ABD Anayasa Mahkemesi’nin yorumu: “Bir sözcüğün anlamını kullanım belirler.”

23 of 33

Dizin ve dizinleme

  • 4000 yıldan fazla bir zamandır insanoğlu bilgiyi düzenleme derdinde.
      • Neden?
          • Daha sonradan erişmek ve kullanabilmek için
  • En tipik örnek?
          • Bir kitabın içindekiler sayfası
  • Zaman içinde üretilen bilgi miktarı sınırlı sayıda kitabın çok ötesine geçecek kadar arttı, format olarak çeşitlendi ve depolanan/biriktirilen/yığılan bilgiye daha hızlı ulaşmak için daha özel veri yapıları inşa etme zorunluluğu ortaya çıktı.
  • Bu yapıların en eski ve bilinen örneklerinden biri de indeks/dizinler.

24 of 33

Bilgi erişim ve dizinleme..

Yüzyıllar boyunca dizinler otomatik sistemler yerine insan eliyle üretildi.

  • Dizinlemede insan faktörü
      • Metin/kaynak içindeki «önemli» sözcük ve kavramların belirlenmesi
      • Hiyerarşik kategorizasyon/düzenleme
        • Kavramsal hiyerarşiye nasıl karar verilecek?: “Domates meyve mi sebze mi?”
      • Sınıflama sistemleri / ontolojiler oluşturma
          • Thesaurus
          • …
  • Otomatik dizinleme
  • «Makine öğrenme» (machine learning), «Yapay zeka» (artificial intelligence), ...

​

25 of 33

..Bilgi erişim ve dizinleme

  • Dizin; depolanan bilgi ya da belgelerle ilgili olacak, onları en hızlı erişim için tanımlayabilecek biçimde seçilmiş sözcük ya da kavramlar listesi.
  • Temel amaç, bilgiye daha hızlı ulaşmak.
  • Hangi türde olursa olsun dizinler tüm modern bilgi erişim sistemlerinin temelini oluşturur.
  • Sistemdeki “sorgu işleme” (query processing) sürecinin hızlandırılmasını ve veriye daha hızlı erişmeyi sağlarlar.

​

26 of 33

Bilgi erişim sorununun türleri

  • Günümüzde modern bilgisayar sistemleri çok geniş çaplı dizinleri otomatik olarak üretmeye imkân tanıyor.
  • Otomatik dizinler “bilgi erişim sorunu”na yeni bir bakış açısı getiriyor:
    • Bilgisayar odaklı bilgi erişim sorunları
    • İnsan odaklı bilgi erişim sorunları

​

27 of 33

Bilgisayar odaklı bilgi erişim sorunu..

  • Otomatik üretilen dizinlerin etkinliği (kelimelerin geçiş sıklığı, kullanıcı geri bildiriminin dizin terimlerinin ağırlıklandırılmasına etkisi, bu bilgilerin nasıl elde edilip derleneceği, sistem tasarımı ..)
  • Kullanıcı sorgularını (user queries) en doğru şekilde “anlama” ve işleme (processing)
    • “Eylül meselesi” => romantik film mi? 12 Eylül olayları mı? Başka bir şey?

​

28 of 33

29 of 33

..Bilgisayar odaklı bilgi erişim sorunu

  • Otomatik üretilen dizinlerin etkinliği (kelimelerin geçiş sıklığı, kullanıcı geri bildiriminin dizin terimlerinin ağırlıklandırılmasına etkisi, bu bilgilerin nasıl elde edilip derleneceği, sistem tasarımı ..)
  • Kullanıcı sorgularını (user queries) en doğru şekilde “anlama” ve işleme (processing)
    • “Eylül meselesi” => romantik film mi? 12 Eylül olayları mı? Başka bir şey?
  • Sıralama algoritmaları (ranking algorithms) geliştirerek en etkin sonuç listesini getirme
    • Etkin sıralama algoritmalarının yararı?
      • Sonuç listesinin niteliğini artırıyor.

​

30 of 33

İnsan odaklı bilgi erişim sorunu

  • Kullanıcıların bilgi (arama) davranışlarındaki (information behaviour) çeşitlilik
  • Farklı tür kullanıcıların bilgi ihtiyaçlarını anlamadaki zorluklar
    • “bunu mu demek istediniz?”

​

​

​

​

  • Mümkün olduğunca “doğal dil”e yakın ve kullanıcı algısına uygun, “öğrenebilen” sistemler geliştirebilme

​

31 of 33

Bilgi erişimin temel ikilemi

  • “Sözlük” kelimesinin anlamını bilmeyen bir kişinin içinde bulunduğu durum…?
  • “Hakkında bilgi bulmak için bilmediğin bir şeyi tanımlama gereği” (Hjerrpe)

32 of 33

Bilgi erişim süreci

Erişim

Düzenleme

Tanımlama

Keşfetme

33 of 33

Yardımcı kaynaklar

Bush, Vannevar (1945). "As We May Think." Atlantic Monthly 176 (July 1945) pp. 101-108. (Tam metin)

Wells, H.G. (1936). “The Idea of a World Encyclopedia.” Nature, 138(3500): 917-24. (28 November 1936). (Tam metin)

Baeza-Yates, R. and Ribeiro-Neto, B. (1999). Modern Information Retrieval. (Tam metin) (1. Introduction, p. 1-18).

Tonta, Y., Bitirim, Y. ve Sever, H. (2002). Türkçe Arama Motorlarında Performans Değerlendirme. (Tam metin)

Manning, C.D., Raghavan, P. and Schütze, H. (2009). Introduction to Information Retrieval. (Tam metin)

Kavramlar hakkında tanımlayıcı bilgiler ve videolar için:

http://bilgisayarkavramlari.com

https://www.youtube.com/watch?v=5029aN5bg7w

​