“Big Data”

BBY 253 Bilgi Kullanımı�(2022-2023)

İzleyin

• «Büyük veri ile yeni dünya» (Dr. Sait Ölmez, Brand Week İstanbul, 2016)

İnceleyin

• Şu kavramların birbirleriyle doğrudan ya da dolaylı ne gibi bir bağlantısı var?
• Veri bilimi (data science)
• Büyük veri (big data)
• Makine öğrenme (machine learning)
• Yapay zeka (artificial intelligence)
• Açık bilim (open science)
• Bilgi ekonomisi (information economy)

​

«The extraction of actionable information from raw data.»

Neden veri bilimi?

• Veri Bilimi, tüm sektörlerde patlama yaşıyor çünkü insanlık giderek daha fazla veri üretiyor. 2011 ve 2013 yılları arasında, sadece iki yılda, küresel veri hacmi dokuz kat arttı.
• Bu «Büyük Veri» patlaması o zamandan beri yavaşlamadı. 2013'te 5 zettabayttan daha az olan veri hacmine kıyasla, 2020'nin sonunda dünya çapındaki toplam veri hacminin 44 zettabayta ulaşması bekleniyordu.
• Bu şu şekilde açıklanabilir: Hızla değişen teknoloji tarihte olmadığı kadar veri üretiyor. Bunlara, bağlantılı nesneler (örn. IoT), sosyal ağlar, akıllı telefonlar, sensörler veya web arama motorları örnek verilebilir.
• Tüm bu veriler, tüm sektörlerde, araştırma kurumlarında veya kamu sektöründeki şirketler için yine tarihte benzeri görülmemiş fırsatlar sunuyor. Bu nedenle bugün «veri», birçok kaynakta “21. yüzyılın petrolü” olarak anılıyor.
• Veri bilimci ne yapar? => https://www.youtube.com/watch?v=i2jwZcWicSY&t=37s

Veri bilim: Bazı uygulama alanları

• Sağlık
• Sağlık şirketleri, hastalıkları tespit etmek ve tedavi etmek için karmaşık tıbbi araçlar oluşturmak amacıyla veri bilimini kullanıyor.
• Oyun (Gaming)
• Video ve bilgisayar oyunları artık veri bilimi yardımıyla oluşturuluyor. Bu durum, oyun deneyimini bir üst seviyeye taşıdı.
• Görüntü tanıma (Image recognition)
• Görüntülerdeki örüntüleri belirleme ve bir görüntüdeki nesneleri algılama, en popüler veri bilimi uygulamalarından bir tanesi.
• Öneri sistemleri (Recommendation systems)
• Örn. Netflix ve Amazon, izlemeyi, satın almayı veya platformlarında gezinmeyi sevdiğiniz şeylere dayalı olarak film ve ürün önerileri sunuyor, hatta buna dayalı prodüksiyonlar gerçekleştiriyor (bkz. House of Cards örneği).
• Lojistik
• Veri bilimi, lojistik şirketleri tarafından ürünlerin daha hızlı teslim edilmesini sağlamak ve operasyonel verimliliği artırmak için rotaları optimize etmek için kullanılır.
• Dolandırıcılık tespiti (Fraud detection)
• Bankacılık ve finans kurumları, hileli işlemleri tespit etmek için veri bilimi ve ilgili algoritmaları kullanıyor.

Başlangıç: Veri madenciliği ..

• “Veri madenciliği; büyük miktarda veri içinden gelecekle ilgili tahmin yapmamızı sağlayacak bağıntı ve kuralların bilgisayar programları kullanılarak aranmasıdır.“ (Alpaydın, 2000)

.. Başlangıç: Veri madenciliği

• Veri kendi başına değersizdir. Neden?
• Yorumlanmalı, anlamlandırılmalı. Nasıl?
• Veriyi bilgiye çevirme yöntemi:
• “Veri analizi”
• Bilgi:
• Bir amaca yönelik işlenmiş veri.
• Bir soruya yanıt vermek için veriden çıkardığımız sonuç.
• Verilerin analizi ve yorumlanması sadece sayılar veya harflerle yapılmaz; yorum yapabilmek, sonuca varabilmek için;
• sayı ve harflerin ne anlama geldiğini, ne işe yarayacağını, nerede kullanılacağını çözmek gerekir.

Veri madenciliği => Information discovery (bilgi keşfi)

Bilgi keşfinin aşamaları

• Uygulama alanını inceleme: Konuyla ilgili bilgi ve uygulama amaçları
• Amaca uygun veri kümesi oluşturma: Veri seçme
• Veri ayıklama ve önişleme (tüm işlemin %70’lik bölümünü oluşturur)
• Veri azaltma ve veri dönüşümü: İncelemede gerekli boyutları (özellikleri) seçme, boyutlar arası ilişkiyi belirleme, boyut azaltma
• Veri madenciliği tekniği seçme
• Sınıflandırma, eğri uydurma, bağıntı kuralları, demetleme
• Veri madenciliği algoritmasını seçme
• Model değerlendirme ve bilgi sunumu
• Bulunan bilginin yorumlanması

Veri madenciliği: Nasıl?

• “Örneğin eskiden süpermarketteki kasa basit bir toplama makinesinden ibaretti. Müşterinin o anda satın almış olduğu malların toplamını hesaplamak için kullanılırdı. Günümüzde ise kasa yerine kullanılan satış noktası terminalleri sayesinde bu hareketin bütün detayları saklanabiliyor. Saklanan bu binlerce malın ve binlerce müşterinin satın alma hareketlerine ait bilgiler sayesinde:
• her malın zaman içindeki hareketleri ve eğer müşteriler bir müşteri numarası ile kodlanmışsa bir müşterinin zaman içindeki verilerine ulaşmak ve analiz etmek olası.
• Böyle bir veri analizi sayesinde;
• her mal için bir sonraki ayın satış tahminleri çıkarılabilir,
• müşteriler satın aldıkları mallara bağlı olarak gruplanabilir,
• yeni bir ürün için potansiyel müşteriler belirlenebilir,
• müşterilerin zaman içindeki hareketleri incelenerek onların davranışları ile ilgili tahminler yapılabilir.
• Binlerce malın ve müşterinin olabileceği düşünülürse bu analizin gözle ve elle yapılamayacağı, otomatik olarak yapılmasının gerektiği açıktır. Veri madenciliği burada devreye girer.”

(Alpaydın, 2000)

Veri madenciliği: Uygulanma amaçları

• Veri tabanı analizi ve karar verme desteği
• Pazar araştırması:
• Hedef pazar, müşteriler arası benzerliklerin saptanması, sepet analizi, çapraz pazar incelemesi, ...
• Risk analizi:
• Kalite kontrol, rekabet analizi, öngörü, sahtekarlıkların saptanması, ...
• Belgeler arası benzerlik:
• haber kümeleri, e-posta, ...
• Müşteri kredi risk araştırmaları
• Kurum kaynaklarının en optimal biçimde kullanımı
• Geçmiş ve mevcut yapı analiz edilerek geleceğe yönelik tahminlerde bulunma

Veri madenciliği: Örnek uygulama alanları

• Pazarlama
• Müşterilerin satın alma örüntülerinin belirlenmesi,
• Müşterilerin demografik özellikleri arasındaki bağlantıların bulunması,
• Posta kampanyalarında cevap verme oranının artırılması,
• Mevcut müşterilerin elde tutulması, yeni müşterilerin kazanılması,
• Pazar sepeti analizi (Market Basket Analysis)
• Müşteri ilişkileri yönetimi (Customer Relationship Management)
• Müşteri değerlendirme (Customer Value Analysis)
• Satış tahmini (Sales Forecasting).
• Bankacılık
• Farklı finansal göstergeler arasında gizli korelasyonların bulunması,
• Kredi kartı dolandırıcılıklarının tespiti,
• Kredi kartı harcamalarına göre müşteri gruplarının belirlenmesi,
• Kredi taleplerinin değerlendirilmesi.
• Sigortacılık
• Yeni poliçe talep edecek müşterilerin tahmin edilmesi,
• Sigorta dolandırıcılıklarının tespiti,
• Riskli müşteri örüntülerinin belirlenmesi.

Veri madenciliği: Örnek uygulamalar..

• Örnek uygulamalar:
• Satış ve pazarlama
• Finans
• Belge yönetimi
• Bilgi erişim
• …

..Veri madenciliği: Örnek uygulamalar

Büyük Veri (Big Data)

• “Sloan Digital Sky Survey (SDSS), 2000 yılında astronomik verileri toplamaya başladığının ilk birkaç haftasında astronomi bilimi tarihinde toplanandan daha fazla veri biriktirdi. Gecede 200 GB veri toplayan araştırma, bünyesinde 140 TB’dan fazla veri bulunduruyor.”
• “İnsan gen haritasını çözümlemek geleneksel yöntemlerle 10 yıl sürüyordu, şimdi 1 haftadan az sürede tamamlanıyor.”
• “Google Trends verileri kullanılarak 2010 yılında 45 farklı ülkeden Google’a yöneltilen sorular/aramalar analiz edilerek milli geliri yüksek olan ülkelerin geçmiş yerine gelecekle ilgili aramalar yaptıkları belirlendi. Bu çalışma sayesinde bir ülkenin ekonomik başarısı ile vatandaşlarının bilgi arama davranışları arasında potansiyel bir bağ olabileceği teorisi gündeme geldi.”
• 2012’de Obama yönetimi «Büyük Veri Araştırma ve Geliştirme Girişimi’ni duyurdu. Bu girişim hükümetin karşı karşıya kaldığı problemlerin belirlenmesi için «büyük veri»den nasıl yararlanılabileceğini araştırmak için başlatıldı. Söz konusu girişim altı farklı departmana dağılmış 84 farklı büyük veri programından oluşuyor. Büyük verinin 2012’de Obama’nın yeniden seçilme sürecinde çok ciddi rol oynadığı ifade ediliyor.
• 2019 Haziran ayı itibariyle dünya üzerindeki en güçlü 500 süperbilgisayarın %44’ünün Çin, %23’ünün ise ABD’de olduğu rapor ediliyor. Bu iki ülke dünya üzerindeki en güçlü süperbilgisayarların 2/3’üne sahip.

​

Tanım

• “Explosion of structured and unstructured data about everyone and everything.” (Frank Moss)
• “Big data is a collection of data sets so large and complex that it becomes difficult to process using on-hand database management tools.” (Wikipedia)
• Geleneksel anlamda depolanan ve kullanılan verilerden farklı, daha az yapılandırılmış, fakat potansiyel olarak çok değerli olan geniş veri kümeleri.

Nasıl ortaya çıktı?

• Veri depolama maliyetlerinin düşmesi
• Veri depolama kapasitelerinin artması
• Bilgisayar işlemcilerinin hızlanması
• Ağ teknolojileri ve çok farklı kanallardan veri akışı
• Bilgisayarlar
• GPS araçları
• Akıllı telefonlar
• Sensörler
• ..

Ne tür veriler?

• Ne tür veriler?
• Bilgisayar logları
• Kameralar/mikrofonlar aracılığı ile iletilen/depolanan veriler
• Sosyal ağ postları (Tweetler, Facebook gönderileri, Blog yazıları,..)
• Bu konuda yapılmış çalışmalara bir örnek için şuraya bakınız (özellikle s. 105-121 [«Amaç ve yöntem» başlığından itibaren]) .
• Kredi kartı kullanımı ile gönderilen veriler
• Doğadaki çeşitli hareketleri ölçmek ve gelecekle ilgili öngörülerde bulunabilmek için kullanılan sensörlerin elde ettiği veriler
• İnsan genlerinin içerdiği veriler
• «Yüksek Çözünürlüklü Genom Analizleri»
• …
• [bkz. Wikipedia: Big Data]

​

​

Ne kadar “büyük”?..

• 2010 yılında kurumlar ve kişiler 13 exabytedan fazla veri depoladı. Bu Library of Congress bünyesinde bulunan verilerden 50 bin kat daha fazlaydı.
• Küresel boyutta kişisel lokasyon bildirimlerine ait verilerin değerinin 700 milyar dolara yakın olduğu ve bu rakamın ürün geliştirme maliyetlerinde %50’ye yakın düşüşe neden olabileceği tahmin ediliyor (~2011).

​

​

..Ne kadar “büyük”?

• Veriler web logları, satış verileri, sosyal ağlar, mobil araçlar, vb. kaynaklardan geliyor.
• Bu veriler çoğunlukla yapısal değil (tamamlanmamış, geleneksel yöntemlerle erişimi zor ya da imkansız).

Bu veriler çok değerli, ancak yakın zamana kadar üretilemiyor,

ulaşılamıyor, depolanamıyor, yorumlanamıyordu.

Dolayısıyla, bu verilerle varılabilecek sonuç çeşitliliğinden de büyük ölçüde habersizdik.

“Büyük veri”nin bileşenleri

• Hacim (volume)
• Yıllık olarak atılan toplam 4,3 petabayt (4368 terabayt) tweeti analiz ederek belirli bir ürün ya da hizmet hakkındaki görüşlere dair içgörü (insight) elde edebiliriz (örn. sentiment analysis – duygu analizi).
• 400 trilyon satır ve otuz ayrı değişkenden oluşan, ulaşım verilerini daha yüksek öngörülü enerji tasarrufu verilerine dönüştürebiliriz.

“Büyük veri”nin bileşenleri

• Ani değişkenlik (velocity)
• Bazen iki dakika çok geç olabilir:
• Örn. Kredi kartı kullanımındaki kayıtlarındaki anomalinin satın alma işlemi sona ermeden/onaylanmadan fark edilmesi .

“Büyük veri”nin bileşenleri

• Çeşitlilik (variety)
• Her tür veri: Yapısal/yapısal olmayan, metin, ses, görüntü, tıklama sayıları/süreleri, sensör verileri, loglar,…
• Kullanıcıların paylaştığı yüzlerce video, ses ve metni analiz ederek kullanıcı ilgi alanlarını belirlemek ve müşteri memnuniyetini artırmak.
• Daha önce bu çeşitlilikte veriyi bir arada incelemek, yorumlamak ve sonuca varmak neredeyse imkansızdı.
• Neden?

​

“Büyük veri”nin bileşenleri

• Doğruluk (veracity)
• Yöneticilerin üçte biri karar almada kullandıkları bilgilere güvenmediklerini belirtiyor. Büyük verilerin özelliği olan farklı kaynaklardan çeşitli verilerin derlenmesi ile karar süreçlerinde kullanılan bilginin güvenilirliği artıyor (farklı kaynaklardan elde edilen verilerin yorumlanması ile varılan sonuçların bir çeşit sağlaması yapılıyor).

​

​

“Büyük veri”nin bileşenleri

• Değer (value)
• Bir değere dönüştürülmediği sürece büyük veriyi elde etmenin bir anlamı yok.
• Örnek uygulamalara bakıldığında kurumlar, şirketler, ülkeler, büyük veri analizleri sayesinde kâr oranlarını artırıp, risk oranlarını düşürebiliyor, daha «nokta atışı» ürün ve hizmetler geliştirebiliyorlar.

“Büyük veri”nin analizi işletmelerde nasıl fark yaratır?

• “Big data is more than simply a matter of size; it is an opportunity to find insights in new and emerging types of data and content, to make your business more agile, and to answer questions that were previously considered beyond your reach. Until now, there was no practical way to harvest this opportunity. “

“Büyük veri”nin analizi işletmelerde nasıl fark yaratır?

• “This data can provide answers to questions they may not have even thought to ask. What’s more, companies benefit from a multidimensional view of their business when they add insight from big data to the traditional types of information they collect and analyze.“

“Büyük veri”nin analizi işletmelerde nasıl fark yaratır?

• “Emerging technologies that address big data enable enterprises to analyze new types of information that hadn’t been feasible to analyze before. By adding this information to the mix, enterprises can leverage the best of structured and unstructured data to find new solutions to business challenges, become closer to their customers, and significantly increase employee productivity through streamlined business processes.”

“Büyük veri”nin analizi işletmelerde nasıl fark yaratır?

• “Analysis of big data—including new types of data that haven’t been analyzed before—provides a deeper level of insight into what customers are thinking and how the business operates. The potential payoffs are improving customer retention, selling individual customers more products, and producing items with higher quality and lower rates of return. Studies show that, with proper use, big data can really improve the bottom line to make an impact on overall profitability.”

“Büyük veri”yi elde etme ve yorumlama zorlukları..

• Büyük veriyi yakalarken, derlerken, depolarken, ararken, paylaşırken, analiz ederken ve görselleştirirken çeşitli zorluklarla karşılaşılıyor:

.. “Büyük veri”yi elde etme ve yorumlama zorlukları

• Heterojenlik ve tamamlanmamışlık
• Boyut
• Güncellik
• Mahremiyet
• İnsan işbirliği

Büyük veri biriktiren proje örnekleri

Büyük veri biriktiren proje örnekleri

Büyük veri biriktiren proje örnekleri

Büyük veri biriktiren proje örnekleri

Verilerin görselleştirilmesi

Data visualization

Information Design

Infographics

İnfografik

• Bilgi grafikleri (information graphics) ya da kısa adıyla infografikler veri, «enformasyon» ya da bilginin (knowledge) grafik olarak görselleştirilmiş temsilleridir.
• Amaç, karmaşık bilgi kümelerini hızlı, anlaşılır ve net bir şekilde görselleştirmektir.
• İnsanın bir bakışta bilgi yığınlarını net bir şekilde anlamasını, bilgi kümelerinin oluşturduğu dokuları görebilmesini, bağlantıları algılayabilmesini sağlar.
• İnfografiklerin yaratım süreci genelde veri görselleştirmesi, bilgi tasarımı ve bilgi mimarisi konularıyla ilişkilendirilmektedir.

İnceleyin=> http://kimola.com/analytics

İnceleyin=> http://kimola.com/analytics

Takip edin: «Verizekalılar»

Takip edin: «Veri Okuryazarlığı Derneği» bültenleri

İnceleyin=> visual.ly

• https://visual.ly/m/customer-stories/

İnceleyin=> informationisbeautiful.net

• http://informationisbeautiful.net

• Kullanılan kaynaklar ve okuma listesi
• Setting Up a Big Data Project: Challenges, Opportunities, Technologies and Optimization https://www.researchgate.net/publication/303562879_Setting_Up_a_Big_Data_Project_Challenges_Opportunities_Technologies_and_Optimization
• Big data I: The “big” in ecological big data http://www.neonscience.org/updates-events/update/big-data-part-i
• Big data II: Sharing the Challenges and Payoffs of Big Data http://www.neonscience.org/updates-events/update/big-data-part-ii
• Zeki Veri Madenciligi (Alpaydın ,2000) http://www.cmpe.boun.edu.tr/~ethem/files/papers/veri-maden_2k-notlar.doc
• Veriye dayalı ekonominin getirdiği fırsatlar ve kişisel verilerin korunmasının ekonomik analizi https://www.tepav.org.tr/upload/files/1421853130-9.Turkiyede_Kisisel_Verilerin_Korunmasinin_Ekonomik_ve_Hukuki_Analizi.pdf s.1-38
• What is an infographic? http://visual.ly/what-is-an-infographic

Gerçek hayattan büyük veri kullanım örnekleri:

• Big Data – Applications https://en.wikipedia.org/wiki/Big_data#Applications
• 5 real-life uses of big data http://gigaom.com/cloud/5-real-world-uses-of-big-data/
• Use Big Data to gain insight about small business customers http://www.techrepublic.com/blog/smbit/use-big-data-to-gain-insight-about-small-business-customers/500
• Four more years of AKP? https://ataspinar.wordpress.com/2015/10/28/4-more-years-of-akp
• A meta-analysis of state-of-the-art electoral prediction from Twitter data http://arxiv.org/ftp/arxiv/papers/1206/1206.5851.pdf

Infografik ve veri görselleştirme örnekleri:

• Türkiye'nin Bilimsel Yayınlarının Sosyal Ağ Analizi Yöntemiyle Değerlendirilmesi http://yunus.hacettepe.edu.tr/~umutal/publications/SOBAG-110K044.pdf (Özellikle 31. sayfadan itibaren kullanılan veri görselleştirme grafikleri örnekleri)
• Hacettepe Üniversitesi Bilimsel Yayınlarının Sosyal Ağ Analizi Yöntemiyle Değerlendirilmesi (yukarıdaki raporda kullanılan verilerle üretilen bir başka çalışma) http://yunus.hacettepe.edu.tr/~umutal/publications/hu-sna.pdf