資訊領域大世代的新思維

解決問題的能力,一直是 IT 產業最重視的一環,也是大多數公司企業面臨技術問題時所仰賴的解決途徑,然而,等待,往往是依賴 IT 廠商提出解決方案時所需付出的,多數國際化的廠商,或大型雲端服務供應商(如 Google、Amazon、Facebook...等),在現實面上,不盡然有足夠的時間可以等待 IT 廠商的回應,這時,就必須自己解決遭遇的問題。而這種自行解決問題的過程,有時,就會激盪出令人意想不到的創意,這就是所謂的〝使用者驅動創新〞,如同 Google 上許多創新的服務,或是大家熟悉的 3M,都是在解決問題的過程中,意外找到的創意!

而近年來,資訊界最引人注目的兩大議題,Big Data 與 Docker,牽動了未來業界發展的趨勢,其中,Big Data 改變了我們看待資料的態度,而 Docker 則是〝使用者驅動創新〞的最佳實例,而它們又帶給我們哪些不同的思維?

Big Data 的衝擊

以往資料處理的經驗,只需要在乎單一,或自家公司資料庫收集的(客戶)資料即可,但受惠於網路世代的發展,爆炸的資訊洪流,充斥在整個綿延無界的網路世界裡,面對如此巨量的資料,已經不是傳統資料庫,或單一伺服器所能承載的,更不用說要進行任何的分析與處理了!

分散式運算技術,是處理 Big Data 的絕佳利器!Big Data 大多是呈現非結構式的巨量資料,而 Hadoop 叢集技術則是處理非結構式巨量資料的利器,利用 Hadoop 來將非結構式的資料進行前置處理與分析,將大量(型)非結構式資料拆解成許多小型的(結構)資料,然後再利用這些小型資料進行快速的分析與處理,並從中進行統計分析,以數據化的方式擷取所需的結果,精準的預測未來趨勢的走向!

Docker,大世代的虛擬系統

分散式運算技術、叢集架構,就是由為數眾多的伺服器所架構而成的,但建置這些架構都要高額的硬體成本,倘若善用虛擬系統,就有機會能在現有硬體架構之下,建置出效能不匪的虛擬分散式運算的叢集架構,不過,虛擬系統的效能,卻是影響虛擬化架構成敗的關鍵因素。

Docker,世代絕佳效能的虛擬系統!Docker 擺脫傳統虛擬系統需要虛擬化平台(Hypervisor)的架構,利用 Linux kernel namespace 與 control groups,並搭配 aufs 的檔案系統,讓虛擬電腦(Container)可以達到趨近實體電腦的運作效能,以及具備系統版本控管的機制,而 aufs 檔案系統,除了版本控管的機制外,也完美實現了系統與資料(應用套件)區分的架構,兼顧了系統安全性與資料(應用套件)運用的彈性!

需要注意的是,Docker 發展早期確實是以 Linux Container 為基礎,部分功能運作上也需要 Linux Container 的輔助(如網路組態),但從官方正式釋出的版本(1.x)開始,已經可以完全獨立運作,執行完整功能,而不再一定需要 Linux Container 的協助!

總結

不同以往的結構,讓 Docker 顛覆了傳統虛擬系統的用法,以 Docker 來架構分散式的叢集運算平台,更能凸顯超高的運算速度,讓 Docker 與 Hadoop 成為資訊領域大世代的絕佳組合!