雲數據渠道建置挑戰

雲建置挑戰:雲端模組化數據渠道

在雲供應商像是 AWS, GCP, Azure 這種服務模組化的方式讓企業可以依照他們的需求做 pipeline 的建置。下面舉個簡單的例子,在建置數據渠道 (Data pipeline) 的時候,在不同的平台上所會牽扯到的服務組合。

vendor

以上的這個 Microservices 組合的 Data Pipeline,有下列的好處與壞處。

好處

1. 高度彈性

由於元件化,所以當企業在組合出自己想要的系統後,可以依照每個不同階段去擴充部分的元件,讓所有元件可以依照當時的狀況在使用上有最高的彈性。

2. 能夠高度客製企業場景

數百種不同的服務,就像是樂高積木一樣,公司可以依照自己的使用場景拼出自己最符合需求的系統架構與方案。

缺點

1. 複雜度高

現在有許多工具已經非常強大但每個元件都是分離的,學習成本高且連結也需要非常多的時間。

2. 學習曲線高

一般開發者需要花數日或到數月的時間解決重重困難及嘗試,才能把這些工具設置完成。

3. 維護成本高

公司內部的工程團隊常常會交接或是換人去維護,需要花非常大的精神且維護困難。

4. 系統服務基本費不低

由於當建置像是數據渠道的時候,每個節點可能都是透過一個服務進行,所以基本上原本有些東西可以在單一的 EC2 解決,在元件化之後往往變成要維護多個主機與渠道整合。