Skip to main content

中型雲端企業

現在中型企業資料越來越多企業是在雲上建立,來源可能有既有以及儲存的資料庫、資料湖,也有資料倉儲系統。在綜合應用通常會需要把數據從資料湖、資料庫以及資料倉儲系統做數據上面的合併,現在最常見的做法也就是把資料透過 ETL 到 Data Warehouse 中,這種做法會分為幾個部分:

  1. 如何把資料聚合運算。
  2. 如何管理資料聚合完的資料管理。
  3. 如何把資料快速的供應與自動化給予不同的部門使用。

為了解決上述的挑戰,我們會建立架構會長得像下面的樣貌

資料從各個不同的資料儲存方式收集回來的資料,透過資料整理工具建置 ETL 送進 Data Warehouse 中,在進行不同等級的資料及以及 Data Mart,最後自動化輸出在各個單位的應用上。

衍生的挑戰

此架構下有許多衍伸的挑戰值得企業在決定以及導入時的評估。

Schema 變動成本

在前述的 ETL 變動,通常都會牽連到的就是原本儲存在 Data Warehouse 中的數據儲存 schema 以及 data type,所以這時後如果較小的變更的話可能就是變更 type 如果是要變更 schema 例如新增或變更欄位的話會有許多上下游數據的變動成本。

Data Query 成本

由於 Data Warehouse 常常收費的方式不外乎就是 Concurrency, named users 以及機台規格,如雲端 Data Warehouse 常見的方式是你所 Query 的 data 量,由於是按照 Query 的使用量去做收費,所以一般在數據應用端還會再建置不同用途的 Data Mart 來降低授權費用。

數據業務建 Data Mart

如果還要維護多套的 Data Mart 將會是一個非常大的成本,可能還會有多台的衛星資料庫在 Data Warehouse 周邊,所以會造成每個衛星資料庫都需要調教以及維護問題。

Data Warehouse 授權成本

由於當數據量處理越來越大以及使用者越來越多時,這時候會有許多 Data Warehouse 的授權費用無形中不斷墊高。

BI Ad-hoc Query (Hot data) 成本

使用 Data Warehouse 時,如直接連結應用端,會有許多額外的費用。例如在 BI 層的 Hot data cache 這些都是在導入 Data Warehouse 的隱藏成本。

使用 CannerFlow 作為替代方案

使用 CannerFlow

CannerFlow 是基於 "資料虛擬化" 的概念建制,前面看到的不論是 ETL 與 ELT 最大的差異就是『資料必須先儲存進入到 Data Warehouse』才能做後面的轉換或是供給給應用單位使用。

  1. 快速連結各種檔案格式與跨組織的資料
  2. 即時標準化與正規化數據
  3. 讓數據管理能夠規模化,從小規模到大規模都適合
  4. 未來企業數據規模增長也能夠適用

為什麼 CannerFlow 資料虛擬化更適合新創與中型企業

  1. 補足企業數據人才稀缺:使用標準的 ANSI SQL 來操作與分析數十種不同的資料庫,讓大學畢業的人員也能立即在企業內部產出,而不需要因為資料種類多元而拖慢了數據產出與優化。
  2. 簡化建置複雜的數據架構:在企業內部數據渠道會是疊加性的成長複雜度以及維護的費用與時間,使用資料虛擬化能夠化複雜為簡單。
  3. 即刻開始搭建數據應用團隊:讓企業數據架構不用因為數據渠道搭建以及資料倉儲上的挑戰,讓數據應用難以很快的因應與繁雜的資源支持。
  4. 即刻讓數據變為商用應用:讓各個應用單位能快速地針對市場的需求快速的因應,讓數據快速變為商務應用。
  5. 即刻讓企業更彈性且提升競爭力:現在市場變動加劇不只市場的改變法規變更也是很常見造成企業因應的挑戰之一。使用 CannerFlow 讓企業彈性與競爭力加速!