現在數據整合困難?

以下是一般搭建數據渠道的複雜流程,團隊需要建置從資料源到 ETL (Extract, Transform, Load) 再到 Database/Data warehouse 最後到數據分析、BI 或者 AI 軟體中。

現在的數據流程通常由 Databases > ETL > Data Warehouse > Data Mart > BI > End User.

在這個流程裡會花費很多時間是在做資料的搬移與落地,像是數據需要從 Database ETL 到 Data Warehouse,或是從 Data Warehouse 把特定的欄位搬移到 Data Mart 上最後會再給應用單位使用。資料不斷拉取與落地會造成數據的延遲性以及會讓數據不斷的在各個地方有許多重複的資料,照成未來數據維護上也變得更加困難。

flow

在上面這個流程圖會與到幾個重要的挑戰

  1. 從數據來源到商業應用,會需要花費非常大的時間與人力成本投入才能達到。
  2. 以現在的系統建置,建置 Data warehouse, data mart 在數據配送上還是會遇到許多挑戰,更多請查看
  3. 應用端還是遇到很多數據應用瓶頸,不論是在效能、資源分配、建置成本等。
  4. 雲端要建置這樣的架構,需要專業人員、費用不貲、複雜度高,更多請查看