企業各部門人員架構為何？

企業在近幾年開始流行『數據導向決策(Data-Driven Decision Making)』，那數據導向決策需要有哪些組成呢？一般 "數據分析與加值應用時" 團隊的建立一般會包含以下職位。

team_structure

數據的處理與需求

在做大數據處理通常會經歷以下階段

  1. 數據收集
  2. 搬移儲存數據
  3. 數據轉換與加值 (ETL)
  4. 數據倉儲
  5. 數據分權與 Data Mart
  6. BI & AI 數據應用

在企業內部數據從最源頭到最後數據的應用，需要在團隊內合作與分工達到目標，以下為企業常見的數據角色。

1. 數據工程師

數據工程師主要的任務是建置一個環境有辦法讓數據科學家以及數據分析師得以開始進行近一步的分析或把數據轉達變成視覺化或是深入報告。

也就是說數據工程師是『建置』者，那數據工程師會需要哪些能力呢

  1. 需要了解程式設計像是 Python 或是 Scala 等程式語言
  2. 需要了解各資料庫特性與建置
  3. 了解雲端服務像是 AWS, Azure, GCP 等平台，或者是 On-Prem 的架構
  4. 了解如何做資料清理、資料前處理以及 ETL pipeline 建置等像是 Spark, Hadoop, Kafka

2. 數據科學家

我們來看數據科學家一般所需要的技能，數據科學家的技能應是導入數學理論及分析技巧，把數據傳達給更多人能夠理解。

  1. 數學及分析
  2. ML & AI 演算法導入
  3. 撰寫 Script 程式及資料庫 SQL 語法
  4. 專業領域的相關知識
  5. 溝通以及數據視覺化的能力

3. 數據分析師

通常數據科學家以及數據分析師的差別在於，數據科學家需要套用複雜的數學模型以及演算法例如：預測、假設檢定等。

數據分析師主要拿歷史資料做數據探索，得到洞察報告以及知道如何傳達正確的數據給主管機關或是對外的業務。

  1. 撰寫 Script 程式及資料庫 SQL 語法
  2. 專業領域 (Domain Knowledge) 的相關知識
  3. 溝通以及數據視覺化的能力

4. 資料庫管理師 (DBA)

資料庫管理師通常會協助企業完成資料庫相關工作內容，包含資料庫設計、資料庫維護更新、資料庫安全性設定、資料庫備援與提供數據。

  1. 會基本的撰寫 Script 程式及資料庫 SQL 語法
  2. 專業領域的相關知識
  3. 資料庫設定與維護
  4. 資料庫新增與刪除

5. 管理資訊系統人員 (MIS)

MIS 依管理決策之需要，應用資料庫將一個機構之資訊整合處理分析， 以便即時提供各階層管理者使用。