CannerFlow 架構與功能簡介

以下是 CannerFlow 總體的設計架構,把 CannerFlow 想像為一個虛擬的資料庫,用起來就像是在一個資料庫下 SQL 只是資料並不需要『移動』到系統中,CannerFlow 下面的來源可以動態的追蹤以及優化各種數據源的整合。

cannerflow_structure

功能設計

Metadata Manager

在 CannerFlow 這個虛擬的資料庫中有許多重要的功能第一項 Metadata Manager。由於 CannerFlow 為一個虛擬的資料庫,當他連結到他下面所有的資料庫時,Metadata Manager 將會定期的追蹤並更新 Metadata 最新的狀態。當有衝突或是重大改變的時候會主動通知 DBA 或是 IT。

Auditing & Logging

在 CannerFlow 這個數據的閘道擁有很強大的功能,因為他能夠取得所有連結到的數據庫。所以 CannerFlow 在軟體裡面設計一到審查以及 logging 的機制,幫助企業在未來 auditing 或是要知道哪些人在哪個時候拿了哪些數據。

Table Manager

CannerFlow 提供企業能夠在取得跨數據聚合資料後,能夠迅速地創造虛擬的 Material Views 管理不同階段的 table。讓企業可以進行多階層的數據分析以及數據清潔。

Cache Manager

CannerFlow 導入我們過去常在網站應用中,用的 CDN 概念。讓常使用的數據能夠暫存在 cache layer 幫助企業在取得得到過的資訊,在幾毫秒內即可取得。

Workspace 數據共享

由於企業在使用數據的時候,會依照他不同的目的以及專案會有不同的數據建置。在 CannerFlow 中能夠快速地開啟新的 Workspace(工作區)能夠讓不同專案取得完全不同的資訊與組合。且在工作區的人員只能取得在工作區內共享的數據。

Job Scheduler

取得完數據後,CannerFlow 整合現在最大宗企業所使用的分析工具 - Jupyter Notebook,企業可以在幾個按鈕內設定例如每月、每週產出固定報表給特定主管。

產品特色

即時聚合、自動擴充

CannerFlow 能夠運算 TB, PB 級的資料在即時算跨資料庫的運算以及資料集,當您的資料量大時自動擴充沒使用時自動關閉,達到成本最佳化。

暫存數據與負載均衡

企業面臨多人請求同樣的資料,例如 Marketing 要近期的銷售數據,CannerFlow 能夠負載讓相同的數據使用快取讓 Database 避免 lock 住。

重新組織資料庫

CannerFlow 提供 “工作區” 的功能,能夠讓企業自己在每個工作區重新組合這個工作區的人員可以獲取的 Table 以及哪幾個欄位。

數據轉換、沿襲

CannerFlow 提供數據轉換工具,可以進行資料清理,並記錄所有資料從哪些來源,以及做了哪些轉換完整紀錄,幫助企業能夠找到數據的來源。

上下游軟體整合

CannerFlow 整合 BI, 以及 AI 所有主流的工具,方便企業直接在 CannerFlow 中的資料可以直接在 BI, AI 中使用。

資料審查、安全性

CannerFlow 可以追蹤所有的使用者的使用情況,什麼時候?誰?拿了什麼資料做了什麼事情一覽無遺。

structure level

全新數據虛擬化平台

快速取得跨數據

Canner 獨有的虛擬化技術,讓企業內部能夠最快速的取得想要的跨資料集數據洞察報告,不必再被建製數據渠道的漫長流程綁手綁腳。

單一平台操作

以往製作各項的數據架構需一項一項的自己去連結,使用雲供應商的工具也需要複雜的串接與設定。CannerFlow 單一平台自動化部屬與設定。

高效率雲運算

CannerFlow 建置最優化的運算環境,讓您的雲運算資源能夠極大化,不必再需要數據工程師手動設定以及監督雲運算的開銷。

易上手使用

現在有了 CannerFlow 您不必再擔心數據串接以及要熟習各種大數據工具,所有建置與優化都是全自動化。