數(shù)據(jù)開發(fā)服務(wù)向數(shù)據(jù)開發(fā)工程師提供拖拉拽控件的方式,設(shè)計復(fù)雜的工作流有向無環(huán)圖,挖掘出有商業(yè)價值的數(shù)據(jù)
架構(gòu)描述:
數(shù)據(jù)開發(fā)工程師創(chuàng)建工作流,設(shè)計工作流任務(wù)
系統(tǒng)維護員為工作流設(shè)置定時調(diào)度策略
系統(tǒng)維護員監(jiān)控工作流執(zhí)行情況
提供B/S模式的web界面,使有瀏覽器的地方即可開發(fā)、管理任務(wù)的需求成為可能
開發(fā)工作流時,通過預(yù)設(shè)任務(wù)的前置任務(wù)和任務(wù)分支,設(shè)計出復(fù)雜的流程,達到有條件、有步驟地提煉出數(shù)據(jù)的目的
開發(fā)工作流時,通過預(yù)設(shè)任務(wù)失敗的重試次數(shù)、失敗重試間隔,有效地減少人工干預(yù)任務(wù)執(zhí)行的工作量,提高工作流執(zhí)行成功率
開發(fā)工作流時,通過預(yù)設(shè)超時告警、發(fā)送郵件,將工作流執(zhí)行信息及時推送給用戶
數(shù)據(jù)開發(fā)工程師通過使用SHELL、SQL、SPARK、FLINK等控件開發(fā)工作流,在一個工作流中使用多種計算機語言、計算引擎對數(shù)據(jù)打出組合拳,從海量、雜亂無章的數(shù)據(jù)中提煉出有效的知識和信息
啟動工作流時,保存輸入?yún)?shù)。任務(wù)執(zhí)行失敗重跑時,可恢復(fù)到故障發(fā)生的執(zhí)行環(huán)境,重新跑出數(shù)據(jù)
復(fù)雜的工作流執(zhí)行失敗時,可從失敗的任務(wù)節(jié)點開始跑數(shù),避免從頭開始跑數(shù),浪費計算資源
在一個工作流中,數(shù)據(jù)開發(fā)工程師可以只使用MySQL、ORACLE、HIVE等數(shù)據(jù)倉庫中的一種;可以同時使用MySQL、ORACLE、HIVE等數(shù)據(jù)倉庫中的幾種,使數(shù)據(jù)從一種數(shù)據(jù)倉庫流向另一種數(shù)據(jù)庫
儀表盤:流程定義統(tǒng)計、任務(wù)狀態(tài)統(tǒng)計、流程狀態(tài)統(tǒng)計
數(shù)據(jù)源中心:數(shù)據(jù)源的管理界面
項目管理:數(shù)據(jù)開發(fā)服務(wù)按項目維度組織管理整個項目的工作流、工作流實例、任務(wù)實例
項目管理-工作流定義:界面表格、創(chuàng)建工作流、編輯工作流、運行、定時、定時管理、復(fù)制刪除工作流
項目管理-工作流實例:界面表格、編輯、重跑、恢復(fù)失敗、停止、暫定、刪除、甘特圖
項目管理-任務(wù)實例:界面表格、強制成功、查看日志