DolphinScheduler(原EasyScheduler) 是一個分散式工作流任務調度系統，主要解決數據研發ETL錯綜複雜的依賴關係，而不能直觀監控任務健康狀態等問題。Easy Scheduler以DAG流式的方式將Task組裝起來，跳過可實時監控任務的運行狀態，同時支持重試、從指定節點恢復失敗、暫停及Kill任務等操作。EasyScheduler由在工作流調度方面工作多年的多位小夥伴研發而成
基本介紹
- 中文名：海豚調度
- 外文名：Dolphin Scheduler
設計特點
DolphinScheduler(原EasyScheduler)是一個分散式工作流任務調度系統，主要解決數據研發ETL錯綜複雜的依賴關係所帶來的各種問題。
與同類調度系統的對比
其主要目標如下：
- 以DAG圖的方式將Task按照任務的依賴關係關聯起來，可實時可視化監控任務的運行狀態
系統部分截圖
- 支持豐富的任務類型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
- 支持工作流定時調度、依賴調度、手動調度、手動暫停/停止/恢復，同時支持失敗重試/告警、從指定節點恢復失敗、Kill任務等操作
- 支持工作流優先權、任務優先權及任務的故障轉移及任務逾時告警/失敗
系統部分截圖
- 支持工作流全局參數及節點自定義參數設定
- 支持資源檔案的線上上傳/下載，管理等，支持線上檔案創建、編輯
- 支持任務日誌線上查看及滾動、線上下載日誌等
- 實現集群HA，通過Zookeeper實現Master集群和Worker集群去中心化
- 支持對`Master/Worker` cpu load，memory，cpu線上查看
- 支持工作流運行歷史樹形/甘特圖展示、支持任務狀態統計、流程狀態統計
- 支持補數
- 支持多租戶
- 支持國際化
Easy Scheduler使用了很多優秀的開源項目，比如google的guava、guice、grpc，netty，ali的bonecp，quartz,以及apache的眾多開源項目等等！
