全票通过!易观开源项目DolphinScheduler进入Apache孵化器
“Welcome to Apache incubator,DolphinScheduler!”
DolphinScheduler是一个分布式易扩展的可视化 DAG 工作流任务调度系统,致力于解决数据处理流程中错综复杂的依赖关系,同时具有强大的可视化操作界面。DolphinScheduler曾用名为“EasyScheduler”,由于名称已在国外某App使用,经社区讨论与投票后改名为DolphinScheduler,简称”DS”, 中文名 “小海豚调度”(海豚聪明、人性化,有左右脑可互相换班,终生不用睡觉)。我们希望DolphinScheduler就像它的名字一样,成为一个“开箱即用”的灵活易用的调度系统。
-
易于使用,开发人员可以通过非常简单的拖拽操作构建ETL过程。 不仅对于ETL开发人员,无法编写代码的人也可以使用此工具进行ETL操作,例如系统管理员和分析师 -
解决“复杂任务依赖”问题,并且可以实时监视ETL运行状态 -
支持多租户 -
支持许多任务类型: Shell,MR,Spark,SQL(mysql,postgresql,hive,sparksql),Python,Sub_Process,Procedure等 -
支持HA和线性可扩展性
团队在2019年3月初,小范围(10多家公司)开放了DS的种子用户试用,得到了非常正能量的反馈,在4月初的正式对外开放源码后,很快就获得了许多开发人员的关注兴趣,目前github上的star现在已超过1700个,参与开发和使用的公司包括嘀嗒出行、雪球、凤凰金融、水滴互助、华润万家等。
-
通过拖拽以DAG 图的方式将 Task 按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态 -
支持丰富的任务类型 -
支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill 任务等操作 -
支持工作流全局参数及节点自定义参数设置 -
支持集群HA,通过 Zookeeper实现 Master 集群和 Worker 集群去中心化 -
支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计 -
支持补数,并行或串行回填数据
Sheng Wu ( Apache Incubator PMC, Apache officer, [email protected])
Sheng Wu ( Apache Incubator PMC, Apache officer, [email protected])
ShaoFeng Shi ( Apache Incubator PMC, [email protected])
Liang Chen ( Apache Incubator PMC, Apache member, [email protected])
Furkan KAMACI ( Apache Incubator PMC, Apache member, [email protected])
Kevin Ratnasekera ( Apache Incubator PMC, Apache member, [email protected])
William-GuoWei
Lidong Dai
Zhanwei Qiao
Liang Bao
Gang Li
Zijian Gong
Jun Gao
Baoqi Wu
我们坚信将DolphinScheduler引入Apache可以推动更强大,更多样化的开源社区的发展。我们将努力践行“Community Over Code“的Apache文化,同时欢迎更多的公司和个人参与到开发者队伍中来,让DolphinScheduler社区更加健壮、健康的发展,让更多人享受开源带来的技术革命!