大数据工具——DolphinScheduler

发布于:2024-05-06 ⋅ 阅读:(31) ⋅ 点赞:(0)

一、什么是DolphinScheduler

        DolphinScheduler是一个开源的分布式任务调度平台,专为大数据场景下的工作流调度和数据治理而设计。它的设计目标是提供一个可靠、高效、易用的任务调度系统,帮助用户实现任务的自动化调度和监控,从而提高工作效率和数据处理能力。

二、DolphinScheduler的一些关键特点和功能

  1. 分布式架构: DolphinScheduler采用分布式架构设计,可以在集群环境下运行和管理,实现任务的并行执行和高可用性。

  2. 任务调度管理: 用户可以通过DolphinScheduler管理和调度各种类型的任务,包括定时任务、依赖任务、数据处理任务等,实现任务的自动化调度和执行。

  3. 工作流编排: DolphinScheduler支持复杂的工作流程编排,用户可以通过可视化界面定义和管理工作流,包括任务依赖关系、任务执行顺序等,实现任务之间的数据流转和依赖控制。

  4. 任务监控和告警: DolphinScheduler提供实时的任务监控和告警功能,用户可以及时发现和处理任务执行异常或失败的情况,保障任务的稳定运行。

  5. 多租户支持: DolphinScheduler支持多租户管理,可以对不同用户或组织进行资源隔离和权限控制,确保各租户之间的任务调度和执行互不干扰。

  6. 可视化界面: DolphinScheduler提供直观友好的可视化界面,用户可以通过界面操作进行任务的创建、调度、监控和管理,降低使用门槛,提高用户体验。

  7. 灵活的插件机制: DolphinScheduler具备灵活的插件扩展机制,用户可以根据需求自定义开发和集成各种类型的任务和插件,满足不同场景下的任务调度需求。

三、DolphinScheduler功能模块

        DolphinScheduler包括多个功能模块,这些模块共同构成了其完整的任务调度和管理体系。以下是DolphinScheduler主要的功能模块:

  1. 任务管理模块: 这个模块负责任务的创建、编辑、删除以及查看任务状态等功能。用户可以在这里定义任务的类型(如Shell任务、Spark任务、Hive任务等)、调度策略、依赖关系等。

  2. 工作流管理模块: 这个模块用于工作流的创建、编辑和管理。用户可以通过工作流管理模块将多个任务组织成一个工作流,定义任务之间的依赖关系和执行顺序。

  3. 调度管理模块: 这个模块负责任务的调度和执行。用户可以在这里设置任务的调度策略、手动触发任务执行、监控任务执行状态等。

  4. 监控告警模块: 这个模块用于监控任务的执行状态和告警处理。用户可以在这里查看任务执行日志、监控任务执行情况,并及时处理任务执行异常或失败的告警。

  5. 权限管理模块: 这个模块用于用户权限的管理和控制。DolphinScheduler支持多租户管理,用户可以在这里设置用户和角色的权限,实现资源隔离和权限控制。

  6. 可视化界面模块: DolphinScheduler提供直观友好的可视化界面,用户可以通过界面操作进行任务和工作流的管理、调度和监控,提高用户体验和操作效率。

  7. 扩展插件模块: DolphinScheduler具有灵活的插件扩展机制,用户可以根据需求自定义开发和集成各种类型的任务和插件,扩展平台的功能和适用场景。

四、DolphinScheduler服务启动

DolphinScheduler启动访问
# 启动
sh /export/server/dolphinscheduler/bin/start-all.sh
# 停止
sh /export/server/dolphinscheduler/bin/stop-all.sh

网站:

http://192.168.88.80:12345/dolphinscheduler/ui/view/login/index.html