基于DolphinScheduler构建大数据调度平台

基于DolphinScheduler构建大数据调度平台
共29节 1676人在学 课程详情
  • 1、基于DS构建大数据调度课程说明
  • 2、大数据调度平台之Zookeeper环境安装
  • 3、构建大数据调度平台之Hadoop环境构建
  • 4、基于DS构建大数据调度平台之Kafka环境构建
  • 5、大数据调度平台之Hbase环境构建
  • 6、大数据调度平台之MySQL环境构建
  • 7、大数据调度平台之Hive环境构建
  • 8、DolphinScheduler环境构建
  • 9、大数据调度平台之Shell任务初体验
  • 10、SUBPROCESS任务以及定时管理实战讲解
  • 11、大数据调度平台之存储过程任务实战讲解
  • 12、大数据调度平台之SQL任务实战讲解
  • 13、大数据调度平台之Spark任务实战讲解
  • 14、大数据调度平台之Flink任务实战讲解
  • 15、大数据调度平台之Flink任务实战补充讲解
  • 16、大数据调度平台之推荐系统调度实战1
  • 17、大数据调度平台之推荐系统调度实战2
  • 18、大数据调度平台之推荐系统调度实战3
  • 19、大数据调度平台之推荐系统调度实战4
  • 20、大数据调度平台之推荐系统调度实战5
  • 21、大数据调度平台之推荐系统调度实战6
  • 22.DolphinScheduler2.x版本优化和重构等变更讲解
  • 23.DolphinScheduler2.x集群分布式安装1
  • 24.DolphinScheduler2.x集群分布式安装2
  • 25.DolphinScheduler2.x实战使用讲解
  • 26、DS3.x版本优化变更和新特性讲解
  • 27、DS3.x集群分布式安装实战
  • 28、DS3.x实战使用讲解1
  • 29、DS3.x实战使用讲解2

    订阅失败

    基于DolphinScheduler构建大数据调度平台
    基于DolphinScheduler构建大数据调度平台 ...

    订阅列表已满,请先移出部分订阅内容。

    当前章节需购买后观看
    开通超级会员免费看!专家精选系列课程,满足你从入门到精通!更有问答月卡免费送,你的问题有问必答!
    提交答案

    购买课程

    扫码完成付费,可继续学习全部课程内容

    加载中...
    播放页问题反馈
    视频学习中有任何产品建议都可由此反
    馈,我们将及时处理!

    课程介绍

    Apache DolphinScheduler是一个新一代分布式大数据工作流任务调度系统,致力于“解决大数据任务之间错综复杂的依赖关系,整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作。目前已经有像IBM、腾讯、美团、360等400多家公司生产上使用。

     

    调度系统现在市面上的调度系统那么多,比如老牌的Airflow, Oozie,Kettle,xxl-job ,Spring Batch等等, 为什么要选DolphinScheduler ?

     

    DolphinScheduler 的定位是大数据工作流调度。通过把大数据和工作流做了重点标注. 从而可以知道DolphinScheduler的定位是针对于大数据体系。

     

    DolphinScheduler是非常强大的大数据调度工具,有以下一些特点:

    1、通过拖拽以DAG 图的方式将 Task 按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态;

    2、支持丰富的任务类型;

    3、支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill 任务等操作;

    4、支持工作流全局参数及节点自定义参数设置;

    5、支持集群HA,通过 Zookeeper实现 Master 集群和 Worker 集群去中心化;

    6、支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计;

    7、支持补数,并行或串行回填数据。

    课程会带大家构建DolphinScheduler大数据调度平台,实战讲解多种任务调度配置,会基于案例讲解DolphinScheduler使用,让大家在实战中掌握DolphinScheduler。

     

    DolphinScheduler 发展很快 很多公司调度都切换到了DolphinScheduler,掌握DolphinScheduler调度使用势在必行,抓住新技术机遇,为跳巢涨薪做好准备。

    推荐课程
    正在试验
    后自动删除环境
    课程实验
    本次实验时间已到期 00:00:00
    程序员研修院 v1.1.0
    一、播放器优化
    修改播放器默认倍速设置,增加1.25倍速
    调整目录展示形式,增加折叠/展开
    优化播放器的使用体验,有播放问题可以点击播放页内的”反馈“提交问题
    查看全部版本记录
    课件正在飞速打包中,请耐心等待几秒钟~