基于DolphinScheduler构建大数据调度平台

基于DolphinScheduler构建大数据调度平台
共29节 2337人在学 课程详情
  • 1、基于DS构建大数据调度课程说明
  • 2、大数据调度平台之Zookeeper环境安装
  • 3、构建大数据调度平台之Hadoop环境构建
  • 4、基于DS构建大数据调度平台之Kafka环境构建
  • 5、大数据调度平台之Hbase环境构建
  • 6、大数据调度平台之MySQL环境构建
  • 7、大数据调度平台之Hive环境构建
  • 8、DolphinScheduler环境构建
  • 9、大数据调度平台之Shell任务初体验
  • 10、SUBPROCESS任务以及定时管理实战讲解
  • 11、大数据调度平台之存储过程任务实战讲解
  • 12、大数据调度平台之SQL任务实战讲解
  • 13、大数据调度平台之Spark任务实战讲解
  • 14、大数据调度平台之Flink任务实战讲解
  • 15、大数据调度平台之Flink任务实战补充讲解
  • 16、大数据调度平台之推荐系统调度实战1
  • 17、大数据调度平台之推荐系统调度实战2
  • 18、大数据调度平台之推荐系统调度实战3
  • 19、大数据调度平台之推荐系统调度实战4
  • 20、大数据调度平台之推荐系统调度实战5
  • 21、大数据调度平台之推荐系统调度实战6
  • 22.DolphinScheduler2.x版本优化和重构等变更讲解
  • 23.DolphinScheduler2.x集群分布式安装1
  • 24.DolphinScheduler2.x集群分布式安装2
  • 25.DolphinScheduler2.x实战使用讲解
  • 26、DS3.x版本优化变更和新特性讲解
  • 27、DS3.x集群分布式安装实战
  • 28、DS3.x实战使用讲解1
  • 29、DS3.x实战使用讲解2

    订阅失败

    基于DolphinScheduler构建大数据调度平台
    基于DolphinScheduler构建大数据调度平台 ...

    订阅列表已满,请先移出部分订阅内容。

    当前章节需购买后观看
    开通超级会员免费看!专家精选系列课程,满足你从入门到精通!更有问答月卡免费送,你的问题有问必答!
    提交答案

    购买课程

    扫码完成付费,可继续学习全部课程内容

    加载中...
    播放页问题反馈
    视频学习中有任何产品建议都可由此反
    馈,我们将及时处理!

    课时介绍

    27、DS3.x集群分布式安装实战27、DS3.x集群分布式安装实战27、DS3.x集群分布式安装实战

    课程介绍

    Apache DolphinScheduler是一个新一代分布式大数据工作流任务调度系统,致力于“解决大数据任务之间错综复杂的依赖关系,整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作。目前已经有像IBM、腾讯、美团、360等400多家公司生产上使用。

     

    调度系统现在市面上的调度系统那么多,比如老牌的Airflow, Oozie,Kettle,xxl-job ,Spring Batch等等, 为什么要选DolphinScheduler ?

     

    DolphinScheduler 的定位是大数据工作流调度。通过把大数据和工作流做了重点标注. 从而可以知道DolphinScheduler的定位是针对于大数据体系。

     

    DolphinScheduler是非常强大的大数据调度工具,有以下一些特点:

    1、通过拖拽以DAG 图的方式将 Task 按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态;

    2、支持丰富的任务类型;

    3、支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill 任务等操作;

    4、支持工作流全局参数及节点自定义参数设置;

    5、支持集群HA,通过 Zookeeper实现 Master 集群和 Worker 集群去中心化;

    6、支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计;

    7、支持补数,并行或串行回填数据。

    课程会带大家构建DolphinScheduler大数据调度平台,实战讲解多种任务调度配置,会基于案例讲解DolphinScheduler使用,让大家在实战中掌握DolphinScheduler。

     

    DolphinScheduler 发展很快 很多公司调度都切换到了DolphinScheduler,掌握DolphinScheduler调度使用势在必行,抓住新技术机遇,为跳巢涨薪做好准备。

    推荐课程

    信息系统项目管理师自考笔记

    李明 · 908人在学

    python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据

    王先生 · 22795人在学

    手把手搭建Java超市管理系统【附源码】(毕设)

    汤小洋 · 4293人在学

    Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

    黄菊华 · 838人在学

    基于SSM酒店管理系统(毕设)

    小尼老师 · 899人在学

    java项目实战之购物商城(java毕业设计)

    Long · 5203人在学

    手把手搭建Java求职招聘系统【附源码】(毕设)

    汤小洋 · 1531人在学

    Python Django 深度学习 小程序

    钟翔 · 2404人在学

    城管局门前三包管理系统+微信小程序(vue+springboot)

    赖国荣 · 681人在学

    Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

    李杰 · 4075人在学

    正在试验
    后自动删除环境
    课程实验
    本次实验时间已到期 00:00:00
    课件正在飞速打包中,请耐心等待几秒钟~