【系统完整】大数据项目实战就业课程|离线|实时|数仓|推荐|数据可视化

【系统完整】大数据项目实战就业课程|离线|实时|数仓|推荐|数据可视化
共274节 34人在学 课程详情
  • 大数据项目课程整体介绍

    • 课程整体介绍
    • 01大数据可视化系统最终实现效果
  • 大数据项目需求分析与架构设计

    • 1.1何为大数据
    • 1.2大数据平台架构
    • 1.3大数据工程师的技能树
    • 1.4大数据项目需求分析
    • 1.5系统整体架构设计
    • 1.6架构设计及数据流程设计
    • 1.7大数据平台规划
  • 搭建IDEA开发环境及 Linux虚拟机

    • 2.1JDK安装与配置
    • 2.2Maven安装与配置
    • 2.3IDEA安装与Maven配置
    • 2.4IDEA创建Maven项目
    • 2.5IDEA配置SDK
    • 2.6Vmware Workstation虚拟化软件安装
    • 2.7Linux操作系统介绍
    • 2.8安装Centos7系统
    • 2.9配置Linux静态IP1
    • 2.10配置Linux静态IP2
    • 2.11x-shell工具连接虚拟机
    • 2.12FileZilla工具连接虚拟机
    • 2.13配置Linux主机名与IP映射
    • 2.14关闭Linux防火墙
    • 2.15创建Linux用户和用户组
    • 2.16Linux SSH免密登录
    • 2.17替换Centos7 yum源
  • 基于Hadoop构建大数据平台

    • 3.1Zookeeper定义及特点
    • 3.2Zookeeper架构及原理
    • 3.3Zookeeper数据模型及应用案例分析
    • 3.4克隆Linux虚拟机hadoop02
    • 3.5克隆Linux虚拟机hadoop03
    • 3.6配置Linux Hosts文件
    • 3.7配置集群时钟同步服务
    • 3.8配置集群SSH免密登录
    • 3.9大数据集群脚本工具开发
    • 3.10JDK安装与配置
    • 3.11Zookeeper分布式集群搭建
    • 3.12Zookeeper shell客户端操作
    • 3.13HDFS架构设计
    • 3.14HDFS fsimage与editlog合并过程
    • 3.15HDFS优缺点
    • 3.16HDFS读数据流程
    • 3.17HDFS副本存放策略
    • 3.18HDFS高可用架构及运行原理
    • 3.19HDFS联邦机制
    • 3.20YARN基本架构
    • 3.21YARN工作原理
    • 3.22MapReduce ON YARN详细工作流程
    • 3.23YARN HA架构及原理
    • 3.24YARN的调度器详解
    • 3.25Hadoop集群规划
    • 3.26HDFS集群配置
    • 3.27启动HDFS集群服务
    • 3.28HDFS集群测试运行
    • 3.29YARN集群配置
    • 3.30YARN集群服务启动与测试
    • 3.31Hadoop集群提交作业测试运行
    • 3.32Hadoop集群管理1
    • 3.33Hadoop集群管理2
    • 3.34Hadoop集群调优
    • 3.35MapReduce基本设计思想
    • 3.36MapReduce编程模型
    • 3.37MapReduce应用示例
    • 3.38MapReduce第一个案例代码实现
    • 3.39IDEA打包MapReduce程序提交Hadoop运行
    • 3.40MapReduce运行机制
    • 3.41作业失败与容错
    • 3.42shuffle过程详解
  • 基于HBase和Kafka构建海量数据存储与交换系统

    • 4.1HBase的定义及特点
    • 4.2HBase逻辑模型与数据模型
    • 4.3HBase物理模型
    • 4.4HBase架构设计
    • 4.5HBase分布式集群配置
    • 4.6HBase集群服务启动
    • 4.7HBase硬件性能调优
    • 4.8HBase JVM性能调优
    • 4.9HBase查询层面性能调优
    • 4.10HBase参数层面的性能调优
    • 4.11HBase新闻资讯业务表建模
    • 4.12Kafka定义及特点
    • 4.13Kafka架构设计
    • 4.14Kafka分布式集群搭建
    • 4.15Kafka集群测试运行
    • 4.16Kafka Eagle监控安装前准备
    • 4.17MySQL服务安装
    • 4.18Kafka Eagle安装配置
    • 4.19Kafka Eagle服务启动与验证
  • 基于Hive构建新闻资讯大数据仓库

    • 5.1Flume架构设计
    • 5.2Flume环境的搭建
    • 5.3Flume分布式集群搭建1
    • 5.4Flume分布式集群搭建2
    • 5.5Flume分布式集群搭建3
    • 5.6Flume与Kafka集成配置
    • 5.7Flume与Kafka集成测试
    • 5.8HBaseSink源码二次开发1
    • 5.9HBaseSink源码二次开发2
    • 5.10HBaseSink源码二次开发3
    • 5.11Flume与HBase集成开发测试
    • 5.12Flume与Kafka、HBase集成开发1
    • 5.13Flume与Kafka、HBase集成开发2
    • 5.14Hive数仓工具概述
    • 5.15Hive架构设计及运行原理
    • 5.16Hive数据类型与数据存储
    • 5.17创建MySQL账号并授权
    • 5.18Hive安装配置
    • 5.19Hive服务启动与测试
    • 5.20Hive与HBase集成开发
    • 5.21基于Hive的用户行为数据离线分析
    • 5.22DataX架构原理
    • 5.23DataX安装配置
    • 5.24DataX-Web安装部署
    • 5.25新闻资讯业务概述
    • 5.26准备MySQL数据源表结构及数据
    • 5.27准备Hive目标表结构
    • 5.28通过DataX Web构建数据采集任务
    • 5.29手动将user_info数据导入大数据平台
    • 5.30定时将user_info数据导入大数据平台
    • 5.31通过DataX将新闻基础数据以及日期等数据导入大数据平台
    • 5.32统一导入大数据平台的数据日期
    • 5.33大数据仓库概述
    • 5.34数据仓库建模方法论之ER模型
    • 5.35数据仓库建模方法论之维度模型
    • 5.36星型模型、雪花模型与星座模型
    • 5.37数据仓库分层设计
    • 5.38数据仓库设计及规范
    • 5.39大数据仓库项目需求分析及架构设计
    • 5.40搭建数据仓库ODS层1
    • 5.41搭建数据仓库ODS层2
    • 5.42搭建数据仓库DIM层
    • 5.43搭建数据仓库DWD层-事件日志表拆分1
    • 5.44搭建数据仓库DWD层-事件日志表拆分2
    • 5.45搭建数据仓库DWD层-基础事件事实表拆分
    • 5.46搭建数据仓库DWS层-创建互动域的聚合表
    • 5.47搭建数据仓库DWS层-编写并执行ELT脚本
    • 5.48搭建数据仓库DWS层-流量域数据汇总1
    • 5.49搭建数据仓库DWS层-流量域数据汇总2
    • 5.50搭建数据仓库ADS层-新闻主题-各类别新闻点赞次数Top3
    • 5.51搭建数据仓库ADS层-新闻主题-各平台新闻收藏次数Top3
    • 5.52搭建数据仓库ADS层-新闻主题-每日新闻点赞、收藏、转发次数
    • 5.53搭建数据仓库ADS层-用户主题相关指标聚合
    • 5.54搭建数据仓库ADS层-流量主题相关指标聚合
    • 5.55搭建数据仓库ADS层-脚本开发及数据聚合1
    • 5.56搭建数据仓库ADS层-脚本开发及数据聚合2
    • 5.57搭建数据仓库ADS层-脚本开发及数据聚合3
    • 5.58报表数据导出-创建MySQL聚合表
    • 5.59报表数据导出-DataX数据导出1
    • 5.60报表数据导出-DataX数据导出2
    • 5.61报表数据导出-DataX数据导出3
  • 基于Spark的新闻资讯实时分析项目

    • 6.1Spark概述
    • 6.2编写并运行Spark第一个入门程序
    • 6.3安装配置Scala环境
    • 6.4Spark开发第一个入门程序1
    • 6.5Spark开发第一个入门程序2
    • 6.6Spark架构原理
    • 6.7Spark弹性分布式数据集RDD
    • 6.8Spark算子详解
    • 6.9Spark Pair RDD及算子详解
    • 6.10Spark 三种运行模式详解
    • 6.11Spark Standalone模式分布式集群搭建
    • 6.12spark-submit将作业提交到Spark集群运行
    • 6.13Spark on YARN集群搭建及作业运行
    • 6.14Spark Streaming概述
    • 6.15Spark Streaming运行原理
    • 6.16Spark Streaming编程模型
    • 6.17实时项目需求分析与数据流程设计
    • 6.18项目结果表创建及依赖添加
    • 6.19SparkStreaming业务代码实现1
    • 6.20SparkStreaming业务代码实现2
    • 6.21SparkStreaming业务代码实现3
    • 6.22SparkStreaming业务代码实现4
    • 6.23打通实时计算项目流程1
    • 6.24打通实时计算项目流程2
    • 6.25Spark SQL架构原理
    • 6.26Spark SQL与Hive集成开发
    • 6.27Spark SQL与MySQL集成开发
    • 6.28Spark SQL项目需求分析及架构设计
    • 6.29Spark SQL项目业务代码实现1
    • 6.30Spark SQL项目业务代码实现2
    • 6.31Spark SQL项目业务代码实现3
    • 6.32打通Spark SQL离线计算项目流程
    • 6.33Spark Structured Streaming概述
    • 6.34Spark Structured Streaming编程模型
    • 6.35Spark Structured Streaming项目需求分析与架构设计
    • 6.36Spark Structured Streaming项目业务代码实现1
    • 6.37Spark Structured Streaming项目业务代码实现2
    • 6.38Spark Structured Streaming项目业务代码实现3
    • 6.39打通Spark Structured Streaming实时项目数据流程
  • 基于Flink的新闻资讯实时分析项目

    • 7.1Flink定义及特性详解
    • 7.2FlinkAPI分层结构详解
    • 7.3Flink最简安装部署运行
    • 7.4Flink实现第一个流式程序1
    • 7.5Flink实现第一个流式程序2
    • 7.6Flink常见概念
    • 7.7Flink运行时架构
    • 7.8Flink并行度
    • 7.9Flink算子链
    • 7.10Flink任务槽
    • 7.11Flink三种部署模式
    • 7.12Flink Standalone运行模式概述
    • 7.13配置Standalone运行模式的集群
    • 7.14Flink standalone会话模式部署
    • 7.15Flink standalone应用模式部署
    • 7.16Flink YARN运行模式概述
    • 7.17配置YANR运行模式的集群
    • 7.18Flink YARN会话模式部署
    • 7.19Flink YARN应用模式部署
    • 7.20Flink DataStream运行原理
    • 7.21Flink DataStream程序架构
    • 7.22Flink DataStream项目需求分析及架构设计
    • 7.23Flink DataStream项目业务代码实现1
    • 7.24Flink DataStream项目业务代码实现2
    • 7.25Flink DataStream 项目业务代码实现3
    • 7.26打通Flink DataStream实时计算项目流程1
    • 7.27打通Flink DataStream实时计算项目流程2
    • 7.28Flink SQL引擎的工作流程
    • 7.29Flink SQL的运行原理
    • 7.30Flink Catalog的分类
    • 7.31 Flink与Hive集成开发1
    • 7.32Flink与Hive集成开发2
    • 7.33Flink与Hive集成开发3
    • 7.34Flink SQL与mysql集成开发1
    • 7.35Flink SQL与mysql集成开发2
    • 7.36Flink SQL与mysql集成开发3
    • 7.37Flink SQL实时项目需求分析及架构设计
    • 7.38Flink SQL实时项目业务代码实现1
    • 7.39Flink SQL实时项目业务代码实现2
    • 7.40FlinkSQL打通实时计算项目流程1
    • 7.41FlinkSQL打通实时计算项目流程2
  • 基于Flink的新闻资讯推荐系统

    • 8.1推荐系统是什么并解决了哪些问题
    • 8.2推荐系统的主流程
    • 8.3推荐系统的召回路径详解
    • 8.4推荐系统通用架构
    • 8.5推荐系统分类详解
    • 8.6推荐算法设计举例详解
    • 8.7推荐系统评测详解
    • 8.8推荐系统项目需求分析
    • 8.9推荐系统项目核心模块
    • 8.10推荐系统项目实现逻辑
    • 8.11推荐系统项目核心架构
    • 8.12搭建推荐系统开发环境
    • 8.13推荐系统预处理模块开发-准备数据源
    • 8.14推荐系统预处理模块开发-预处理逻辑详解
    • 8.15推荐系统预处理模块开发-ALS召回预处理1
    • 8.16推荐系统预处理模块开发-ALS召回预处理2
    • 8.17推荐系统预处理模块开发-ALS召回预处理3
    • 8.18推荐系统预处理模块开发-ALS召回预处理4
    • 8.19推荐系统召回模块开发-召回原理详解
    • 8.20推荐系统召回模块开发-ALS召回代码实现
    • 8.21推荐系统召回模块开发-全局热门召回代码实现
    • 8.22推荐系统召回模块开发-分群热门召回代码实现
    • 8.23推荐系统召回模块开发-召回结果集合并代码实现
    • 8.24推荐系统排序模块开发-排序算法详解
    • 8.25推荐系统排序模块开发-逻辑回归算法详解
    • 8.26推荐系统排序模块开发-LR模型训练
    • 8.27推荐系统排序模块开发-LR模型排序
    • 8.28推荐系统调整模块开发-调整模块实现步骤
    • 8.29推荐系统调整模块开发-调整模块代码实现
    • 8.30推荐系统结果处理模块开发-准备工作
    • 8.31推荐系统结果处理模块开发-综合推荐结果入库
    • 8.32推荐系统结果处理模块开发-全局热门推荐结果入库
    • 8.33推荐模型优化与系统评价
  • 基于SpringBoot+Vue3的新闻资讯系统数据可视化

    • 9.1新闻资讯系统数据可视化-需求分析与架构设计
    • 9.2新闻资讯系统数据可视化-数据表结构与接口定义
    • 9.3新闻资讯系统数据可视化-搭建Springboot基础框架
    • 9.4新闻资讯系统数据可视化-后端核心接口开发
    • 9.5新闻资讯系统数据可视化-搭建Vue3基础框架
    • 9.6新闻资讯系统数据可视化-前端核心代码开发
    • 9.7新闻资讯系统数据可视化-前后端联调
    • 9.8新闻资讯系统数据可视化之跨域问题解决
    • 9.9新闻资讯系统数据可视化之前后端项目编译打包
    • 9.10新闻资讯系统数据可视化之后端项目部署
    • 9.11新闻资讯系统数据可视化之前端项目部署
    • 9.12新闻资讯系统数据可视化之访问新闻资讯数据可视化系统
    • 9.13新闻资讯数据展示与分析

    订阅失败

    【系统完整】大数据项目实战就业课程|离线|实时|数仓|推荐|数据可视化
    【系统完整】大数据项目实战就业课程|离线|实时|数仓|推荐|数据可视化 ...

    订阅列表已满,请先移出部分订阅内容。

    当前章节需购买后观看
    开通超级会员免费看!专家精选系列课程,满足你从入门到精通!更有问答月卡免费送,你的问题有问必答!
    提交答案

    购买课程

    扫码完成付费,可继续学习全部课程内容

    加载中...
    播放页问题反馈
    视频学习中有任何产品建议都可由此反
    馈,我们将及时处理!

    课时介绍

    8.20推荐系统召回模块开发-ALS召回代码实现8.20推荐系统召回模块开发-ALS召回代码实现

    课程介绍

    1.课程介绍

    本课程为《实战大数据(hadoop+spark+flink)》书籍配套的项目实战教程,以大数据实战项目为主线,理论和实战相结合,全方位、全流程、无死角讲解大数据项目的项目需求分析、技术选型、架构设计、集群规划、安装部署、大数据项目开发以及数据可视化。

    本课程包含Hadoop、Spark、Flink等主流实用大数据技术,涵盖离线计算、实时计算、数据仓库、推荐系统、数据可视化等主流大数据项目。

    学完本课程,零基础的学员能快速入行大数据,独立完成大数据项目开发;有开发基础的小伙伴也能积累各类大数据项目实战经验,快速成为大数据全栈工程师。

    2.课程特色
    (1)课程以实战项目为主线,理论与项目实战交替讲解,层层递进。
    (2)课程从理论原理、环境配置、服务安装、组件集成开发、业务代码开发、可视化等项目完整流程讲解,不会跳讲和断讲。
    (3)课程中无论案例代码开发还是项目业务代码开发,每一行代码都会边敲边讲解。
    (4)大数据各个技术组件版本选择、下载、安装、配置都会一一讲解到位。
    (5)课程使用目前稳定技术版本,如Hadoop3.3.3、Spark3.1.3、Flink1.20

    3.课程资料

    (1)提供完整安装包

    (2)提供完整集群配置文件

    (3)提供完整项目数据集

    (4)提供集群脚本

    (5)提供数据库建表SQL

    (6)提供完整工程源码

    (7)提供完整课程PPT

    (8)提供完整课程集群word文档

     

    4.大数据项目可视化效果图

    新闻资讯列表展示

    个性化推荐

    数据大屏展示

    数据仓库驾驶舱

    推荐课程

    信息系统项目管理师自考笔记

    李明 · 973人在学

    python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据

    王先生 · 23021人在学

    手把手搭建Java超市管理系统【附源码】(毕设)

    汤小洋 · 4321人在学

    Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

    黄菊华 · 848人在学

    基于SSM酒店管理系统(毕设)

    小尼老师 · 909人在学

    java项目实战之购物商城(java毕业设计)

    Long · 5217人在学

    手把手搭建Java求职招聘系统【附源码】(毕设)

    汤小洋 · 1541人在学

    Python Django 深度学习 小程序

    钟翔 · 2436人在学

    城管局门前三包管理系统+微信小程序(vue+springboot)

    赖国荣 · 711人在学

    Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

    李杰 · 4103人在学

    正在试验
    后自动删除环境
    课程实验
    本次实验时间已到期 00:00:00
    课件正在飞速打包中,请耐心等待几秒钟~