大数据大数据电信客服案例教程
本课程中，你将学习到，项目架构搭建，数据生产，数据消费，数据分析，以及数据展示等项目核心业务功能的实现。学习过程中，我们将使用Flume，Kafka，HBase，Hadoop,Echarts,Crontab等大数据框架完成整个业务的实现，并在学习过程中对各个框架的应用和原理进行梳理和剖析。【视频特点】 通信运营商每时每刻会产生大量的通信数据，例如通话记录，短信记录，彩信记录，第三方服务资费等等繁多信息。数据量如此巨大，除了要满足用户的实时查询和展示之外，还需要定时定期的对已有数据进行离线的分析处理。 电信客服综合案例就是以此为切入点所开发的大数据实战案例。 在本课程中，你将学习到，项目架构搭建，数据生产，数据消费，数据分析，以及数据展示等项目核心业务功能的实现。学习过程中，我们将使用Flume，Kafka，HBase，Hadoop,Echarts,Crontab等大数据框架完成整个业务的实现，并在学习过程中对各个框架的应用和原理进行梳理和剖析。
共34节 692人已学习¥199.0 免费试学
大数据大数据项目实战：电商推荐系统
如今大数据已经成了各大互联网公司工作的重点方向，而推荐系统可以说就是大数据最好的落地应用之一，已经为企业带来了可观的用户流量和销售额。特别是对于电商，好的推荐系统可以大大提升电商企业的销售业绩。国内外的知名电商，如亚马逊、淘宝、京东等公司，都在推荐系统领域投入了大量研发力量，也在大量招收相关的专业人才。打造的电商推荐系统项目，就是以经过修改的中文亚马逊电商数据集作为依托，并以某电商网站真实的业务架构作为基础来实现的，其中包含了离线推荐与实时推荐体系，综合利用了协同过滤算法以及基于内容的推荐方法来提供混合推荐。具体实现的模块主要有：基于统计的离线推荐、基于隐语义模型的离线推荐、基于自定义模型的实时推荐，以及基于内容的、和基于Item-CF的离线相似推荐。整个项目具有很强的实操性和综合性，对已有的大数据和机器学习相关知识是一个系统性的梳理和整合，通过学习，同学们可以深入了解推荐系统在电商企业中的实际应用，可以为有志于增加大数据项目经验的开发人员、特别是对电商业务领域感兴趣的求职人员，提供更好的学习平台。适合人群：1.有一定的 Java、Scala 基础，希望了解大数据应用方向的编程人员2.有 Java、Scala 开发经验，了解大数据相关知识，希望增加项目经验的开发人员3.有电商领域开发经验，希望拓展电商业务场景、丰富经验的开发人员4.有较好的数学基础，希望学br习机器学习和推荐系统相关算法的求职人员
共29节 2774人已学习¥128.0 免费试学
大数据机器学习与推荐系统
一、机器学习与推荐系统课程简介 伴随着大数据时代的到来，作为发掘数据规律的重要手段，机器学习已经受到了越来越多的关注。而作为机器学习算法在大数据上的典型应用，推荐系统已成为各行业互联网公司营销体系中不可或缺的一部分，而且已经带来了真实可见的收益。 目前，推荐系统和机器学习已经成为各大公司的发力重点，众多知名公司（如亚马逊、netflix、facebook、阿里巴巴、京东、腾讯、新浪、头条等）都在着眼于将蕴含在庞大数据中的宝藏发掘出来，懂机器学习算法的大数据工程师也成为了新时代最紧缺的人才。 尚硅谷精心打造出了机器学习与推荐系统课程，将机器学习理论与推荐系统项目实战并重，对机器学习和推荐系统基础知识做了系统的梳理和阐述，并通过电影推荐网站的具体项目进行了实战演练。为有志于增加大数据项目经验、扩展机器学习发展方向的工程师提供最好的学习平台。 二、课程内容和目标 本课程主要分为两部分，机器学习和推荐系统基础，与电影推荐系统项目实战。 第一部分主要是机器学习和推荐系统基础理论的讲解，涉及到各种重要概念和基础算法，并对一些算法用python做了实现； 第二部分以电影网站作为业务应用场景，介绍推荐系统的开发实战。其中包括了如统计推荐、基于LFM的离线推荐、基于模型的实时推荐、基于内容的推荐等多个模块的代码实现，并与各种工具进行整合互接，构成完整的项目应用。 通过理论和实际的紧密结合，可以使学员对推荐系统这一大数据应用有充分的认识和理解，在项目实战中对大数据的相关工具和知识做系统的回顾，并且可以掌握基本算法，入门机器学习这一前沿领域，为未来发展提供更多的选择，打开通向算法工程师的大门。
共65节 1220人已学习¥89.0 免费试学
大数据大数据—电商数仓项目
一、课程简介 随着技术的飞速发展，经过多年的数据积累，各互联网公司已保存了海量的原始数据和各种业务数据，所以数据仓库技术是各大公司目前都需要着重发展投入的技术领域。数据仓库是面向分析的集成化数据环境，为企业所有决策制定过程，提供系统数据支持的战略集合。通过对数据仓库中数据的分析，可以帮助企业改进业务流程、控制成本、提高产品质量等。 二、课程内容 本次精心打造的数仓项目的课程，从项目架构的搭建，到数据采集模块的设计、数仓架构的设计、实战需求实现、即席查询的实现，我们针对国内目前广泛使用的Apache原生框架和CDH版本框架进行了分别介绍，Apache原生框架介绍中涉及到的技术框架包括Flume、Kafka、Sqoop、MySql、HDFS、Hive、Tez、Spark、Presto、Druid等，CDH版本框架讲解包括CM的安装部署、Hadoop、Zookeeper、Hive、Flume、Kafka、Oozie、Impala、HUE、Kudu、Spark的安装配置，透彻了解不同版本框架的区别联系，将大数据全生态系统前沿技术一网打尽。在过程中对大数据生态体系进行了系统的讲解，对实际企业数仓项目中可能涉及到的技术点都进行了深入的讲解和探讨。同时穿插了大量数仓基础理论知识，让你在掌握实战经验的同时能够打下坚实的理论基础。 三、课程目标 本课程以国内电商巨头实际业务应用场景为依托，对电商数仓的常见实战指标以及难点实战指标进行了详尽讲解，具体指标包括：每日、周、月活跃设备明细，留存用户比例，沉默用户、回流用户、流失用户统计，最近连续3周活跃用户统计，最近7天内连续3天活跃用户统计，GMV成交总额分析，转化率及漏斗分析，品牌复购率分析、订单表拉链表的设计等，让学生拥有更直观全面的实战经验。通过对本课程的学习，对数仓项目可以建立起清晰明确的概念，系统全面的掌握各项数仓项目技术，轻松应对各种数仓难题。 四、课程亮点 本课程结合国内多家企业实际项目经验，特别加入了项目架构模块，从集群规模的确定到框架版本选型以及服务器选型，手把手教你从零开始搭建大数据集群。并且总结大量项目实战中会遇到的问题，针对各个技术框架，均有调优实战经验，具体包括：常用Linux运维命令、Hadoop集群调优、Flume组件选型及性能优化、Kafka集群规模确认及关键参数调优。通过这部分学习，助学生迅速成长，获取前沿技术经验，从容解决实战问题。
共142节 7215人已学习¥199.0 免费试学
大数据大数据—Scala
一、Scala核心编程课程简介 近年来随着大数据的兴起，大数据核心框架Spark和Kafka也受到到广泛关注， Spark底层是Scala实现的， 因此也带火了Scala语言，目前Scala被全球知名公司（如：谷歌、百度、阿里、Twitter、京东等）广泛用于Spark开发。新一代的物联网时代到来，会对大数据应用人才的需求越加紧迫。 尚硅谷网罗和整合了学员很喜爱的师资，打造出专注于Spark开发的Scala课程，我们讲解Scala核心编程技术，同时也讲解编程思想、设计模式和Scala底层实现，让您有豁然开朗的感受。 二、课程内容和目标 本课程重点讲解Scala核心编程，内容包括: Scala语言概述、运算符、程序流程控制、数据结构之集合、Map映射、过滤、化简、折叠、扫描、拉链、视图、并行集合、高阶函数、函数柯里化、偏函数、参数推断、控制抽象、Trait、面向对象编程、异常处理、惰性函数、Akka及Actor模型、Spark Master和Worker通讯、隐式转换、隐式参数、工厂模式、单例模式、观察者模式、装饰者模式、代理模式、泛型、上下界、视图界定、上下文界定、协变逆变不变和源码剖析。通过系统全面的学习，学员能掌握Scala编程思想和Scala底层机制,为进一步学习Spark打下坚实基础。 三、谁适合学 1.希望以较低的投入和风险，来了解自己是否适合转型从事Spark开发的求职人员。 2.有一定的Java基础，或者自学过一些Java书籍与视频资料，想系统掌握Scala语言的程序员。
共61节 6991人已学习免费 免费试学
大数据大数据视频_Oozie视频教程
Oozie是大数据生态圈中一个基于工作流的任务调度工具，也是大数据工程师的一个常用工具。在本课程中，你将学习到，Oozie的原理、安装配置、使用Oozie实现调度Shell脚本、逻辑调度多个Shell脚本、直接调度MapReduce任务以及定时逻辑调度多个任务。
共9节 290人已学习¥12.0 免费试学
大数据大数据视频_Sqoop视频教程
Sqoop是大数据生态圈中一个数据传输工具，也是大数据工程师的一个常用工具。在本课程中，你将学习到，Sqoop的原理、安装配置、使用Oozie实现数据在Mysql与HDFS(Hive、HBase)等框架之间的互导。
共10节 328人已学习¥18.0 免费试学
大数据大数据视频_HBase视频教程
HBase是一个基于HDFS的分布式、面向列的开源数据库，是一个结构化数据的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。是每一个大数据都应该掌握的基本框架。在本课程中，主要讲述了HBase详细的架构原理及特点、HBase内部各个角色的详细介绍、安装配置、HBase的Shell操作、新旧版本的读写数据详细流程、HBase的API操作、使用MapReduce以及Hive对HBase数据分析、Rowkey设计、预分区设计、调优策略以及结合谷粒微博项目将核心知识点再次梳理，更熟练的运用HBase。
共50节 858人已学习¥38.0 免费试学
大数据大数据视频_Kafka视频教程
Kafka是一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。在本课程中，你将学习到，Kafka架构原理、安装配置使用、详细的Kafka写入数据和处理数据以及写出数据的流程、新旧版本对比及运用、分区副本机制的详解、内部存储策略、高阶API直接消费数据、低阶API自行管理Offset消费数据、Kafka拦截器以及KafkaStream流式处理。
共24节 437人已学习¥58.0 免费试学
大数据大数据视频_Flume视频教程
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。是大数据大数据开发工程师必须会的框架之一。在本课程中，你将学习到，Flume架构原理、安装配置、拓扑结构、使用Flume搭建监控端口采集数据、监控本地(或HDFS)文件(或文件夹)采集数据、多数据源采集数据、多数据出口收集日志、Flume负载均衡以及对于Flume的监控Ganglia的运用。
共20节 362人已学习¥58.0 免费试学
大数据大数据视频_HA视频教程
HA(High Available)意为高可用，在本课程中主要是Hadoop的高可用，在实际开发环境中是必不可少的技术之一。你将通过本课程学习到，Hadoop存在的单点故障问题，解决单点故障的方案，搭建手动故障转移的HDFS-HA集群，搭建基于Zookeeper的自动故障转移的HDFS-HA集群以及自动故障转移的Yarn-HA集群。
共10节 516人已学习¥58.0 免费试学
大数据大数据视频_Hive视频教程（上）
Hive是基于Hadoop的一个数据仓库工具，将繁琐的MapReduce程序变成了简单方便的SQL语句实现，深受广大软件开发工程师喜爱。Hive同时也是进入互联网行业的大数据开发工程师必备技术之一。在本课程中，你将学习到，Hive架构原理、安装配置、hiveserver2、数据类型、数据定义、数据操作、查询、自定义UDF函数、窗口函数、压缩和存储、企业级调优、以及结合谷粒影音项目需求，把整个Hive的核心知识点贯穿起来。
共53节 9431人已学习免费 免费试学
其他大数据视频_Zookeeper视频教程
Zookeeper主要应用于大数据开发中的，统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等场景。该框架相当于大数据框架中的润滑剂。是大数据大数据开发工程师必须会的框架之一。本套课程讲解了，Zookeeper的集群安装、选举机制、监听器原理、写数据流程、Shell命令行操作、客户端API操作、服务器节点动态上下线综合案例以及企业真实面试题。
共23节 3911人已学习免费 免费试学
Hadoop大数据视频_Hadoop视频教程（上）
课程特点： 1、全程案例贯穿始终，几乎每个知识点都有配套的案例； 2、整个框架深入源码讲解； 3、优化措施全部来源于企业开发； 4、Hadoop相关企业真题全覆盖。 本课程中你将学习到，Hadoop完全分布式集群搭建、Hadoop源码编译、HDFS的Shell操作、HDFS的API操作、HDFS的IO流操作、HDFS读写数据流程、NameNode和SecondaryNameNode工作机制、DataNode工作机制、集群节点动态服役和退役、HDFS2.x新特性、MapReduce编程规范、自定义序列化、自定义InputFormat、自定义OutputFormat、分区、排序、合并、分组、ReduceJoin、MapJoin、数据清洗、计数器、TopN案例、倒排索引案例、MapTask工作机制、ReduceTask工作机制、Shuffle工作机制、MapReduce工作流程、Job提交流程源码、MapReduce源码、数据压缩、Yarn工作机制、作业提交流程、YARN资源调度器、MapReduce企业优化、HDFS小文件企业优化、数据倾斜优化等。
共60节 9643人已学习免费 免费试学
其他大数据视频_Shell视频教程
Shell是一个功能相当强大的编程语言，易编写、易调试、灵活性强。Shell可以帮助我们来管理大数据集群，提高开发效率。本课程详细讲解：Shell解析器、变量、运算符、条件判断、流程控制、函数、cut、sed、awk、sort和企业真题（京东、搜狐、新浪等）。课程中全程以案例贯穿，深入浅出 。
共26节 3975人已学习免费 免费试学
- 1
缪传海
高校教师 / 培训机构讲师
尚硅谷讲师，辽宁工程技术大学硕士，曾先后就职于交大思诺、文思海辉、宅急送等知名企业，任项目经理、架构师等职位。具有多年项目开发与管理经验。精通android、c/c++,linux等多种开发语言。技术功能深厚，热衷于新技术的研究。
授课风趣幽默，专治各种疑难bug。
课程数 15 学生数 48643