2013年9月份，TalkingData开始尝试使用Spark解决数据挖掘性能问题。随着对Spark的逐渐了解，TalkingData开始将Spark应用到整个移动大数据平台的建设中。在移动大数据平台中，ETL过程、计算过程、数据挖掘、交互式数据提取等等都依赖于Spark。在这里，我将要介绍我们使用Spark的状况、平台架构、以及一些实践经验。当然也包括一些总结的佳实践。

CSDN Spark 聚集地，汇聚了全国顶尖的Spark技术讲师，入群请加微信号zhongyineng。

Spark初级入门系列（Scala篇回顾，Spark篇报名学习）请访问这里报名。

正在实践的一些Spark Streaming使用场景；Streaming一些常见的bug，以及一些feature的改进；Spark Streaming reciver的一些探讨；自研的Spark Streaming开发框架介绍：完全配置化、支持热加载，只关注逻辑处理、无需关注Spark Streaming初始化、checkpoint等，集成spark sql的支持。

CSDN Spark 聚集地，汇聚了全国顶尖的Spark技术讲师，入群请加微信号zhongyineng。

Spark初级入门系列（Scala篇回顾，Spark篇报名学习）请访问这里报名。

2016中国Spark技术大会将于5月15日北京拉开帷幕，不仅有3位Apache Spark Committer Ram Sriharsha、连城、范文臣为大家解析Spark 2.0，来自Intel、Hortonworks、Elastic、腾讯、新浪微博、Admaster、MediaV等国内外机构的9位讲师将带来新的Spark实践分享详情访问会议官网。

基于 Spark Streaming 的实时处理研究，分享主要涉及以下内容：实时系统构架设计、开源组件选择、逻辑开发注意事项、Spark Streaming 的适用性和坑、AdMaster 的实际应用案例。

CSDN Spark 聚集地，汇聚了全国顶尖的Spark技术讲师，入群请加微信号zhongyineng。

Spark初级入门系列（Scala篇回顾，Spark篇报名学习）请访问这里报名。

2016中国Spark技术大会将于5月15日北京拉开帷幕，不仅有3位Apache Spark Committer Ram Sriharsha、连城、范文臣为大家解析Spark 2.0，来自Intel、Hortonworks、Elastic、腾讯、新浪微博、Admaster、MediaV等国内外机构的9位讲师将带来新的Spark实践分享详情访问会议官网。

随着数据量的不断增加，企业越来越重视大数据处理的成本问题，越来越多的公司开始结合自己的业务特点，试用不同的存储方式来满足不同的应用场景。

但是数据的计算和分析往往要放在一起才能更加高效和灵活。 本次分享主要介绍一下如何通过Spark的DataSource API的读写外部数据源中的数据，并结合一些具体场景来分析和解释使用DataSource API的好处以及需要注意的问题，提纲如下：为什么需要多种数据源、Spark多数据源的实现机制、几个常用的数据源简介、GrowingIO使用案例。

CSDN Spark 聚集地，汇聚了全国顶尖的Spark技术讲师，入群请加微信号zhongyineng。

Spark初级入门系列（Scala篇回顾，Spark篇报名学习）请访问这里报名。

美团是一家数据驱动型的公司，随着数据量的增大以及处理逻辑复杂度和对开发执行效率要求越来越高，Spark在美团各业务线的应用也越来越广泛。本次分享主要介绍我们在推广和使用Spark的过程中踩到的坑，解决问题的方法，以及常见的优化手段。另外也会介绍我们基于开源软件Zeppelin搭建的交互式开发平台。

CSDN Spark 聚集地，汇聚了全国顶尖的Spark技术讲师，入群请加微信号zhongyineng。

Spark初级入门系列（Scala篇回顾，Spark篇报名学习）请访问这里报名。

Spark MLlib深入解析，及实践要点。

CSDN Spark 聚集地，汇聚了全国顶尖的Spark技术讲师，入群请加微信号zhongyineng。

Spark初级入门系列（Scala篇回顾，Spark篇报名学习）请访问这里报名。

 Alluxio（原名Tachyon）是以内存为中心的虚拟的分布式存储系统。它统一了数据访问方式，构建了计算框架和存储系统的桥梁。它以内存为中心的架构使得数据的访问速度比常规方案快几个数量级。Alluxio是伯克利大数据分析软件栈中的存储层软件, 也是 Fedora发行版的一部分。自今年2月发布1.0版本的过去三年以来，全球已有超过50个组织机构的 200多贡献者参与到项目开发。在分享中，我将介绍Alluxio的演变历程以及1.0版本的新特性和工作原理，以及一些使用案例。

CSDN Spark 聚集地，汇聚了全国顶尖的Spark技术讲师，入群请加微信号zhongyineng。

Spark初级入门系列（Scala篇回顾，Spark篇报名学习）请访问这里报名。

Hadoop项目发展至今，经历了第一代MapReduce作业调度与资源管理紧耦合，到第二代Hadoop解耦了资源管理模块YARN，从而作为资源调度器支持多种类型作业（包括新一代大数据引擎Spark）。YARN因为统一的资源管理，灵活可插拔的资源调度器以及支持多维度的资源定义等特性，使之成为大数据社区活跃的组件之一。此次主题将会介绍分布式资源管理的发展历程，介绍Hadoop YARN功能模块以及架构，以及亚信数据对于YARN的资源管理优化实践——Jaguar项目。

CSDN Spark 聚集地，汇聚了全国顶尖的Spark技术讲师，入群请加微信号zhongyineng。

Spark初级入门系列（Scala篇回顾，Spark篇报名学习）请访问这里报名。