你将收获

了解MapReduce Shuffle过程

能够实现MRUnit进行单元测试

熟悉MapReduce 数据压缩,并且能在代码中使用

了解MapReduce高级编程:实现数据去重,数据二次排序,倒排索引

适用人群

对Hadoop感兴趣的学员 对Hadoop生态感兴趣的 具备Java和Linux基础的学员

课程介绍

1.MapReduce Shuffle过程2.使用MRUnit进行单元测试过程3.MapReduce 数据压缩:Snappy,Gzip,LZO4.MapReduce Partitioner,Combiner实现及应用5.MapReduce高级编程:实现数据去重,数据二次排序,倒排索引