课程介绍

• 

  卞昊穹

  其他

  卞昊穹，中国人民大学2012级博士研究生，研究方向为数据库系统和实时数据分析，从事SQL-on-Hadoop系统测试和开发。在HDFS列存储优化、高性能数据索引和装载、分布式等值连接算法、海量知识库扩充等方面的研究成果发表在SIGMOD、CIKM等国际顶级学术会议上。

• 主题说明

  传统数据仓库中，存储格式是关系到数据查询性能的重要因素之一，也是数据分析系统设计和研发的基础。在大数据时代，基于Hadoop的Spark/Hive/Presto等SQL on Hadoop系统借助HDFS优秀的扩展性，也借鉴了传统数据仓库中的现有技术，发展成为大数据查询分析的主流工具。列存储作为这些面向分析的系统中所必须支持的标准数据存储技术，经过多年的发展，已经成为数据分析人员必须深入理解的基本技术。本演讲将和大家分享列存储技术的基本概念、技术要点和新的现状。

• 适合对象

  熟悉HDFS基本原理，了解SQL on Hadoop的大数据初学者和从业人员。

• 学习要点

  1. 数据存储格式概述

    1.1 数据仓库与大数据分析系统的发展历程

    1.2 列存储与行存储

    1.3 混合存储

  2. 数据仓库中的列存储技术

    2.1 C-Store

    2.2 Vertica

    2.3 GreenPlum

  3. HDFS列存储技术

    3.1 RC File

    3.2 ORC和Parquet

    3.3 Carbondata

  4. 列存储研究前沿

• 课时安排