大数据之路—阿里巴巴大数据实践
课时介绍
数据同步的基础内容:直连同步、数据文件同步、数据库日志解析同步以及阿里巴巴数据仓库使用的批量数据同步和实时数据同步技术。
课程介绍
讲述阿里巴巴的大数据之路始于2004年数据仓库建设内容,逐步构建了覆盖采集、计算、服务的全链路体系。技术层面,通过Aplus.JS/UserTrack实现千亿级实时日志采集,依托DataX/TimeTunnel同步业务数据;以自研MaxCompute引擎支撑EB级存储,基于OneData体系分层建模(ODS→DWD→DWS→ADS),实现数据资产化;最终通过统一服务平台提供万亿级日均调用,赋能搜索、推荐等核心场景。核心理念上,首创“活数据”范式——全本记录、实时决策(如双11百万级交易秒级分析),推动数据中台战略破解孤岛问题,并通过数加平台开放工具链实现“普惠大数据”。其影响超越自身业务(单日千亿订单处理),将DataWorks、Quick BI等产品与方法论输出至金融、制造等领域,引领行业从IT向DT时代转型,成为全球企业数据智能实践的标杆。
推荐课程
