大数据工程师新手必学实战：手把手教你做一份大数据行业分析报告

同学笔记

• 

  qq_42769212 2020-04-21 23:52:57

  来源：数据探索分析 查看详情

  分析方法过程：

  1、获取数据中需要处理的字段

  2、计算与统计

  3、数据预处理

  4、分词与统计

  分析目标

  1、一线城市大数据岗位平均工资

  2、各个城市大数据岗位需求数量占比

  3、技术要求分词统计

• 

  qq_42769212 2020-04-21 23:28:25

  来源：分析环境配置 查看详情

  1、运行环境：安装Python语言3.x  

       pip包管理工具 命令行工具 pip inatall

  2、开发环境：文本编辑器：sublime               IDE:pycharm

   

   

   

• 

  qq_42769212 2020-04-21 23:21:54

  来源：网络爬虫获取招聘数据 查看详情

  大数据分析标准流程

  1、明确分析目标

  2、获取原始数据（数据爬取）

  3、数据预处理（数据清洗）

  4、数据分析

  5、数据报告

  6、执行数据反馈

  爬数据的方式

  1、第三方爬虫工具：八爪鱼、后羿

  2、使用Python语言挖掘数据（js,php）

没有更多了