PowerBI系列之Power Query专题

PowerBI系列之Power Query专题 1. 获取数据 数据源种类介绍和获取Excel数据源 输入数据和拷贝数据：创建辅助表 解析Json/XML数据格式 获取Web网页数据和URL添加动态参数 连接数据的四种模式：Import、DirectQuery、Live Connection、Dual双 属于混合模式 连接数据库：Sql server、 Mysql（直连但是必须先安装一个mysql插件） DirectQuery直连查询：Sql server ODBC方式获取数据 表关联或多个Sql或调用存储过程获取数据 SQL中动态传参和自定义函数: sql中使用参数或数据库名称使用参数 连接Sharepoint和OneDrive数据源 连接Dataset和Dataflow 替换本地数据源为Sharepoint数据源并保留数据处理操作 终止当前数据刷新Loading：Cancel Query 数据源设置-重置数据连接凭证 PBIDS连接数据源 创建和使用报表模块（输入或值列表） 利用报表模板和参数控制线下报表数据权限 DirectQuery启用自动页面刷新和更改检测 管理聚合表提高DirectQuery查询性能 动态M查询参数提高DirectQuery查询性能 添加数据刷新时间 DateTime.LocalNow()和Getdate() 2. 数据清洗和M语言 M语言和官方文档介绍 PowerQuery中查阅M函数：=#shared, Ctrl+Space提示 数据清洗之常用技能：提升标题、更改数据类型、保留删除错误或空行，删除重复项、选择列和删除列、填充单元格、合并列、拆分、提取、替换、条件替换、添加自定义列，添加条件列、添加索引列、分组、添加年月日列、追加和合并查询 透视和逆透视以及转置 合并单元格的Excel文件处理 导入文件夹中多Excel文件并合并 解决多文件合并中列顺序不一致 使用参数和函数批量导入文件 文本中提取中文、英文、数字等 处理双引号转义 列拆分详解 解决列名改变错误 解决列丢失错误 动态显示、排序和重命名列 为所有列名添加前缀 列名字母大写和分隔符调整 Trim标题列中的多余空格 如何处理load数据错误 为什么load的Excel数据有null空行 为什么load的Excel数据标题在第二行 灵活添加占位符 规范同类相似数据 数据按多列排序 为分组添加Index序号 分组内值合并 诊断工具分析数据处理过程 PowerQuery小技巧分享 新冠病例活动轨迹地图标识