【大数据测试必备技能】之爬虫大数据测试如此学

课程背景 人工智能的基础在于大数据，大数据的基础核心是数据采集，数据采集的主力是爬虫技术。因此，爬虫技术作为大数据最基层的应用，其重要性毋庸置疑，伴随大数据技术及应用的普及，对我们日常生活产生的影响极期深远无用置疑，同时对测试保障亦提出较高的跳战： l技术门槛高技术复杂、多样，自动化成本高、周期长难以投入。 l测试效率低数据链路长、回归测试难等 l质量评价难 数据存在局部特征、验收标准比较模糊，场景缺乏统一的标准 l数据复杂多样、环境问题多、数据验收难、团队成就感低 l业界缺少成熟系统的爬虫或数据测试方面的经验与解决方案等。。。 本课程宗旨是解决或缓解上述问题，截止目前上述所涉内容均为本人在实际业务项目团队近一年不断学习、探索研究成果（其中有多项测试技术、方法为本人首创，目前正在申请相关专利），并且在现项目团队实施推广应用并取得较好效果，团队目标、合作意识、质量意识更强；测试效率得到数十倍提升，有效避免一定程度的测试资源浪费现象，降低测试工作枯燥感；测试策略更加合理，问题命中率高，数据质量评价更加科学，有据有依等方面得到有效改善，数据质量显著提升，得到下游业务团队及公司领导的充分认可。 课程结构 本课程虽以爬数据测试作为切入点，但实际很多内容非常仅限适用爬虫测试工作，比如团队管理章节普遍适用于敏捷团队作为参考、学习与讨论；爬虫质量保障中的采样/抽样策略、三步难证法及数据质量评估方法章节亦普适于数据类相关测试工作参考、学习与讨论。本课程具体课程结构按排如下： 授课方式 本课程偏向理论，其于数据测试方向的实战工作经验总结，需要同学们学习了解本课程的核心问题解决思路，结合实现项目归纳演义符合业务团队的工作方式方法，同时针对核技术、算法等采用在线板书方式逐步引导、加深同学理解与思考，提升学习效率。