【大数据测试必备技能】之爬虫大数据测试如此学

【大数据测试必备技能】之爬虫大数据测试如此学
共21节 371人在学 课程详情
  • 课程导学

    • 爬虫大数据测试导学
  • 初识爬虫与大数据关系

    • 初识爬虫
    • 爬虫应用场景
    • 爬实现过程
    • 了解数据建模
    • 了解数据提取与存储
  • 团队质理管理

    • 团队重要性-启示录
    • 团队目标
    • 团队分工
    • 团队协作
  • 爬虫、数据质量保障

    • 爬虫大数据测试挑战
    • 爬虫质量管理总则
    • 爬虫测试范围
    • 数据采样、抽样测试策略
    • 爬虫测试采样算法与实现
    • 三步采样验证法
    • 爬虫高效数据回归采样法与实现
    • 数据报告质量管理
  • 数据质量评估方法

    • 问题处理评估体系
    • 数据质量评价指标
  • 总结展望

    • 大数据测试未来

    订阅失败

    【大数据测试必备技能】之爬虫大数据测试如此学
    【大数据测试必备技能】之爬虫大数据测试如此学 ...

    订阅列表已满,请先移出部分订阅内容。

    当前章节需购买后观看
    开通超级会员免费看!专家精选系列课程,满足你从入门到精通!更有问答月卡免费送,你的问题有问必答!
    提交答案

    购买课程

    扫码完成付费,可继续学习全部课程内容

    加载中...
    播放页问题反馈
    视频学习中有任何产品建议都可由此反
    馈,我们将及时处理!

    课时介绍

    深入了解数据质量评价流程及相关数据质量评价指标

    课程介绍

    课程背景

          人工智能的基础在于大数据,大数据的基础核心是数据采集,数据采集的主力是爬虫技术。因此,爬虫技术作为大数据最基层的应用,其重要性毋庸置疑,伴随大数据技术及应用的普及,对我们日常生活产生的影响极期深远无用置疑,同时对测试保障亦提出较高的跳战:

    l 技术门槛高 技术复杂、多样,自动化成本高、周期长难以投入。

    l 测试效率低 数据链路长、回归测试难等

    l 质量评价难 数据存在局部特征、验收标准比较模糊,场景缺乏统一的标准

    l 数据复杂多样、环境问题多、数据验收难、团队成就感低

    l 业界缺少成熟系统的爬虫或数据测试方面的经验与解决方案等。。。

           本课程宗旨是解决或缓解上述问题,截止目前上述所涉内容均为本人在实际业务项目团队近一年不断学习、探索研究成果(其中有多项测试技术、方法为本人首创,目前正在申请相关专利),并且在现项目团队实施推广应用并取得较好效果,团队目标、合作意识、质量意识更强;测试效率得到数十倍提升,有效避免一定程度的测试资源浪费现象,降低测试工作枯燥感;测试策略更加合理,问题命中率高,数据质量评价更加科学,有据有依等方面得到有效改善,数据质量显著提升,得到下游业务团队及公司领导的充分认可。

    课程结构

    本课程虽以爬数据测试作为切入点,但实际很多内容非常仅限适用爬虫测试工作,比如团队管理章节普遍适用于敏捷团队作为参考、学习与讨论;爬虫质量保障中的采样/抽样策略、三步难证法及数据质量评估方法章节亦普适于数据类相关测试工作参考、学习与讨论。本课程具体课程结构按排如下:

    授课方式

    本课程偏向理论,其于数据测试方向的实战工作经验总结,需要同学们学习了解本课程的核心问题解决思路,结合实现项目归纳演义符合业务团队的工作方式方法,同时针对核技术、算法等采用在线板书方式逐步引导、加深同学理解与思考,提升学习效率。


    推荐课程

    信息系统项目管理师自考笔记

    李明 · 723人在学

    python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据

    王先生 · 22100人在学

    手把手搭建Java超市管理系统【附源码】(毕设)

    汤小洋 · 4205人在学

    Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

    黄菊华 · 788人在学

    基于SSM酒店管理系统(毕设)

    小尼老师 · 841人在学

    java项目实战之购物商城(java毕业设计)

    Long · 5154人在学

    手把手搭建Java求职招聘系统【附源码】(毕设)

    汤小洋 · 1506人在学

    Python Django 深度学习 小程序

    钟翔 · 2319人在学

    城管局门前三包管理系统+微信小程序(vue+springboot)

    赖国荣 · 598人在学

    Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

    李杰 · 3985人在学

    正在试验
    后自动删除环境
    课程实验
    本次实验时间已到期 00:00:00
    课件正在飞速打包中,请耐心等待几秒钟~