课程介绍

• 

  周宇航

  CTO/CIO/技术副总裁/总工程师

  就职于一线互联网企业，拥有10多年项目开发经验与教学经验，擅长Python、汇编，.net，C++，ObjectiveC等技术语言，对前后端业务开发，游戏开发以及ios移动端和小程序等有丰富的经验，授课案例丰富，在Python爬虫、数据分析、自动化测试、机器学习等方面培养出很多优秀人才。

• 主题说明

  #《5天Python闯关训练营》学习计划#
  挑战周期：12月16日—12月20日
  期间遇到学习问题可社群请教，群内安排助教老师答疑

• 适合对象

  在校大学生、在职零基础入门人员，想从事Python相关工作。

• 学习要点

  一、问题描述：

  CSDN博客中 搜索任意多个热门关键词（如Python、Java、Go等）,抓取热门博客，并把博客HTML下载到本地，进行分类保存。

  网址： https://blog.csdn.net/

  二、解题提示：

  1) 对URL进行详细的分析,多观察几页,分辨出那些参数是必须需要携带的。

  2) 使用谷歌浏览器的调试工具分析请求与响应，并使用XPath-helper工具来测试Xpath语句。

  3) 使用课程中提到的反扒策略之代理IP与 Header伪装策略来进行爬虫请求

  4) 博客引入了阿里反爬，需要使用Cookie

  5) HTML在本地的分类存储方式可以如下

  - Python文件夹

  1.html

  2.html

  - Java文件在

  3.html

  4.html

  三、批改标准：

  1) 代码整体结构，是否整洁、要求有适量的注释

  2) Xpath语句的编写

  3) 反爬机制的处理

  4) 是否成功把数据下载到本地

  5) 本地数据的分类存储是否规范

• 课时安排

  1、开课前会有短信提醒或者邮件提醒，还请报名的时候填写正确的手机号码及邮箱地址

  2、开课后2-3个工作日内会上传本节课的视频回放，请无法观看直播视频的同学放心，回放视频不限时观看，届时请到报名页观看回放即可

  课程安排如下：

  19:45—20:00  学员提前入场

  20:00—21:15  讲师上课

  21:15—21:30 讲师互动答疑环节