本课程属于理论和实践相结合的案例。通过本课程大家可以学习通过python 如何进行网络爬虫

知识点如下：

1. HTTP的概念以及request请求头各个参数的学习

2. 同一IP频繁访问的限制以及爬虫伪装及反爬技术及响应报文的参数

3. 讲解requests模块中API方法及通过实战案例具体应用且配合服务器

4. 具体讲解lxml模块以及XPath常用的规则以及在项目中如何进行应用

5. 实战项目来实现原生代码如何网络爬取数据的：获取美食网站中图片

6. 讲解多线程以及队列在爬虫项目中的应用

7. 通过获取所有大学的校名以及学习的简介来巩固多线程爬取数据

8. 下载安装scrapy框架以及通过scrapy.spider类爬取数据

9. 创建scrapy框架以及讲解scrapy框架中item及pipline的作用

10. 通过爬取网络中大学的名称和简介来学习scrapy框架

11. 梳理scrapy架构及各个中间件机制