抓取页面_Python22天进阶-CSDN在线视频培训

课程目录

讨论留言

redis
- 字典
- keyvalue原理
- redis环境配置
- redis环境工具使用
- redis配置简介
- 字符串与哈希集合
- 集合与列表
- 有序集合
- redis数据库功能简介
- redis功能掌握查询使用
- redis常用功能
- python链接数据库
- Python管道编程
- python统计次数
- 哈希管理账户密码或者密码次数
- 基数排序
- 事务
- redis订阅
- 作业
面向对象实战
- 就业方向简介
- 文件简介
- 文件读取三种风格
- 数据查询
- 函数改造
- 硬盘数据查询
- 写入数据
- close与flush缓冲区
- 读写综合案例
- 类查询
数据预处理
- find
- window指令查看数据
- 数据切割
- 区域分类内存模式
- 区域分类硬盘模式
- 月份划分
- 日期划分
- 作业
QQ数据处理
- 搜索QQ_202132143748
- 清洗QQ_20213214473
- QQ分类_202132145445
密码字典生成
- 密码穷举的痛苦之处
- 暴力生成密码
- 提取密码
- 提取用户名提取邮箱
- 密码排序
- 去掉重复统计次数
- 密码统计次数去除重复
- 生成密码字典
- 小结4
文件读写与网站密码破解
- repr与数据对齐
- 追加写入
- 文件读写的三种风格
- 二进制的读写
- tell位置函数
- seek函数
- pickle对象保存读取
- 异常
- 海鹏进攻网站
- 密码成功或者失败
- 密码破解机
- 密码破解完善
数据处理与内存优化
- 复习
- 提取51CTO
- 错误分类与FTP破解
- 一步提取CSDN
- 一步提取QQ
- del优化内存
- 作业
二进制数据处理
- 二进制读取编码解码抓取分隔符
- bytes数据类型
- 编码问题
- 进制
- 根据年龄排序
- 根据身高排序
- 根据博士排序
- 加密解密原理
- 文本加密解密
- binary文件加密解密原理
- 二进制加密解密适用纯英文
- 大型分类器速度慢
- 字典分类可以提高速度
- 作业与小结
数据切割与归并排序
- 昨日回顾
- 批量提取邮箱
- 数据通用归并
- 切割数量
- 切割数量补充
- 切割初步实现
- 切割实现
- 二进制加密解密原理
- 加密机锋
- 读取的时候解密
- 列表有序归并
- 下标归并
- 文件排序
- 文件归并
- 作业与重点
数据库密码破解与异常
- 处理雷不死的裤子
- 如何拖裤子
- mysql库安装卸载与列举与设置默认python版本
- python环境变量设置
- 用异常检测密码正确或者错误
- ping指令简介
- 爆破MSQL密码
- 批量爆破Mysql
- 处理myd格式文件
- 异常标准公式
- 报错
- 继承的代码意义
- 继承与覆盖
- rasise字符串可以捕获不能区分
- 自定义异常并区分
- 自动关闭withas
- 断言自定义错误信息
- 作业
文件的深度遍历与广度遍历
- 数据导出
- 栈
- 队列
- 列举文件以及判断文件夹
- 深度遍历与广度遍历原理
- 文件深度遍历
- 文件深度遍历-层次感
- 文件广度遍历
- 作业
wifi密码破解
- 昨日回顾
- 配置pywifi
- 步骤简介
- 破解wifi第一步抓取无线网卡
- 破解wifi第三步测试网卡状态
- 破解wifi第二步抓取wifi列表
- 破解wifi第四步判断登陆成功或者失败
- 破解wifi第五步循环密码字典
- oswalk遍历文件目录
- ospopen函数
- os文件与文件夹编程
- 作业
WIFI密码破解与多线程改建
- 安装pywifi
- 扫描无线网卡并抓取wifi信息
- 测试wifi状态
- 测试密码破解成功或者失败
- 测试成功破解成功
- 多线程改进
数据检索二分查找法
- 明确业务需求
- 计算时间
- 函数装饰器
- 带参数的装饰器
- 数据查询装饰器
- 行缓冲
- 二分查找思想
- 二分查找法
- 二分查找法应用内存
- 硬盘二分查找法-硬盘文件按照user排序
- 硬盘二分查找法-硬盘文件生成索引并随机访问
- 硬盘二分查找法-索引在内存
- 硬盘二分查找法格式化保存索引
- 硬盘二分查找法
- 作业
数据的高级处理实战
- 内存二分模式
- 文件随机访问
- 文件随机访问索引
- 内存索引随机访问
- 索引存储到硬盘实现随机访问
数据索引与多态延申
- 排序索引的概念
- 根据文件排序索引并随机查看
- 索引的二分查找
- 类的必要性
- 类的权限设计
- 类的继承设计
- 多继承
- 继承与私有变量
- 类的重载
- 所有类都有一个父类
- 类的基本属性
- 类型判断的两种风格
- super父类少初始化节约内存
- 多态
类属性与动态类实战
- 昨日回顾
- 动态绑定属性
- 动态绑定类方法
- self特点
- 类的属性的动态操作
- 类的方法的动态操作
- 类属性与动态属性
- 属性介绍
- 限制绑定
- 类方法的两种风格
- 静态方法
- 方法修改行为
- 方法小结
- 属性设置
- 发邮件
- 扫号工具
- 发送短信
- 作业与小结
重载与枚举类
- 重载call
- 对象比大小的基础常识
- 对象排序的两个风格
- 属性的读取写入删除三种重载
- 可变参数的两种风格
- 统计对象数量
- 预览对象
- 重载实战list
- 重载进制重载存在关系运算符
- initdel分配与回收内存
- new的特点与属性调用
- 对象操作读写删除的重载
- withas
- 加法重载
- 枚举类
- 小结
- 作业
- 昨日回顾
- 重载字符串函数__str__
- 根据类重载repr
- 重载了iter与next
- 重载按照索引访问
- 重载类的切片
类实战与语音控制游戏
- 回顾小结
- 动态创造类型
- 元类
- 类的通用设计
- 设计一个类处理一行数据
- 设计一个类实现对文件数据管理
- 类重载测试
- 语音合成
- 语音控制
- 游戏简介
- p5.19.12键盘
- 键盘组合键
- 语音控制键盘
- 鼠标
- 语音控制游戏
- 作业
- 游戏介绍
GUI图形界面实战
- 消息循环与窗体
- 窗体类
- 输出类
- label显示
- 按钮事件
- 图片背景设置
- 对话框
- 输入entry
- 显示数据列表
- 表格数据
- 下拉列表
- 输入类
- 搜索类
- 搜索链接输入
- 输入链接搜索
- 布局
- 输入增加一个选项
- 剩余两个输出风格
- 综合数据可视化
- 作业
图形界面高级实战
- 框架与输出继承实现
- 实现输出框架text与table
- 类的抽象
- 完整实现数据抽象可视化
- 项目介绍
- 内聚与耦合
网页数据提取
- 抓取页面
- 抓取股票代码
- 下载图片
- 下载股票文件
- 批量下载股票
- 抓页面提取表格
- 提取网页数据并显示
- 多页面数据提取
- tushare
- tushare使用
- 作业
金融数据提取
- tushare环境配置
- tushare使用
- wscgi展示数据网页服务
- wscgi数据交互
- AIOhttp并发显示数据
- wscgi与AIOhtpp展示数据
- wscgi参数查询
- 异步显示股票数据
金融数据实战
- 金融行业简介
- 读取金融数据csv
- 写入金融数据csv
- 金融数据矩阵排序
- tushre简介
- Tushare保存数据
- jupyterNoteBook
- numpy科学计算1维数组
- numpy科学计算2维数组
- numpy科学计算数组创建与保存
- numpy科学计算常见操作
- numpy科学计算矩阵转置
- numpy矩阵操作4
- 常见数学模块
- numpy线性代数计算
- numpy随机数
- 简单的数据可视化
- 复杂数据可视化
金融数据分析与绘图上
- pandas对象简单操作
- pandas数据切片
- pandas数据筛选
- 缺失数据
- 数据叠加作用
- pandas统计次数与字符串操作
- pandas数据叠加与追加
- pandas数据分组
- 分组以及归并
- pandas小结
- 数据可视化第一步
- 数据可视化第二步
- 数据可视化直方图
- 数据可视化
金融数据分析与绘图下
- pandas处理金融数据
- 按照年绘制折线图
- 数据折线改进版精确到日期改良画风
- 网格绘图
- 严格按照网格绘图
- 柱状图
- 横着的柱状图直方图饼图
- 箱型图
- 复合图的加图方式
- 联合绘图
- china四线图
- 绘制金钱走势
- csv点阵
- pandas分类可视化
- numpy绘图
多线程入门
- 线程加速
- 网络欺骗
- 多线程全网攻击
- 线程安全
- 类线程的顺序乱序
- 锁定
- withas
- Rlock解决梁华锋的反复枷锁
- 线程另外一个风格
- 限制线程数量
- 凑足线程数量继续执行
- 线程通信event
- 线程通信高级
- 条件变量同时通信与同步
- 交替执行条件变量
- 多线程交替
数据统计
- 描述性标准统计
- 处理分号问题
- 统计次数
- 3d程序
多线程实战
- 死锁
- 生产者消费者模式
- 延时线程
- 前台后台线程
- 线程池
- 线程独立空间
- 多线程统计行数
- 多线程检索开房数据
- 多线程检索同步写入
- 多线程作业与回顾
进程池与分布式进程
- 分布式小结
- 分布式进程
- 进程池
- 进程全局变量是各自独立的
- 并发与顺序
- 进程锁
- 进程的通信
- 进程队列通信
- value实现进程数据共享
- 数组实现进程数据共享
- 进程之间共享dictlist
- 12进程池
- 分布式进程
- 分布式小结
服务器远程登录
- 入侵服务器简介
- telnet远程协议
- 闲聊
- 远程登陆Centos
- 远程登陆Windows
- RDPY的环境配置
- 配置rdpy
- rdpy实现远程连接
- 修改VNC
- 作业
多进程多线程实战
- 多进程计算平均值
- 协程的简单概念
- 协程的高级模式
- 协程后宫
- 协程消费者生产者
- 简单CGI
- 服务器环境变量
- 前端与后端
- 抓取网页信息post与get
- wscgi返回HTML
- wscgi交互
- 作业
TCP服务器与协程
- TCP的多进程服务器
- TCP自带服务器
- TCP自带服务器解决问题wmv
- 非阻塞的单进程服务器
- 回顾协程
- 协程gevent自动切换
- 协程下载
- 协程服务器
- 作业
- 网络概念
- 网络概念
- UDP客户端服务器通信
- UDP客户端服务器通信
- UDP远程控制
- UDP远程控制
- UDP广播
- TCP的单个通信
- TCP的多线程服务器
异步服务器通信
- 异步任务
- 异步任务与异步关键字
- 异步下载
- 异步网页
- 异步网页
- 异步抓取股票数据
- 网页服务器
- select服务器
- select服务器异步解决客户端断开
- 解决select异步
- select服务器与队列
- python2与python3区别
- 实现了音乐与背景
- 鬼程序
- 作业小结
MongoDB实战
- 网页错误修改
- 索引
- mongoDB简介与环境
- mongo概念
- 创建于删除数据库
- 数据库插入与更新
- mongoDB查询
- type
- 分页功能
- 排序
- 聚合
- mongoDB运维简介
- MongoDB
MongoDB高级实战
- mongoDB简介
- mongoDB数据库创建与删除
- mongodb插入数据
- mongoDB修改数据
- mongodb删除数据
- mongodb数据库查询
- 数据库查询类型判断
- mongoDB跳过与限制显示
- mongoDB排序
- 聚合
- 数据库运维
- mongoDB常见概念
- 配置python_mongoDB环境
- mongoDB查询数据库与集合
- MongoDB插入与删除数据
- MongoDB更新数据插入数据查询数据
- 全文索引
- 作业
Oracle高级实战
- Oracle简介
- Oracle的简单操作
- Oracle命令操作导入sql
- Oracle创建用户数据库授权
- Oracle数据库的表一般操作
- Oracle数据库增删查改
- Oracle数据库联合查询
- 数据库运维操作
- Python破解Oracle以及抓取数据
- Python增加删除修改数据
- Linux通信
- Linuxepoll服务器
sqllite与memcache
- sqlite简介
- sqlite数据库创建附加分离
- sqlite创建表删除表
- sqlite数据查询插入若干运算符
- sqlite增删查改
- 排序分组分页模糊查询
- 去掉重复附加筛选
- sqlitePython编程
- MEMcache简介
- MEMcache简单操作kv
- MEM存储
- MEM查找命令
- MEM统计指令
- pythonMEM基本编程
- pythonMEM简单操作
- pythonMEM批量操作
- 增加减少前后插入
- 脏数据
- Oracle配置
- Oracle数据库编程

网页数据提取

抓取页面

课时介绍

p5.22.1抓取页面

课程介绍

Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。

Python 的设计具有很强的可读性，相比其他语言经常使用英文关键字，其他语言的一些标点符号，它具有比其他语言更有特色语法结构。

Python 是一种解释型语言：这意味着开发过程中没有了编译这个环节。类似于PHP和Perl语言。

Python 是交互式语言：这意味着，您可以在一个 Python 提示符 >>> 后直接执行代码。

Python 是面向对象语言: 这意味着Python支持面向对象的风格或代码封装在对象的编程技术。

Python 是初学者的语言：Python 对初级程序员而言，是一种伟大的语言，它支持广泛的应用程序开发，从简单的文字处理到 WWW 浏览器再到游戏。