0
11
¥ 104.00购买 ¥208.00 课程5.0折
开通会员,立省10.40元, 立即开通
立即购买

你将收获

本课程结合Python爬虫技术、数据库技术、数据清洗、Beautiful Soup、Web代码分析、Pandas、Matplotlib等技术让学员掌握使用多种技术实现从抓取数据、到数据存储、再到数据清洗、以及数据分析和可视化的一条龙实现过滤,完成一个综合的数据分析项目。

适用人群

python程序员,爬虫爱好者,对胸罩感兴趣的程序员

课程介绍


扫码进入学习群,领取学习资料+讲师答疑



本课程使用Python3作为编程语言,通过Python爬虫技术从天猫和京东抓取了近20000条胸罩销售数据来分析中国女性胸部大小的分布情况,这些数据将会下载到本地的SQLite数据库中,然后进行数据清理。接下来会使用Python语言中非常流行的Pandas和Matplot库对数据进行分析和可视化

课程讨论

第二章的时候,出现这个KeyError: 'rateDetail'

同学笔记

  • osuselinux02 2020-04-07 23:51:30

    来源:抓取天猫胸罩销售数据(需要Cookie劫持) 查看详情

    from urllib3 import *

    import json

    import re 

    disable_warnings()

    http=PoolManager()

    http.request(‘GET’,url)

    建立一个文件放在目录下

    def str2Headers(file)

       headerDict={}  建立一个字典储存内容

       f=open(file,'r') 打开file文件并只读

       headers=re.split('\r\n',headersText)

       for header in headers: 

          result=re.splir(':',header,maxsplit=1)

          headerDicr[result[0]]=result[1]

       f.close()

    return headDict

    headers=srt2Headers('文件名‘)

     url=json地址

    r=http.request('GET'url,headers=handers)

     

     

     

没有更多了