六月 北京 | 高性能计算之gpu cuda培训
6月22-24日
三天密集式学习 快速带你入门
阅读全文
>
正文共769，11图，预计阅读时间6分钟。
通常我们在使用爬虫的时候会爬取很多数据,而这些数据里边什么是有用的数据,什么是没用的数据这个是值得我们关注的,在这一篇文章里,我们将通过一个简单的爬虫,来去简单介绍下如何使用python来去做数据分析。
爬虫部分
在这一篇文章中我们会以淘宝为例,爬取淘宝的店铺和商家信息,然后去进行分析,首先我们打开淘宝首页,搜索你想要查询的产品：
这里我们会发现在商品信息哪里会有商品的价格,商品的销量,商家店铺名称以及商家的地址,这时候我们就需要去解析网页,去从网页中寻找这些信息,在处理在这些信息我们要用到的是正则匹配公式.(建议多尝试几次,因为有时候服务器不太好会匹配不到)。
另外在实现翻页的时候,淘宝的页码公式是44(k-1)
我们匹配的只需要是蓝色地部分,其中需要匹配的是(.*?),不需要匹配的是.*?,detail_url这个不需要匹配。
在匹配之后,我们需要将爬取的数据写入文件中,这时候就需要引入pandas模块来去进行处理,写入文件保存在csv文件中.(csv文件无论是在我们机器学习或者是爬虫里都是处理数据的关键文件),在保存完数据之后,我们要对数据进行处理,加上标题,方便之后处理
在这个例子,我们分析的是店家的销售数据: 这时候销售总额=销量*单价
数据分析处理部分
在这一个部分我们处理的是pandas处理数据和matplotlib来绘制图形.
最后使用plot把图显示出来:
样式1
样式2
这时候销量的好坏就可以一目了然,当然,我们还可以做的还可以更多,但是这一篇文章的作用是希望大家能够去动手做更多有意思的事,这才是学习的意义。
最后代码部分：
代码1
代码2
原文链接：https://jianshu/p/077f7801cfdd
查阅更为简洁方便的分类文章以及最新的课程、产品信息，请移步至全新呈现的“leadai学院官网”：leadai.org
请关注人工智能leadai公众号，查看更多专业文章
大家都在看
lstm模型在问答系统中的应用
基于tensorflow的神经网络解决用户流失概览问题
最全常见算法工程师面试题目整理（一）
最全常见算法工程师面试题目整理（二）
tensorflow从1到2 | 第三章 深度学习革命的开端：卷积神经网络
装饰器 | python高级编程
今天不如来复习下python基础