【爬虫实战】南京地铁又上热榜——客流量分析

Python云端课程来啦！

前些时日，南京地铁登上了微博热搜👇！

点击南京地铁微博首页，发现只能查看前三页内容，需要登录才能查看全部内容。另外，我们通过鼠标右键查看网页源代码，发现源代码中显示的内容并不完全；我们滚动鼠标滑轮将页面往下滑动，发现会经过两次刷新加载新的内容，所以我们判断网页是Ajax动态加载的。综上，我们使用python+selenium+Chrome对网页内容进行爬取。

分析原理发现，页面随着滚动条滑动会刷新两次，则每次将滚动条拉取到当前最底部，页面刷新后再次拉动滚动条，重复三次则页面到达最底部。所以，我们定义将滚动条拉取到页面最底部的函数，方便在爬取数据时直接调用。

2、提取数据

对每一页的响应内容进行解析并提取我们需要的内容，这里我们需要的是微博发送的时间以及包含客运量信息的文本内容，如果文本中包含“南京地铁”和“客运量”字符串，就将该文本及其发送时间提取出来，最后将数据存入metro.csv文件。

爬取完数据之后，需要对数据进行整理和清洗，在这部分中我们只展示处理结果，如有需要代码可进行后台回复获取哦~

首先将csv文件读入DataFrame中，依照数据格式对其进行处理，结果如下：

1、时间处理

我们首先要对数据框的time列进行处理。如果发送的微博文本中有时间，则使用该时间作为定位客运量的时间；如果文本中没有时间，则时间为微博发布日期的前一天。时间处理效果如下：

2、文本处理

接下来对数据框的information列进行整理，我们将每一行的文本按一定规则进行拆分提取数字信息，然后以时间为索引写入到DataFrame中。这里需要注意的是南京地铁各线路通车时间是不同的，将数据拆分后需要将数据准确写入各线路对应的列。文本处理结果如下：

3、数据清洗

是不是以为上图内容就是最终结果啦？当然不是！接下来我们还需要做以下几步工作：

① 将空值填充为0；

③ 删除重复值。

因为有时候官方发了两遍相同的客流量数据，另外我们使用selenium爬取数据时，因为网速问题可能中断报错，虽然我们加入了try...except机制尽量避免，但是会重复爬取一页的内容。所以最后要做好数据清洗工作，再将清洗好的数据存入Excel留档。清洗好的数据，结果如下：

• 条形图

• 折线图

图中，我们可以简单发现以下三点：

② 2020年由于疫情居家隔离，当然也是过年期间，各个线路地铁客运量更是达到了历史最低。这也是可以理解的，过年期间大量上班族回家过年，疫情期间更是很少出门，所以人们出行量大大减少；

③ 虽然每年呈波动性变化，但总体趋势呈现逐年上升（2020年由于特殊原因除外）。

接下来，我们分析总客运量在短期内内随时间变化的折线图，结果如下：

图中，我们可以发现，周一到周五的客流量要比周六周日的多。这也有解释：平常乘坐地铁的大部分还是工作党，休息日地铁客流量会有一定程度的下降。

• 饼图

  
  

本文的完整代码，小编在后台已献上，友友们输入“南京地铁”即可获取~

对我们的推文累计打赏超过1000元，我们即可给您开具发票，发票类别为“咨询费”。用心做事，不负您的支持！

关于我们 

微信公众号“Stata and Python数据分析”分享实用的Stata、Python等软件的数据处理知识，欢迎转载、打赏。我们是由李春涛教授领导下的研究生及本科生组成的大数据处理和分析团队。