查看原文
其他

比Selenium快100倍的方法爬东方财富网财务报表

苏克1900 程序人生 2018-11-12

点击上方“程序人生”,选择“置顶公众号”

第一时间关注程序猿(媛)身边的故事


作者

苏克1900

已获原作者授权,如需转载,请联系原作者。

之前,我们用Selenium成功爬取了东方财富网的财务报表数据,但是速度非常慢,爬取70页需要好几十分钟。为了加快速度,本文分析网页JavaScript请求,找到数据接口然后快速爬取财务报表数据。

1. JavaScript请求分析

接下来,我们深入分析。首先,点击报表底部的下一页,然后观察左侧Name列,看会弹出什么新的请求来:

可以看到,当不断点击下一页时,会相应弹出以get?type开头的请求。点击右边Headers选项卡,可以看到请求的URL,网址非常长,先不管它,后续我们会分析各项参数。接着,点击右侧的Preview和Response,可以看到里面有很多整齐的数据,尝试猜测这可能是财务报表中的数据,经过和表格进行对比,发现这正是我们所需的数据,太好了。

然后将URL复制到新链接中打开看看,可以看到表格中的数据完美地显示出来了。竟然不用添加Headers、UA去请求就能获取到,看来东方财富网很大方啊。

到这里,爬取思路已经很清晰了。首先,用Request请求该URL,将获取到的数据进行正则匹配,将数据转变为json格式,然后写入本地文件,最后再加一个分页循环爬取就OK了。这比之前的Selenium要简单很多,而且速度应该会快很多倍。下面我们就先来尝试爬一页数据看看。

2. 爬取单页

2.1. 抓取分析

这里仍然以2018年中报的利润表为例,抓取该网页的第一页表格数据,网页url为:http://data.eastmoney.com/bbsj/201806/lrb.html

表格第一页的js请求的url为:http://dcfm.eastmoney.com/em_mutisvcexpandinterface/api/js/get?type=CWBB_LRB&token=70f12f2f4f091e459a279469fe49eca5&st=noticedate&sr=-1&p=2&ps=50&js=var%20spmVUpAF={pages:(tp),data:%20(x)}&filter=(reportdate=^2018-06-30^)&rt=51312886}&filter=(reportdate=^2018-06-30^)&rt=51312886)

下面,我们通过分析该url,来抓取表格内容。

1import requests
2def get_table():
3    params = {
4        'type''CWBB_LRB',  # 表格类型,LRB为利润表缩写,必须
5        'token''70f12f2f4f091e459a279469fe49eca5',  # 访问令牌,必须
6        'st''noticedate',  # 公告日期
7        'sr'-1,  # 保持-1不用改动即可
8        'p'1,  # 表格页数
9        'ps'50,  # 每页显示多少条信息
10        'js''var LFtlXDqn={pages:(tp),data: (x)}',  # js函数,必须
11        'filter''(reportdate=^2018-06-30^)',  # 筛选条件
12        # 'rt': 51294261  可不用
13    }
14    url = 'http://dcfm.eastmoney.com/em_mutisvcexpandinterface/api/js/get?'
15    response = requests.get(url, params=params).text
16    print(response)
17get_table()

这里我们定义了一个get_table()方法,来输出抓取的第一页表格内容。params为url请求中所包含的参数。

这里对重要参数进行简单说明:type为7个表格的类型说明,将type拆成两部分:'CWBB_' 和'LRB',资产负债表等后3个表是以'CWBB_' 开头,业绩报表至预约披露时间表等前4个表是以'YJBB20_'开头的;'LRB'为利润表的首字母缩写,同理业绩报表则为'YJBB'。所以,如果要爬取不同的表格,就需要更改type参数。'filter'为表格筛选参数,这里筛选出年中报的数据。不同的表格筛选条件会不一样,所以当type类型更改的时候,也要相应修改filter类型。

params参数设置好之后,将url和params参数一起传进requests.get()方法中,这样就构造好了请求连接。几行代码就可以成功获取网页第一页的表格数据了:

可以看到,表格信息存储在LFtlXDqn变量中,pages表示表格有72页。data为表格数据,是一个由多个字典构成的列表,每个字典是表格的一行数据。我们可以通过正则表达式分别提取出pages和data数据。

2.2. 正则表达式提取表格

1# 确定页数
2import re 
3pat = re.compile('var.*?{pages:(\d+),data:.*?')
4page_all = re.search(pat, response)
5print(page_all.group(1))
6结果:
772

这里用\d+匹配页数中的数值,然后用re.search()方法提取出来。group(1)表示输出第一个结果,这里就是()中的页数。

1# 提取出list,可以使用json.dumps和json.loads
2import json
3pattern = re.compile('var.*?data: (.*)}', re.S)
4items = re.search(pattern, response)
5data = items.group(1)
6print(data)
7print(type(data))
8结果如下:
9[{'scode''600478''hycode''016040''companycode''10001305''sname''科力远''publishname''材料行业'...
10'sjltz'10.466665'kcfjcxsyjlr'46691230.93'sjlktz'10.4666649042'eutime''2018/9/6 20:18:42''yyzc'14238766.31}]
11<class 'str'>
12

这里在匹配表格数据用了(.*)表示贪婪匹配,因为data中有很多个字典,每个字典都是以'}'结尾,所以我们利用贪婪匹配到最后一个'}',这样才能获取data所有数据。多数情况下,我们可能会用到(.*?),这表示非贪婪匹配,意味着之多匹配一个'}',这样的话,我们只能匹配到第一行数据,显然是不对的。

2.3. json.loads()输出表格

这里提取出来的list是str字符型的,我们需要转换为list列表类型。为什么要转换为list类型呢,因为无法用操作list的方法去操作str,比如list切片。转换为list后,我们可以对list进行切片,比如data[0]可以获取第一个{}中的数据,也就是表格第一行,这样方便后续构造循环从而逐行输出表格数据。这里采用json.loads()方法将str转换为list。

1data = json.loads(data)
2# print(data) 和上面的一样
3print(type(data))
4print(data[0])
5结果如下:
6<class 'list'>
7{'scode':
 '600478''hycode''016040''companycode''10001305''sname''科力远''publishname''材料行业''reporttimetypecode''002''combinetypecode''001''dataajusttype''2''mkt''shzb''noticedate''2018-10-13T00:00:00''reportdate''2018-06-30T00:00:00''parentnetprofit'-46515200.15'totaloperatereve'683459458.22'totaloperateexp'824933386.17'totaloperateexp_tb'-0.0597570689015973'operateexp'601335611.67'operateexp_tb'-0.105421872593886'saleexp'27004422.05'manageexp'141680603.83'financeexp'33258589.95'operateprofit'-94535963.65'sumprofit'-92632216.61'incometax'-8809471.54'operatereve''-''intnreve''-''intnreve_tb''-''commnreve''-''commnreve_tb''-''operatetax'7777267.21'operatemanageexp''-''commreve_commexp''-''intreve_intexp''-''premiumearned''-''premiumearned_tb''-''investincome''-''surrenderpremium''-''indemnityexp''-''tystz'-0.092852'yltz'0.178351'sjltz'0.399524'kcfjcxsyjlr'-58082725.17'sjlktz'0.2475682609'eutime''2018/10/12 21:01:36''yyzc'601335611.67}

接下来我们就将表格内容输入到csv文件中。

1# 写入csv文件
2import csv
3for d in data:
4    with open('eastmoney.csv''a', encoding='utf_8_sig', newline=''as f:
5        w = csv.writer(f)
6        w.writerow(d.values())

通过for循环,依次取出表格中的每一行字典数据{},然后用with…open的方法写入'eastmoney.csv'文件中。

tips:'a'表示可重复写入;encoding='utf_8_sig' 能保持csv文件的汉字不会乱码;newline为空能避免每行数据中产生空行。

这样,第一页50行的表格数据就成功输出到csv文件中去了:

这里,我们还可以在输出表格之前添加上表头:

1# 添加列标题
2def write_header(data):
3    with open('eastmoney.csv''a', encoding='utf_8_sig', newline=''as f:
4        headers = list(data[0].keys())
5        print(headers)  
6        print(len(headers)) # 输出list长度,也就是有多少列
7        writer = csv.writer(f)
8        writer.writerow(headers)

这里,data[0]表示list的一个字典中的数据,data[0].keys()表示获取字典中的key键值,也就是列标题。外面再加一个list序列化(结果如下),然后将该list输出到'eastmoney.csv'中作为表格的列标题即可。

1['scode''hycode''companycode''sname''publishname''reporttimetypecode''combinetypecode''dataajusttype''mkt''noticedate''reportdate''parentnetprofit''totaloperatereve''totaloperateexp''totaloperateexp_tb''operateexp''operateexp_tb''saleexp''manageexp''financeexp''operateprofit''sumprofit''incometax''operatereve''intnreve''intnreve_tb''commnreve''commnreve_tb''operatetax''operatemanageexp''commreve_commexp''intreve_intexp''premiumearned''premiumearned_tb''investincome''surrenderpremium''indemnityexp''tystz''yltz''sjltz''kcfjcxsyjlr''sjlktz''eutime''yyzc']
244 # 一共有44个字段,也就是说表格有44列。

以上,就完成了单页表格的爬取和下载到本地的过程。

3. 多页表格爬取

将上述代码整理为相应的函数,再添加for循环,仅50行代码就可以爬取72页的利润报表数据:

1import requests
2import re
3import json
4import csv
5import time
6def get_table(page):
7    params = {
8        'type''CWBB_LRB',  # 表格类型,LRB为利润表缩写,必须
9        'token''70f12f2f4f091e459a279469fe49eca5',  # 访问令牌,必须
10        'st''noticedate',  # 公告日期
11        'sr'-1,  # 保持-1不用改动即可
12        'p': page,  # 表格页数
13        'ps'50,  # 每页显示多少条信息
14        'js''var LFtlXDqn={pages:(tp),data: (x)}',  # js函数,必须
15        'filter''(reportdate=^2018-06-30^)',  # 筛选条件,如果不选则默认下载全部时期的数据
16        # 'rt': 51294261  可不用
17    }
18    url = 'http://dcfm.eastmoney.com/em_mutisvcexpandinterface/api/js/get?'
19    response = requests.get(url, params=params).text
20  # 确定页数
21    pat = re.compile('var.*?{pages:(\d+),data:.*?')
22    page_all = re.search(pat, response)  # 总页数
23    pattern = re.compile('var.*?data: (.*)}', re.S)
24    items = re.search(pattern, response)
25    data = items.group(1)
26    data = json.loads(data)
27    print('\n正在下载第 %s 页表格' % page)
28    return page_all,data
29def write_header(data):
30    with open('eastmoney.csv''a', encoding='utf_8_sig', newline=''as f:
31        headers = list(data[0].keys())
32        writer = csv.writer(f)
33        writer.writerow(headers)
34def write_table(data):
35    for d in data:
36        with open('eastmoney.csv''a', encoding='utf_8_sig', newline=''as f:
37            w = csv.writer(f)
38            w.writerow(d.values())
39
40def main(page):
41    data = get_table(page)
42    write_table(data)
43
44if __name__ == '__main__':
45    start_time = time.time()  # 下载开始时间
46    # 写入表头
47    write_header(get_table(1))
48    page_all = get_table(1)[0]
49    page_all = int(page_all.group(1))
50    for page in range(1, page_all):
51        main(page)
52    end_time = time.time() - start_time  # 结束时间
53    print('下载用时: {:.1f} s' .format(end_time))

整个下载只用了20多秒,而之前用selenium花了几十分钟,这效率提升了足有100倍!

这里,如果我们想下载全部时期(从2007年-2018年)利润报表数据,也很简单。只要将type中的filter参数注释掉,意味着也就是不筛选日期,那么就可以下载全部时期的数据。这里当我们取消注释filter列,将会发现总页数page_all会从2018年中报的72页增加到2528页,全部下载完成后,表格有超过12万行的数据。基于这些数据,可以尝试从中进行一些有价值的数据分析。

4. 通用代码构造

以上代码实现了2018年中报利润报表的爬取,但如果不想局限于该报表,还想爬取其他报表或者其他任意时期的数据,那么就需要手动地去修改代码中相应的字段,很不方便。所以上面的代码可以说是简短但不够强大。

为了能够灵活实现爬取任意类别和任意时期的报表数据,需要对代码再进行一些加工,就可以构造出通用强大的爬虫程序了。

 1"""
 2e.g: http://data.eastmoney.com/bbsj/201806/lrb.html
 3"""

 4import requests
 5import re
 6from multiprocessing import Pool
 7import json
 8import csv
 9import pandas as pd
10import os
11import time
12
13# 设置文件保存在D盘eastmoney文件夹下
14file_path = 'D:\\eastmoney'
15if not os.path.exists(file_path):
16    os.mkdir(file_path)
17os.chdir(file_path)
18
19# 1 设置表格爬取时期、类别
20def set_table():
21    print('*' * 80)
22    print('\t\t\t\t东方财富网报表下载')
23    print('作者:高级农民工  2018.10.10')
24    print('--------------')
25    year = int(float(input('请输入要查询的年份(四位数2007-2018):\n')))
26    # int表示取整,里面加float是因为输入的是str,直接int会报错,float则不会
27    # https://stackoverflow.com/questions/1841565/valueerror-invalid-literal-for-int-with-base-10
28    while (year < 2007 or year > 2018):
29        year = int(float(input('年份数值输入错误,请重新输入:\n')))
30
31    quarter = int(float(input('请输入小写数字季度(1:1季报,2-年中报,3:3季报,4-年报):\n')))
32    while (quarter < 1 or quarter > 4):
33        quarter = int(float(input('季度数值输入错误,请重新输入:\n')))
34
35    # 转换为所需的quarter 两种方法,2表示两位数,0表示不满2位用0补充,
36    # http://www.runoob.com/python/att-string-format.html
37    quarter = '{:02d}'.format(quarter * 3)
38    # quarter = '%02d' %(int(month)*3)
39
40    # 确定季度所对应的最后一天是30还是31号
41    if (quarter == '06'or (quarter == '09'):
42        day = 30
43    else:
44        day = 31
45    date = '{}-{}-{}' .format(year, quarter, day)
46    # print('date:', date)  # 测试日期 ok
47
48    # 2 设置财务报表种类
49    tables = int(
50        input('请输入查询的报表种类对应的数字(1-业绩报表;2-业绩快报表:3-业绩预告表;4-预约披露时间表;5-资产负债表;6-利润表;7-现金流量表): \n'))
51
52    dict_tables = {1'业绩报表'2'业绩快报表'3'业绩预告表',
53                   4'预约披露时间表'5'资产负债表'6'利润表'7'现金流量表'}
54
55    dict = {1'YJBB'2'YJKB'3'YJYG',
56            4'YYPL'5'ZCFZB'6'LRB'7'XJLLB'}
57    category = dict[tables]
58
59    # js请求参数里的type,第1-4个表的前缀是'YJBB20_',后3个表是'CWBB_'
60    # 设置set_table()中的type、st、sr、filter参数
61    if tables == 1:
62        category_type = 'YJBB20_'
63        st = 'latestnoticedate'
64        sr = -1
65        filter =  "(securitytypecode in ('058001001','058001002'))(reportdate=^%s^)" %(date)
66    elif tables == 2:
67        category_type = 'YJBB20_'
68        st = 'ldate'
69        sr = -1
70        filter = "(securitytypecode in ('058001001','058001002'))(rdate=^%s^)" %(date)
71    elif tables == 3:
72        category_type = 'YJBB20_'
73        st = 'ndate'
74        sr = -1
75        filter=" (IsLatest='T')(enddate=^2018-06-30^)"
76    elif tables == 4:
77        category_type = 'YJBB20_'
78        st = 'frdate'
79        sr = 1
80        filter =  "(securitytypecode ='058001001')(reportdate=^%s^)" %(date)
81    else:
82        category_type = 'CWBB_'
83        st = 'noticedate'
84        sr = -1
85        filter = '(reportdate=^%s^)' % (date)
86
87    category_type = category_type + category
88    # print(category_type)
89    # 设置set_table()中的filter参数
90
91    yield{
92    'date':date,
93    'category':dict_tables[tables],
94    'category_type':category_type,
95    'st':st,
96    'sr':sr,
97    'filter':filter
98    }
99
100# 2 设置表格爬取起始页数
101def page_choose(page_all):
102    # 选择爬取页数范围
103    start_page = int(input('请输入下载起始页数:\n'))
104    nums = input('请输入要下载的页数,(若需下载全部则按回车):\n')
105    print('*' * 80)
106
107    # 判断输入的是数值还是回车空格
108    if nums.isdigit():
109        end_page = start_page + int(nums)
110    elif nums == '':
111        end_page = int(page_all.group(1))
112    else:
113        print('页数输入错误')
114
115    # 返回所需的起始页数,供后续程序调用
116    yield{
117        'start_page': start_page,
118        'end_page': end_page
119    }
120
121# 3 表格正式爬取
122def get_table(date, category_type,st,sr,filter,page):
123    # 参数设置
124    params = {
125        # 'type': 'CWBB_LRB',
126        'type': category_type,  # 表格类型
127        'token''70f12f2f4f091e459a279469fe49eca5',
128        'st': st,
129        'sr': sr,
130        'p': page,
131        'ps'50,  # 每页显示多少条信息
132        'js''var LFtlXDqn={pages:(tp),data: (x)}',
133        'filter': filter,
134        # 'rt': 51294261  可不用
135    }
136    url = 'http://dcfm.eastmoney.com/em_mutisvcexpandinterface/api/js/get?'
137    response = requests.get(url, params=params).text
138    # 确定页数
139    pat = re.compile('var.*?{pages:(\d+),data:.*?')
140    page_all = re.search(pat, response)
141    # print(page_all.group(1))  # ok
142    # 提取出list,可以使用json.dumps和json.loads
143    pattern = re.compile('var.*?data: (.*)}', re.S)
144    items = re.search(pattern, response)
145    # 等价于
146    # items = re.findall(pattern,response)
147    # print(items[0])
148    data = items.group(1)
149    data = json.loads(data)
150    return page_all, data,page
151
152# 4 写入表头
153# 方法1 借助csv包,最常用
154def write_header(data,category):
155    with open('{}.csv' .format(category), 'a', encoding='utf_8_sig', newline=''as f:
156        headers = list(data[0].keys())
157        # print(headers)  # 测试 ok
158        writer = csv.writer(f)
159        writer.writerow(headers)
160# 5 写入表格
161def write_table(data,page,category):
162    print('\n正在下载第 %s 页表格' % page)
163    # 写入文件方法1
164    for d in data:
165        with open('{}.csv' .format(category), 'a', encoding='utf_8_sig', newline=''as f:
166            w = csv.writer(f)
167            w.writerow(d.values())
168
169def main(date, category_type,st,sr,filter,page):
170    func = get_table(date, category_type,st,sr,filter,page)
171    data = func[1]
172    page = func[2]
173    write_table(data,page,category)
174if __name__ == '__main__':
175    # 获取总页数,确定起始爬取页数
176    for i in set_table():
177        date = i.get('date')
178        category = i.get('category')
179        category_type = i.get('category_type')
180        st = i.get('st')
181        sr = i.get('sr')
182        filter = i.get('filter')
183    constant = get_table(date,category_type,st,sr,filter, 1)
184    page_all = constant[0]
185
186    for i in page_choose(page_all):
187        start_page = i.get('start_page')
188        end_page = i.get('end_page')
189
190    # 先写入表头
191    write_header(constant[1],category)
192    start_time = time.time()  # 下载开始时间
193    # 爬取表格主程序
194    for page in range(start_page, end_page):
195        main(date,category_type,st,sr,filter, page)
196    end_time = time.time() - start_time  # 结束时间
197    print('下载完成')
198    print('下载用时: {:.1f} s' .format(end_time))

以爬取2018年中业绩报表为例,感受一下比selenium快得多的爬取效果:

利用上面的程序,我们可以下载任意时期和任意报表的数据。这里,我下载完成了2018年中报所有7个报表的数据。


文中代码和素材资源可以在下面的链接中获取:https://github.com/makcyun/eastmoney_spider


本文完。


- The End -

「若你有原创文章想与大家分享,欢迎投稿。」

加编辑微信ID,备注#投稿#:

程序 丨 druidlost  

小七 丨 duoshangshuang


点文末阅读全文,看『程序人生』其他精彩文章推荐。


免费公开课|扫码即可报名 


想学习超级账本的同学千万不要错过!开课前报名可免费观看直播和回放,课程结束后只有会员才可免费观看回放哦!



推荐阅读:


print_r('点个赞吧');
var_dump('点个赞吧');
NSLog(@"点个赞吧!")
System.out.println("点个赞吧!");
console.log("点个赞吧!");
print("点个赞吧!");
printf("点个赞吧!\n");
cout << "点个赞吧!" << endl;
Console.WriteLine("点个赞吧!");
fmt.Println("点个赞吧!")
Response.Write("点个赞吧");
alert(’点个赞吧’)

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存