震惊！知名数据分析软件竟被某度翻译“亲切称呼”为“斯塔塔”

导读

  各位小伙伴、大伙伴，大家好，今天是我爬虫俱乐部“张三丰”的主场。

  话说在之前《在Sustainability上发文最多的原来是这些高校》的推文中，咱们写了几个大循环，实不相瞒，后劲很足。上次我们已经提取出了作者所属高校的英文名称，并命名为institute_en.dta放在D盘下。首先，我们来看看该文件的数据集：

  被选中的inname变量即为各高校的英文名称。可以发现，红框内均为安徽财经大学，但因其写法不同，Stata无法将其归为一组，进一步导致分组汇总结果出错。因此我们需要将该变量翻译为唯一的、正确的中文名称。

注册百度翻译开发者账号

  当然，人工翻译是不可能人工翻译的，为了提(jiu)高(shi)效(tou)率(lan)，秉承能坐着绝不站着、能躺着绝不坐着的精神，我决定用百度翻译简单迅速地完成高校名称的翻译工作。那就让咱们先来看看百度翻译的界面：

  震惊！知名数据分析软件竟被某度翻译“亲切称呼”为“斯塔塔”！ 
  哦，对不起，走错了。我们应该打开百度翻译开放平台(https://api.fanyi.baidu.com/)。但这也反映出引用百度翻译的一个问题：通用模式下无法准确翻译特殊的缩写词和专业术语，这个问题暂且搁置，先来看看如何在Stata中利用百度翻译API。 
  首先，打开百度翻译开放平台，使用百度账号登录。

  登录后，下拉页面至产品服务页，选择通用翻译API。

  进入详情页后点击立即使用，跳转到开发者注册页面，选择个人开发者完成认证。

  随后要求填写真实姓名和身份证号，这里我们暂时不填，选择暂不认证。此时可以使用标准版通用翻译，实名认证后可以使用高级版。

  注册成功后，点击开通服务，进而选择通用翻译API，选择开通标准版。

  随意填写应用名称后，前往控制台，找到开发者信息里你的APPID和密钥。

Stata与百度翻译

  百度通用翻译API的HTTP地址为:http://api.fanyi.baidu.com/api/trans/vip/translate，有多个参数可供选择：

  其中最重要的是前5个字段，q是请求翻译的内容，为保证准确性，单次翻译文本长度最大限制为6000字节（汉字约为2000个字符），salt为随机的一串数字，sign为根据百度翻译API要求生成的签名，签名的生成方式为： 
  Step1. 将请求参数中的appid， 翻译内容q(应为UTF-8编码), 随机数(salt), 以及平台分配的密钥(可在管理控制台查看) 按照 appid+q+salt+密钥 的顺序拼接得到字符串1。 
  Step2. 对字符串1做md5，得到32位小写的sign。注意：

1. 待翻译文本（q）需为UTF-8编码  

2. 在生成签名拼接 appid+q+salt+密钥 字符串时，q不需要做URL encode，在生成签名之后，发送HTTP请求之前才需要对要发送的待翻译文本字段q做URL encode

  值得注意的是，对q（即翻译内容）做urlencode时要特别小心，若q参数中含有&、=、+等特殊符号时，url无法被正确识别，这也是笔者在上期翻译高校名称时将&替换为and的原因。

  首先，我们设定q=Zhongnan University of Economics and Law，salt=123456。 
  其次，找到一个在线MD5加密网站生成签名（sign）并将加密结果抓取下来：（一定要换成你的APPID才能运行程序！！）

  运行结果如下：

  需要注意的是，使用循环对较多的字符串加密时，可能导致对方服务器异常（别问，问就是用了三个），建议数据集分成几个parts，分别在多个MD5加密网站进行加密。 
  再次，将HTTP请求拼接完整，使用DOS命令curl进行抓取（使用copy会被服务器拒绝）：（一定要换成你的APPID才能运行程序！！）

  运行结果如下图所示：

  利用循环我们就可以将所有的高校名称翻译完毕啦，通过合并所有的trans_*.dta文件，我们可获得所有高校的中文名称~限于篇幅，我们不再展示循环程序，如有需要，可回复bdtrans获取完整的代码。
  最后，将翻译后的中文文件institute_zh.dta与institute_en.dta横向合并：

  运行结果如下图所示：

  话说回来，咱们前面是不是还留了个尾巴没有解决？那就是，百度通用翻译对专业术语翻译不准确的问题。

  幸运地是，百度翻译近期更新后允许开发者创建自己的语料库，能够优化对专业术语的翻译。由于篇幅有限，伙伴们可以先自行探索一下语料库的使用，我们下期再聊~

喜临涛门，月满人圆

Python中的这些运算符你真的会用吗？

字符串函数总动员