matchit——解锁文本相似度的钥匙

本文作者：孙晓玲

文字编辑：朱巧利

当下，模糊匹配在查询和配对操作中起着重要的作用，进行模糊匹配就需要先计算匹配对象之间的相似度。在我们以往的推文（《想比较文本相似度吗？也许这两个命令可以帮你》）中也为大家介绍过两个比较文本相似度的命令strdist、jarowinkler，今天将为大家介绍的matchit也是可以计算文本相似度的一个非常好用的命令。不同于前两个命令，matchit的功能更加强大，不仅可以对同一数据集中的两列内容进行相似度匹配，还可以对两个不同的数据集中的文本内容进行匹配。

一、matchit的优势

一般计算短文本的相似度使用的是编辑距离(Levenshtein距离)，而编辑距离不考虑文本的顺序和含义这样得到的相似度经常是不理想的，strdist命令采用的就是编辑距离。matchit采用的是矢量分解算法和语音算法，极大的提高了语意和拼写准确性。matchit是一个外部命令，使用之前需要进行安装。

安装过后直接使用，会发生如下图所示的报错提示。

因此，在正式使用之前，还需要安装freqindex命令，在matchit的说明文档中也有介绍。

二、同一数据集的两列匹配模式

matchit可以对同一数据集中的两列数据进行相似度匹配，其基本语法如下：

matchit varname1varname2 [, options]

其中，varname1和varname2是所选的进行匹配的两个列的变量名，还可以设置一些选项对匹配结果进行适当约束。下面，用input生成一个两列的数据，对这两列的内容进行相似度匹配。

如图所示，第三列similscore就是string1和string2的文本相似度，例子中列出了常见的几种相似度匹配类型“相似语意匹配”、“同类词匹配”、“缩写”、“简写”。从结果中也可以看出，这里的相似度考虑到了语意相似，不同于编辑距离算法。

三、两个数据集的内容匹配

matchit的另一匹配模式可以对两个数据集进行匹配，这时两个数据集都需有索引变量，其基本语法如下：

matchit idmaster txtmaster using filename.dta, idusing(varname) txtusing(varname) [options]

其中，idmaster表示当前文件的索引变量，txtmaster表示当前文件的匹配变量；filename.dta是所需匹配的另一文件；idusing和txtusing括号中分别为匹配文件的索引变量和匹配变量。

在数据清洗过程中，我们经常会碰到数据合并问题。merge、joinby、append等命令能帮助我们合并数据，但有时候我们需要合并的数据并不规整，两个数据集的来源不同，观测值的“标志名”就不一样。例如上面的例子中，“中南财经政法大学”又可以简称为“中南财大”，这时候就无法直接用merge等命令将数据合并。这时候matchit就可以为我们提供帮助。下面，小编将以一个简单的例子为大家演示这个过程。

首先，生成所需的两个数据集。小编生成了几个兴趣协会在2018年和2019年的成员数目横截面数据集，分别保存为“club18.dta”和“club19.dta”文件。在这两个数据集中不同协会的索引和名称不相同，18年的数据集中协会名为全名，如“字符串学习吧”，在19年的数据集中协会名为缩写，如“字符串吧”。

得到数据集后，先对两个数据集进行相似度匹配，匹配结果如下。

从图中可以看到，我们已经将两个数据集中的协会正确匹配，并得到对应的索引对。override选项保证匹配时不因未保存内存中的数据而报错。接下来就可以通过对应的索引将两年的数据合并。

这样一番操作后，两个数据集就完美合并了。再处理一下就可以进行后续分析啦。

关于matchit介绍就写到这里了，感兴趣的读者快来试试吧~

如何用简单的手法绘制出不一样的海外疫情趋势图