MatchSum-一种基于语义匹配的抽取式摘要框架
写在前面
大家好,我是刘聪NLP。
昨天给大家分享了抽取式摘要BertSum论文,今天给大家带来一篇通过语义匹配进行抽取式摘要的论文「MatchSum」,发表于ACL2020,全名《Extractive Summarization as Text Matching》。
paper:https://arxiv.org/pdf/2004.08795.pdf
github:https://github.com/maszhongming/MatchSum
介绍
目前大多数抽取式摘要,大多对原始文档中的句子进行表征,并构建句子间的关系模型,最终选择分数较高的多个句子组成摘要;但是这往往会导致模型更倾向于选择高度概括的句子,而忽略了多个句子之间的耦合。该论文讨论了句子级(Sentence-level)和摘要级(Summary-Level)方法的优势和局限性,其中,句子级方法就是一句一句地进行抽取;摘要级方法就是对若干句进行抽取。并提出了一个新的摘要级框架MatchSum,将抽取式摘要定义为一个语义文本匹配问题,即一个好的摘要应该比不合格的摘要在语义上更类似于原始文档。
句子级和摘要级方法比较
定义一个文档,包含个句子;侯选摘要为,其中,;金标准摘要为;对于和的句子级分数为:
其中,为侯选摘要中的句子,为侯选摘要的句子个数,为侯选摘要句子与金标准摘要之间ROUGE分数。摘要级分数为:
其中,是将侯选摘要中所有句子作为一个整体,然后与金标准摘要计算ROUGE分数。
通常认为,最佳摘要(Best-Summary )是指所有候选摘要中摘要级得分最高的摘要。但在真实情况下,往往会出现句子级分数较低但摘要级分数较高的摘要,称之为珍珠摘要(Pearl-Summary)。也就是,存在一个侯选摘要,并且。显然,当一个候选摘要为珍珠摘要时,那么句子级方法就很难提取它。
为了确认珍珠摘要在真实数据集中是否会出现,在6种数据集上进行比较,数据集详情如下表所示,
模型结构
为了解决上述问题,该论文提出了一个摘要级框架,可以直接对摘要进行评分和提取,即,将抽取式摘要任务转换为一个语义文本匹配问题,对原始文档和候选摘要(从原始文本中提取)进行语义空间中匹配,找到摘要级的最佳摘要。
Siamese-BERT
构建一个基于BERT模型的暹罗网络,如下图所示,计算原始文档与侯选摘要之间的语义相似度得分,即将原始文档输入到BERT-D模型中,取其[CLS]向量作为文档向量;将侯选摘要输入到BERT-C模型中,取其[CLS]向量作为摘要向量,其中BERT-D与BERT-C参数共享;最后利于余弦相似度计算文档向量与摘要向量之间距离,作为最终得分。
(2)对侯选摘要按照ROUGE分数降序排列,排名差距较大的候选摘要对之间的距离也应该较大。
其中,是边际值,是一个超参数,用于区分候选摘要的好坏。最终损失如下:
在推理阶段,从文档D中抽取所有候选摘要C中寻找最佳的摘要。
Candidates Pruning
如果将所有的句子直接排列组合,虽然比较简单,但是存在组合爆炸问题;那么如何确定候选摘要集的大小至关重要。该论文引入内容选择模块对原始文档进行裁剪。该模块为每个句子的重要性进行评分,并删除与当前文档无关的句子,获取删减文档。其中,内容选择模块最终使用不包含trigram blocking策略的BertSum模型。最后对删减文档中所有的句子直接排列组合。
实验结果
针对6种摘要数据集进行实验,内容选择模块规格以及句子排列组合规格如下表所示,
总结
该篇论文将抽取式摘要任务转化为一个语义匹配任务的思路,主要是解决了抽取式摘要中信息冗余的问题,相较于BertSum方法中的Trigram Blocking策略,MatchSum方法灵活性以及泛化性更好。但是也额外增加了很大的计算成本,虽然采用暹罗网络可以避免重复计算原始文档的表征,但是侯选摘要集的表征依然耗费大量的时间成本,在工业落地时会成为一个隐患。
那么是否,可以在不重复表征的情况下,利用语义匹配任务的思路解决该问题,值得思考。
放假ing,但是也要学习。
往期推荐