🔥 热搜 🔥
上海习近平新疆鄂州父女瓜乌鲁木齐疫情H工口小学生赛高习明泽芊川一笑图包印尼排华
分类
社会娱乐国际人权科技经济其它
🔥 热搜 🔥
上海习近平新疆鄂州父女瓜乌鲁木齐疫情H工口小学生赛高习明泽芊川一笑图包印尼排华
分类
社会娱乐国际人权科技经济其它
查看原文
其他

SIGIR2021论文：基于Text-to-Text多视图学习的段落重排序

刘聪NLP NLP工作站 2023-11-28
收录于合集 #论文解读 40个

往期推荐

SIGIR2021之DvBERT模型：双视图蒸馏的句向量BERT模型

SIGIR2021之IDCM模型: 文档内部级联选择段落服务于文档排序

中文摘要数据集汇总

超详细中文注释的GPT2新闻标题生成项目

Unilm对话生成之夸夸式闲聊机器人


本次分享的论文来自于SIGIR 2021会议，论文全名为Text-to-Text Multi-view Learning for Passage Re-ranking，即基于Text-to-Text多视图学习的段落重排序。
论文地址：https://arxiv.org/abs/2104.14133

目前，段落重排序任务，基本上是在预训练语言模型的基础上，采用query-passage pair对进行下游匹配微调。然而这种下游任务的训练方式是不充分的，因为一个句子往往可以从多个不同的角度进行解释。
因此，该论文提出了文本到文本的多视图学习框架，将一个文本生成的视图（the textgeneration view）合并到一个典型的单视图（passage re-ranking view）段落重排序模型中。模型结构如下图所示，

Text-to-Text多视图学习框架


其实，论文就是在T5模型的基础上，训练了一个段落重排序模型和一个问题生成模型，并且训练方式为多视图的训练方式，即两个模型共享模型的表示层。将生成的问题，对原始段落进行扩展，提高了重排序的效果。

Passage ranking


段落重排序的目标是学习一个查询query与一个段落passage的相关程度，模型将其相关程度转换为T5模型预测标签【true，false】的概率，损失函数如下：
  
其中，训练以triple的形式输入query，相关passage以及不相关passage。

Text generation


问题生成是根据输入的passage生成对应的query，损失函数如下：
  
其中，  表示查询query的长度，  从查询query中提取第j到第k个词。

Multi-view learning


在T5模型的基础上同时考虑两个视图（主要的Rank视图和辅助的P2Q视图）来完成段落重排序任务。该论文假设当融合段落排序任务和文本生成任务的目标时，共享表示具有更好的泛化能力，融合损失如下：
   
其中，  为基于  的伯努利分布，  是一个预定义参数，以下称为“混合率”。混合率等于用于文本生成任务训练样本数与用于段落排序任务训练样本数的比例。

Result


通过实验发现，基于Text-to-Text多视图学习的段落重排序是有效的。
混合率对多视图训练效果影响较大。当混合率为0.15时，模型取得最优效果。
并且，当扩充排序候选集时，可以增加模型效果的稳定性。
并由于T5模型的训练机制（不了解的同学可以自行看一下T5模型的训练机制，简单来说就是万物皆可生成），训练时的模板与输入的前缀对效果也有一定的影响。

总结


该篇论文主要采用doc2query的技术，对段落排序时进行文档内容扩充，提高排序效果。并且发现训练时两个视图之间的混合率起着至关重要的作用。


喜欢的的同学们，记得点赞，关注，转发哟！！！

SIGIR2021之DvBERT模型：双视图蒸馏的句向量BERT模型

2021-06-15

SIGIR2021之IDCM模型: 文档内部级联选择段落服务于文档排序

2021-06-12

Unilm对话生成之夸夸式闲聊机器人

2021-01-17

中文摘要数据集汇总

2021-01-03

超详细中文注释的GPT2新闻标题生成项目

2020-12-31

小布助手对话短文本语义匹配-周星星分享

2021-03-29

继续滑动看下一个

您可能也对以下帖子感兴趣

文章有问题？点此查看未经处理的缓存