NAACL2022-Prompt相关论文&对Prompt的看法

写在前面

大家好，我是刘聪NLP。

最近在做Prompt的相关，整理NAACL2022中Prompt相关的论文，并把论文中对应的Github链接也附上了。并且一些自己特别感兴趣的论文，已经标星”*“，希望对大家有所帮助。

后面也简单谈了谈对Prompt的看法，不是吐槽，不是吐槽，只是一些自己的真实感受。

一起学起来吧~~~

Prompt相关论文

[1] *Template-free Prompt Tuning for Few-shot NER

[2]IDPG: An Instance-Dependent Prompt Generation Method

[3]Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification

[4]ProQA: Structural Prompt-based Pre-training for Unified Question Answering

[5]On Transferability of Prompt Tuning for Natural Language Processing

[6]PROMPT WAYWARDNESS: The Curious Case of Discretized Interpretation of Continuous Prompts

[7]Learning to Transfer Prompts for Text Generation

[8]*Learning To Retrieve Prompts for In-Context Learning

[9]Do Prompt-Based Models Really Understand the Meaning of Their Prompts?

[10]Go Back in Time: Generating Flashbacks in Stories with Event Plots and Temporal Prompts

[11]Probing via Prompting and Pruning

[12]Contrastive Learning for Prompt-based Few-shot Language Learners

[13]Using Natural Sentence Prompts for Understanding Biases in Language Models

[14]Zero-Shot Event Detection Based on Ordered Contrastive Learning and Prompt-Based Prediction

[15]LiST: Lite Prompted Self-training Makes Efficient Few-shot Learners

[16]Exploring the Universal Vulnerability of Prompt-based Learning Paradigm

[17]Prompt Augmented Generative Replay via Supervised Contrastive Learning for Lifelong Intent Detection

[18]RGL: A Simple yet Effective Relation Graph Augmented Prompt-based Tuning Approach for Few-Shot Learning

[19]On Measuring Social Biases in Prompt-Based Learning

[20]Few-Shot Self-Rationalization with Natural Language Prompts

[21]SEQZERO: Few-shot Compositional Semantic Parsing with Sequential Prompts and Zero-shot Models

[22]PromptGen: Automatically Generate Prompts using Generative Models

聊聊Prompt

说句实话，到目前为止，我还是「有些失望的」，和我想象的并不一样。在工业落地方面，我们总是希望模型具有解决小样本、快速训练、快速推理的能力。那么prompt解决了吗？其实并没有。

• 现在说的解决few-shot甚至zero-shot，基本上都是基于超大参数的模型，推理速度可想而知，以机器问答场景举例，让用户等个几秒钟，是完全不可以接受的。
• 很多论文都是自动模板、自动答案空间映射，并且还是全量参数在训练，训练时长不减反增，真的是心累。有哪些时间，你说我标点数据香不香。
• 反正模型都很大，不是large就是xxlarge，或者一切软模版也是增加了部分参数，或多或少，反正推理时间是没变短。
• 在真实情况下，NER任务中每个类别标个50-100条数据，分类任务中每个类别标个200-300条，都可以达到一个不错的效果，对于公司来说，标这点数据还是可以接受的，那么在这种数据规模下，prompt又能提高多少呢？
• 在5-shot下，不用prompt是30，用了是40，确实提高了10个点，但是40的精读，模型能上线吗？

但是，我们依然要抱有希望，并且要冷静地看待新的技术。我并没有否定Prompt的价值，只是目前我现在很难在资源有限的情况下把它很好地落地，也许是自己的能力有限。