面向教育应用的自然语言处理工作坊（NLP Tech for Educational Application, NLPTEA）：第六届中介语作文句法自动诊断评测CGED将于2020年12月4日在AACL2020（Online）会期中举行。走过路过不要错过！

给歪果仁开发自动批改作文的程序还是很重要的一件事儿，这茬儿的baseline现在还很低，一起来beat！

这是个啥任务？

我们就是给你一些洋人写中文作文的语料（中介语作文），然后请你（的系统）来诊断里面的句法错误。错误共有四类：多（字）词（Redundant）、缺（字）词（Missing）、错（字）词（Selection）和词序错误（Word Order）。我们将从三个方面来评测大家的系统性能：判断句子有错没错（detection level）、判断啥类型的错（identification level）、错误出现的位置（position level，最难啦~）。来看俩例子：

• Example 1:
  Input: (sid=00038800464) 我真不明白。她们可能是追求一些前代的浪漫。
  Output: 00038800464, correct

• Example 2:
  Input: (sid=00038801261) 人战胜了饥饿，才努力为了下一代作更好的、更健康的东西。
  Output: 00038801261, 9, 9, M
               00038801261, 16, 16, S
  (Notes: "能" is missing. The word "作" should be "做". The correct sentence is "才能努力为了下一代做更好的")

恍惚间，不敢想啊！今年已经是CGED评测的第六届啦~CGED-1@ICCE2014、CGED-2@ACL2015、CGED-3@COLING2016、CGED-4@IJCNLP2017、CGED-5@ACL2018

数据集

我们提供北京语言大学（曾）主办的汉语水平考试HSK作文批改数据。CGED2016、2017和2018版测试集和训练集，供包含六万余个错误点。2016至2018数据、历届评测报告、论文集和评测工具可在评测网站获取下载链接：www.cged.tech（具体信息请戳阅读原文 )

如何评测

• Detection level: 

• 告诉我们句子究竟有没有错
  

• Identification level:

• 告诉我们错误的类型（S、M、R还是W？）
  

• Position level: 

• 告诉我们错误的位置（指出错误从句首开始的字符偏移量）

• Correction level:

• 对于错（字）词和缺（字）词类型的错误，参赛队可给出0到3个推荐答案

每个评测侧面，都将评测精确率、召回率和F1值。

注意correction level中，系统可以根据对错误修改的置信度选择推荐答案的个数（0到3个之间）。显然推荐较多的答案会增大命中教师答案的可能性，但也会增大精确率中分母哦~

如何报名

电邮报名raogaoqi[@blcu.edu.cn

请在邮件中注明：

• 团队的名称

• 单位

• 联系人和联系方式

具体时间

• 开始注册: 2020年7月17日

• 训练集开放: 2020年8月3日
  

• 发布测试集: 2020年8月12日

• 参赛队伍提交结果: 2020年8月13日
  

• 公布评测成绩: 2020年8月14日

• 提交技术报告:2020年9月18日
  

• 返回审稿结果: 2020年10月23日
  

• 终版提交: 2020年11月6日
  

• Workshop dates@AACL: 2020年12月4日

关于我们

• Erhong Yang (Beijing Language and Culture University)

• 北语杨尓弘

• Endong Xun (Beijing Language and Culture University)

• 北语荀恩东
  

• Baolin Zhang (Beijing Language and Culture University)

• 北语张宝林

• Gaoqi Rao (Beijing Language and Culture University)

• 北语饶高琦

今日责编：你是哪个李