2022语言与智能技术竞赛已开启报名(2022 Language and Intelligence Challenge)

2022语言与智能技术竞赛已开启报名！联手“千言”数据集开源项目，本次竞赛赛题覆盖跨模态、知识驱动、可信学习等前沿课题，全新四大任务、多个全新重磅数据集、总额20万元的奖金，诚邀学术界和工业界的研究者和开发者参加本次竞赛！

语言与智能技术竞赛是为了推动语言与智能技术发展，由CCF和中国中文信息学会联合主办，百度公司、中国中文信息学会评测工作委员会和CCF自然语言处理专委会联合承办的语言与智能领域的重点评测赛事，已连续举办多届。历届竞赛组织了阅读理解、人机对话、语义解析、信息抽取等评测任务，覆盖自然语言处理和人工智能领域的重要前沿课题，极具挑战。竞赛对于推进相关技术研究及智能搜索、智能推荐、智能交互等人工智能应用发展具有重要意义。

2022年语言与智能竞赛将设立来源于真实应用需求的四大任务，提供大规模中文数据集。今年的赛题设置，围绕跨模态、知识驱动、可信学习三个前沿课题，适应当今的技术和应用发展趋势。竞赛希望为研究者提供学术交流平台，进一步推动语言理解和人工智能领域技术研究和应用的发展。获胜队伍将分享总额20万+的奖金，并将在第七届“语言与智能高峰论坛”举办技术交流和颁奖。

欢迎参加2022语言与智能技术竞赛！

任务设置

竞赛共设置4项热门任务，兼具挑战性和实用性，具体介绍如下：

序号	任务名称	任务简介
1	段落检索	让机器从大规模语料库中找出相关段落，评估机器的语义检索及排序的能力。
2	知识对话	让系统具备利用搜索引擎知识进行开放域对话交互的能力，提升对话的丰富性与知识准确性。
3	情感分析可解释性	让情感分析模型更可解释，从合理性、忠诚性等维度评测模型的可解释性，进而推动构建更加可解释的模型。
4	视频语义理解	让机器对视频进行内容分析与理解。在感知内容分析的基础上，融合知识、语言、视觉、语音等多模信息，结合知识计算与推理，为视频生成相应的语义标签。

任务说明如下：

段落检索：段落检索是指从大规模语料库中找出相关段落，它是自然语言处理和信息检索领域中的重要任务。传统的检索系统基于倒排索引，采用稀疏段落检索（例如BM25）的方法对查询和候选段落进行匹配，主要考虑关键词的匹配特征，无法处理语义相近但字面匹配程度低的情况；近年来，随着预训练语言模型的快速发展，稠密段落检索方法的性能取得了质的飞跃，逐步超越了传统的BM25等方法。这种方式能够对查询和候选段落进行语义级别建模，在问答等语义匹配要求高的场景表现更好。为了进一步推动该方向的研究进展，我们发布首个大规模中文段落检索数据集DuReader-retrieval，该语料来源于真实搜索场景，包含了用户的真实查询和真实文档，任务难度大，覆盖了真实应用中诸多有挑战的技术问题。
知识对话：真实世界的人机交互会涉及大量知识相关的内容，但即使是在参数中存储了大量知识的预训练对话生成系统，在进行细粒度知识聊天时，也容易产生不准确的回复。同时，系统蕴含的知识很难更新，对于用户需求较大的时事聊天，往往表现较差。为了应对这一挑战，本次竞赛提出了利用搜索引擎实时获取知识然后基于该知识进行对话的任务，搜索引擎获取的知识具备时效性高、内容丰富等特点，且经过数十年的技术积淀，能够在给定合适搜索问题时，返回准确的答案。为此，我们建立了开放领域的搜索知识对话数据集，希望系统能够学习1）基于对话历史生成检索query；2）基于对话历史与基于query查询到的知识生成对话回复的能力。希望通过此次竞赛，助力开放域对话技术进一步发展。
情感分析可解释性：深度学习模型常被当作一个黑盒使用，其内部决策机制是不透明的。这种不透明性导致使用者对其结果的不信任，增加了落地难度，尤其是在医疗、法律等特殊领域。近年来，深度学习模型的可解释性受到广泛关注，涌现出很多致力于分析和增强模型可解释性的工作，如模型预测依赖证据提取、基于证据的可信增强等。为了进一步推动该方向研究发展，我们构建了可解释评测数据集和评估指标，用来评测模型的可解释性，及证据抽取方法的准确性。本次比赛提供了情感分析任务的评测数据，所有输入均来自真实用户的评论数据。针对每一输入文本和其标准结果，我们提供了人工标注的词粒度的标准证据，以及从干扰、敏感、泛化等角度构建的扰动数据，旨在从合理性、忠诚性角度评估模型的可解释性。希望通过本次比赛，推动模型可解释性研究进一步发展。
视频语义理解：传统基于感知的视频内容分析缺乏语义化理解能力，而充分利用知识图谱的语义化知识并结合跨模态学习和知识推理技术，有望实现更深入的视频语义理解。本评测任务以互联网视频为输入，在感知内容分析（如人脸识别、OCR识别、语音识别等）的基础上，期望通过融合多模信息，并结合知识图谱计算与推理，为视频生成多知识维度的语义标签，进而更好地刻画视频的语义信息。此任务来源于真实应用需求，提供了中文大规模视频语义理解评测数据集，同时提供了视频相关的知识图谱。任务难度大，考察点丰富，覆盖了真实应用中诸多有挑战的技术问题。