CCL23 古籍命名实体识别评测
ℹ️ 本次评测 由 北京大学人工智能研究院和北京大学数字人文研究中心 联合组织
最新消息
| 时间 | 消息 |
|---|---|
| 6 月 15 日 | 根据榜单排名以及组织方的复现审核结果，获奖信息已公布。 |
| 6 月 5 日 | 请有意愿参与评奖的各位队长填写表单，以供组织方获得榜单对应的队伍和实验数据、代码等信息用于审核。截止日期为 6 月 9 日晚 23:00。 |
| 5 月 24 日 | 评测提交截止时间为 6 月 1 日上午 8:00，请合理安排时间。 |
| 5 月 6 日 | 评测榜单提交时，“组织”一栏请务必填写报名时的队伍名。若之前提交时填写有误，可联系我们撤回。 |
| 4 月 28 日 | 本次评测的测试集和评测提交入口已开放。详见提交评测。 注意，榜单是每天早 8:00 自动更新。 |
| 4 月 22 日 | 数据集事宜已通过邮箱联系各参赛队伍的队长。若未收到邮件，请尽快联系我们。 |
| 4 月 10 日 | 报名链接已开通。每个参赛队伍由队长提交报名即可 |
1. 任务内容
命名实体识别（Name Entity Recognition）任务旨在自动识别出文本中人名、地名、机构名等事件基本构成要素的重要实体。古籍文献的命名实体识别是正确分析处理古汉语文本的基础步骤，也是深度挖掘、组织人文知识的重要前提。近年来，学界已有多项研究关注史籍、方志、诗词、中医等等类目的古籍命名实体识别，构建了一些针对垂直领域的小型标注数据集，实体标注的体系和规范有所差异，识别范围往往由三种基本实体类别扩充至人文计算研究所需的多种特殊类别，如书名、药物名、疾病名、动植物名等。这些研究所构建针对特殊领域的小型标注数据集，实体类型有差异。总体而言，古籍命名实体识别任务仍旧缺乏可用于模型训练以及评测的公开数据资源，阻碍了技术的长足发展。另一方面，古文字词含义的多样性、行文结构的连续性以及多用繁体字、无句读等特点，也增加了古籍文献命名实体识别任务的复杂和困难程度。
因此，我们基于“二十四史”，设计了涵盖人名、书名、官职名等多项的实体知识体系，建构了覆盖多个朝代的历时、跨领域的数据资源，完善古籍命名实体识别任务的建立。
本次古籍文献的命名实体识别评测，通过发布全新的基于“二十四史”的训练和测试数据集，提供统一的评测提交平台，以此推动技术的突破和发展，助力古籍资源的智能开发与利用。
2. 评测数据
本次评测提供官方评测数据集“古籍命名实体识别 2023”(GuNER 2023)，由北京大学数字人文研究中心组织标注，语料来源是网络上公开的部分中国古代正史纪传文本。数据包括供参赛队伍进行模型训练与调优的训练集，以及评测参赛队伍的模型性能的封闭测试数据集。同时，各参赛队伍可以自行使用其他公开的人工标注数据集和伪造数据集。
训练集以“二十四史”为基础语料，包含 13 部书中的 22 卷语料，随机截断为长度约 100 字的片段，标注了人名（PER）、书名（BOOK）、官职名（OFI）三种实体，总计 15.4 万字（计标点）。各实体的标注要求详见标注规范。
评测数据集格式为文本文件，参赛队伍可根据模型需要进行转化处理。其中训练集数据样例如下所示，每行为二十四史原文中的一个段落，段中每一个实体以“{ }”标识，“|”后为实体类别。测试集数据近包含原文内容，参赛队伍需要提交在测试集文本上的实体识别结果文件，格式与训练集一致。
{輔元|PER}兄{希元|PER}，{高宗|PER}時洛州{司法參軍|OFI}，{章懷太子|PER}召令與{洗馬|OFI}{劉訥言|PER}等注解{范曄|PER}{後漢書|BOOK}，行於代。先{輔元|PER}卒。
{友倫|PER}幼亦明敏，通{論語|BOOK}、{小學|BOOK}，曉音律。{存|PER}已死，{太祖|PER}以{友倫|PER}為{元從馬軍指揮使|OFI}，表{右威武將軍|OFI}。
本次评测在模型训练方面的具体规则如下：
- 用于训练的数据必须可以开源获取，并应在评测报告中说明或以其他方式向比赛组织方公开，不得使用闭源数据。
- 用于训练的数据必须保证不与测试集重合。不遵守规定导致结果不可复现的，将取消比赛资格并删除已产生的比赛结果。
- 不允许任何队伍以开小号的形式刷榜。
3. 评价标准
本次评测的测试数据集采用封闭方式给出，即仅给定原古文文本，需要参赛队伍训练模型对文本中的命名实体进行自动识别和标注，并将结果文件上传至在线评测平台，获取评测指标得分。
本次评测使用 准确率（Precision）、召回率（Recall） 和 F1 作为评价指标。
4. 评测赛程
报名及数据集开放时间：2023 年 4 月 1 日——5 月 31 日
提交截止时间：2023 年 6 月 1 日 上午 8:00 结果公布时间：2023 年 6 月 15 日
提交中文或英文技术报告：2023 年 6 月 25 日
中文或英文技术报告反馈：2023 年 6 月 28 日
正式提交中英文评测论文：2023 年 7 月 3 日
评测论文录用通知：2023 年 7 月 10 日
评测研讨会：2023 年 8 月 3-5 日
5. 奖项设置
本次评测将分别设置一、二、三等奖，奖金总额为 20000 元。同时由主办方中国中文信息学会为本次评测获奖队伍提供荣誉证书。
6. 论文评审
本次评测要求参赛队伍提供测试所用模型和代码以供复现，同时鼓励参赛队伍提交中文或英文技术报告。同时技术报告也与评测排名一起作为评奖的考虑因素之一。参赛队伍所提交的技术报告将经历两轮评审：首先评测组织方进行初评和反馈，并推荐出优秀报告；再经大会组织评审专家进行双盲评审，最后公布技术报告的录用结果。