背景 自从ChatGPT出现以来，在国内外掀起了大语言模型（LLM）研究和应用的浪潮，在LLM中看到了实现通用人工智能（AGI）的可能性。LLM的研究热潮让LLM的评测成为亟待解决的问题，原有自然语言处理（NLP）领域的评测经验已无法满足LLM模型评测的要求。如何客观的评估LLM的能力，同时客观反映LLM模型需要解决的问题成为了相较LLM的研究和开发更为紧迫和重要的任务。 构建客观、全面的LLM评测体系已成为LLM一个新的研究方向，同时LLM中涌现出来的通用人工智能能力，决定了LLM的评测已不是传统NLP评测的方式。事实上，评测体系以及评测数据的建设需要以通用人工智能能力的评测为目标，借助更多样的群体来完成。 本平台期望通过每位用户对大模型应用的理解以及自身具备的不同领域的知识，设计高质量的评测数据来对大模型进行综合的评估。 活动提交的数据分为两种类型： 任务一：提交单条数据 任务二：提交数据集   奖励规则 本次活动为用户提供丰富的奖励机制，共计30万元现金奖池。具体的，针对任务一和任务二，平台将分别提供10万元的现金奖池；同时，平台还为积分榜单前六的用户提供总计10万元的额外现金奖励。用户可以通过贡献单条评测数据、贡献评测数据集、邀请新用户以及参与积分总排行四个方面获得积分奖励以及现金奖励。 具体数据&奖励规则参考：【任务一】单条评测数据提交说明与奖励规则、【任务二】评测数据集提交说明与奖励规则、奖励规则说明 活动须知 反作弊说明 在活动过程中如出现以下情况将被视为作弊，我们将取消用户的活动资格及其在整场活动中的奖金获取资格。 活动安排 本次活动设立多个周期，第一期活动结束时间为2023年12月12日23点59分59秒 注册报名 用户必须保证注册信息的真实可信，否则将取消活动资格。 在活动过程中遇到的任何问题，欢迎扫描下方二维码，添加AI-Ceping小助手进入平台交流群，或者发邮件到aiceping2023@163.com咨询。

本次活动期望通过每位参赛者对大模型应用的理解以及自身具备的不同领域的知识，设计高质量的评测数据来对大模型进行综合的评测。 活动提交的数据分为两种类型： 具体数据要求参考： 任务一提交说明 & 任务二提交说明 本次活动为用户提供丰富的奖励机制，共计30万元现金奖池。具体的，针对任务一和任务二，平台将分别提供10万元的现金奖池；同时，平台还为积分榜单前六的用户提供总计10万元的额外现金奖励。用户可以通过贡献单条评测数据、贡献评测数据集、邀请新用户以及参与积分总排行四个方面获得积分奖励以及现金奖励。 活动时间 本次活动设立多个比赛周期，第一期活动结束时间为2023年12月12日23点59分59秒。 奖励设置 在活动期间用户可以通过提交有效单条数据、提交有效数据集以及邀请用户的方式获得现金奖励和积分奖励两部分。 需要注意的是，每个任务（单条评测数据收集、评测数据集收集）分别配有单独的奖励现金池，当对应任务的奖励现金池金额消耗完后，该任务下的新提交将只获得积分奖励，不再获得现金奖励。 第一个活动周期结束后，总积分不清零。第二个活动周期开始后，会以第二个周期内获取的积分进行第二个周期的积分榜单排名。 为了保证比赛的公平公正，选手不能恶意提交数据，否则取消参赛资格。 （一）单条评测数据积分&现金奖励设置 针对单条评测数据，平台会依照新颖性、完整性、区分度等维度进行审核，并对采纳的单条评测数据进行奖励发放，具体规则如下： 审核结果 积分奖励 现金奖励 未采纳 0分 0元 🌟 0分 0元 🌟🌟 1分 1元 🌟🌟🌟 2分 2元 🌟🌟🌟🌟 3分 3元 🌟🌟🌟🌟🌟 4分 4元 （二）评测数据集积分&现金奖励设置… 数据奖励规则说明

下载完整任务书和数据集样例：任务二数据集示例 提交数据集 任务描述 您除了可以提交单条评测数据外，还可体验更高阶的玩法——创建数据集，单次提交即可赢取至多2000元奖金！ 数据集是什么？ 数据集由一组聚焦于相同任务场景、考察模型同样能力的评测数据及其参考答案构成。数据集中需包含至少10条评测数据，且评测­­数据之间相互独立。一组围绕“诗歌纠错”任务的数据集示例如下表所示： 问题1：对以下诗歌进行改错：欲穷千里目，更上几层楼。答案：欲穷千里目，更上一层楼。 问题2：对以下诗歌进行改错：人生自古谁无死，留取丹心照汗清。答案：人生自古谁无死，留取丹心照汗青。 …… 您需要提供什么？ 审核标准及奖励机制 数据集采用人工审核的方式，审核包含有效性审核和质量审核两部分： 【有效性审核】审核提交内容是否满足评测数据集的基本要求，审核不通过的将不予采纳。审核主要考察的方面包括：数据完整、格式正确、语言通顺等。对评测数据集具体的要求包括： 【质量审核】对于有效性审核通过的数据集，平台将从数据集的数据规模、区分度、新颖性、多样性以及数据集说明的完整性等角度对数据集质量进行评分，具体的评分方案如下： 评分维度 分数占比 评分说明 新颖性 30分 数据集的新颖性将从两个方面进行评定：1. 数据集所关联的能力标签的稀缺性；2. 数据集所涉及的任务场景的新颖性。具体的：关联的能力标签下均有充足的评测数据，且评测的任务场景较为常见，得0-10分；关联了稀缺的能力标签，或评测的任务场景设计独特，得10-20分；关联了稀缺的能力标签，且评测的任务场景设计独特，得20-30分。 多样性 25分 评定数据集中数据的多样性是否足以充分考察模型在该任务场景的效果。具体的：问题形式单一且内容主题不够丰富，得0-10分；问题形式多样，或内容主题丰富，得10-20分；问题形式多样，内容主题丰富，可充分考察模型在该任务场景的效果，得20-25分。 区分度 15分 评定该数据集是否能区分不同能力模型的差别。具体的：若数据集过难或过易，所有模型在该数据集上得分都很接近，则得0分；若数据集能够将模型能力区分两档或多档，得5-10分；若该数据集能提供对各模型连续且稳定的能力区分，得15分。 数据规模 10分 根据数据集中的数据条数进行评分。数据条数小于10条不予采纳；每20条数据可获得1分；有效数据条数大于200条，得10分。 说明完整性 20分 根据提供的数据集说明的完整性及质量进行分数评定。数据集说明中需要详细阐述该数据集的背景和目标、构造方法、评价方式和数据格式说明，并确保每个步骤都清晰明了，没有歧义，以便该数据集可以被正确用于评估，以及后续其他人可以无误地构造出更多的数据。 平台会邀请大模型方向的专家根据上述打分表对用户提交的数据集进行打分，按照总得分进行星级的评定及奖励的发放。具体的，数据集将被评定为“一星”、“二星”、“三星”、“四星”、“五星” 五个档位，对应10~50分不等的积分奖励以及为100~1000元不等的现金奖励。具体星级档位和奖励的对应如下表所示：… 【任务二】数据集建设说明与奖励规则

任务描述 在大模型评测中，评测人员会根据模型对指定问题的回答来判断大模型实际的效果。因此，在单条数据任务中，主要收集用于评测大模型的问题或者需要大模型执行的指令。在任务中，需要用户提交的数据包括： 需要注意的是，单个用户每天提交单条数据量不得超过100条。当提交问题显示疑似类似时，每个用户每天有20次继续提交的机会。 特别提醒：平台鼓励原创，请不要复制互联网上公开已有的问题，包括但不限于知乎、百度题库等。 具体任务说明如下： 样例 审核标准 人工审核主要参考重复度、区分度、新颖性三个方面。 重复度：审核提交的评测数据不能和已有数据重复；人工会和库中积累的所有的相似数据比对，如果和已有的数据重复，则提交的数据无效。 区分度：审核数据是否能区分不同尺寸以及不同能力模型的差别。审核中会采用不同尺寸以及不同能力模型的结果判断当前问题是否有区分度，如果候选模型在当前问题上的答案都很好，则该条数据区分度为差；如果问题超过了模型应该具备的能力（例如询问当前时间、天气等实时信息），区分度同样为差。 新颖性：审核提交数据在评估模型方面的新颖程度。①审核评测数据和能力标签的关联准确性；②审核评测数据所评估的能力对应的能力项标签稀缺，则新颖度高，否则新颖度差。 如果提交数据和已收集的数据存在重复，则不予采纳。针对单条评测数据，平台会依照新颖性、完整性、区分度等维度进行审核，并对采纳的单条评测数据进行奖励发放，具体规则如下： 积分奖励规则：根据提交问题对应能力标签的稀缺性奖励1～2分，如用户提供的答案显著好于模型提供答案则额外增加2分。 现金奖励规则：获得积分同时会获得等额的现金奖励。如若单条评测数据任务对应的奖金池已发放完毕，则只奖励积分，不再进行现金奖励的发放。对于单条数据而言，平台总共提供10万元的现金奖池。 对应档位以及积分和现金奖励如下： 分档 积分奖励 现金奖励 未采纳 0分 0元 ⭐ 0分 0元 ⭐⭐ 1分 1元 ⭐⭐⭐ 2分 2元 ⭐⭐⭐⭐ 3分 3元 ⭐⭐⭐⭐⭐ 4分… 【任务一】单条数据提交说明与奖励规则