本次活动期望通过每位参赛者对大模型应用的理解以及自身具备的不同领域的知识,设计高质量的评测数据来对大模型进行综合的评测。
活动提交的数据分为两种类型:
- 任务一:单条评测数据
- 任务二:评测数据集
本次活动为用户提供丰富的奖励机制,共计30万元现金奖池。具体的,针对任务一和任务二,平台将分别提供10万元的现金奖池;同时,平台还为积分榜单前六的用户提供总计10万元的额外现金奖励。用户可以通过贡献单条评测数据、贡献评测数据集、邀请新用户以及参与积分总排行四个方面获得积分奖励以及现金奖励。
活动时间
本次活动设立多个比赛周期,第一期活动结束时间为2023年12月12日23点59分59秒。
奖励设置
在活动期间用户可以通过提交有效单条数据、提交有效数据集以及邀请用户的方式获得现金奖励和积分奖励两部分。
- 积分体现了用户在本平台的贡献程度,平台会在活动周期内按照每个用户获得积分进行排名,产生最终周期内的排名榜单。积分获得方式:①提交有效数据(包括单条评测数据或评测数据集);②邀请新用户参与活动。
- 现金体现了平台对用户提供的激励,现金获得方式:①提交有效数据(包括单条评测数据或评测数据集);②在活动结束时,积分总榜单中前六名的用户将额外获得现金奖励。
需要注意的是,每个任务(单条评测数据收集、评测数据集收集)分别配有单独的奖励现金池,当对应任务的奖励现金池金额消耗完后,该任务下的新提交将只获得积分奖励,不再获得现金奖励。
第一个活动周期结束后,总积分不清零。第二个活动周期开始后,会以第二个周期内获取的积分进行第二个周期的积分榜单排名。
为了保证比赛的公平公正,选手不能恶意提交数据,否则取消参赛资格。
(一)单条评测数据积分&现金奖励设置
针对单条评测数据,平台会依照新颖性、完整性、区分度等维度进行审核,并对采纳的单条评测数据进行奖励发放,具体规则如下:
- 积分奖励规则:根据提交问题对应能力标签的稀缺性奖励0~2分,如用户提供的答案显著好于模型提供答案则额外增加2分。
- 现金奖励规则:获得积分同时会获得等额的现金奖励。如若单条评测数据任务对应的奖金池已发放完毕,则只奖励积分,不再进行现金奖励的发放。
审核结果 | 积分奖励 | 现金奖励 |
未采纳 | 0分 | 0元 |
🌟 | 0分 | 0元 |
🌟🌟 | 1分 | 1元 |
🌟🌟🌟 | 2分 | 2元 |
🌟🌟🌟🌟 | 3分 | 3元 |
🌟🌟🌟🌟🌟 | 4分 | 4元 |
(二)评测数据集积分&现金奖励设置
针对评测数据集,平台会从完整性、可用性、数据集规模等维度对提交的评测数据集进行审核,并对采纳的数据集进行星级评定(一星~五星),各星级对应的积分和现金奖励如下:
审核结果 | 积分奖励 | 现金奖励 |
未采纳 | 0分 | 0元 |
🌟 | 50分 | 100元 |
🌟🌟 | 100分 | 200元 |
🌟🌟🌟 | 200分 | 400元 |
🌟🌟🌟🌟 | 300分 | 600元 |
🌟🌟🌟🌟🌟 | 500分 | 1000~2000元 |
需要特别注意的是:
- 针对样本数据小于10条的数据集,平台自动判定不合格。
- 对于特别优质的的数据集,平台会给予额外现金奖励,总现金奖励最高可达2000元。
- 如若评测数据集任务对应的奖金池已发放完毕,则只奖励积分,不再进行现金奖励的发放。
例:①如果一个用户成功提交一组“五星”的数据集,那么ta将会获得500积分及1000元现金奖励。另外对于特别优质的“五星”数据集,平台会额外增加100-1000元不等的现金奖励。
②如果一个用户成功提交一组“四星”的数据集,那么ta将会同时获得300积分及600元现金奖励(“四星”及以下等级数据集无额外现金奖励)。
(三)邀请用户积分奖励设置
为了鼓励大家踊跃参与,平台也设立了贡献者邀请奖励机制,每个用户既可以作为数据贡献者,也可以邀请其他用户参与,并在被邀请者贡献有效单条数据或数据集时获得积分奖励。
邀请奖励规则如下:
- 在活动期间,如果被邀请人在本平台累积了10积分及以上,邀请人可获得10积分。
- 用户可邀请人数无上限,但同一个用户无法重复被邀请。
(四)总积分排名
整个活动周期会按照总积分排名产出一等奖(一名)、二等奖(两名)、三等奖(三名),提供相应的奖金。需要注意的是,如果在活动结束后有用户积分相同的情况,按照最后一条有效数据的提交时间进行排序。(即在相同积分下,优先提交最后一条有效数据的用户,排名优先。)
- 奖金设置如下:
名称 | 数量 | 奖金 |
一等奖 | 1 | 30000 |
二等奖 | 2 | 20000 |
三等奖 | 3 | 10000 |
注:最终解释权归平台所有。