网站防止恶意注册,淘宝网站建设的目标什么,实业 东莞网站建设,网站建设中页面源码赛题背景示意图是一种高度抽象的知识表达载体#xff0c;常由矩形、圆形等几何形状和箭头、折线等逻辑符号组成#xff0c;广泛被应用于教科书、百科、知识博客等教育场景。在上述场景中#xff0c;学习者常通过视觉问答的形式来判断对知识点的掌握情况#xff0c;即#… 赛题背景示意图是一种高度抽象的知识表达载体常由矩形、圆形等几何形状和箭头、折线等逻辑符号组成广泛被应用于教科书、百科、知识博客等教育场景。在上述场景中学习者常通过视觉问答的形式来判断对知识点的掌握情况即给定学习者一张示意图根据视觉信息来回答与该知识点相关的自然语言问题我们将其定义为教科书示意图问答任务任务样例如图1所示实际评测中会提供标注信息。该任务可能涉及视觉对象的检测与对齐、知识术语的理解以及知识表示的动态变化等复杂推理过程良好的完成该任务是未来跨媒体智能、智慧教育等应用的重要基础也有助于提升计算机对人类认知行为和学习习惯的理解。图1 教科书示意图问答样例该任务主要有两个挑战一是示意图资源稀缺标注代价高昂具有天然的小样本场景在不具备大型语料库的场景下完成该任务是一个难题二是示意图表达抽象、特征稀疏简单的几何形状蕴含有丰富、专业的语义信息如何较好地提取并理解其视觉特征是一个难题。本次测评任务的示意图来源于计算机科学领域希望选手能针对上述两个难点深入理解示意图中的关键信息构建模型实现准确的示意图问答表现。比赛任务比赛要求选手根据提供的训练集示意图及问答数据训练算法模型并对验证集中的示意图对应问题答案进行预测。比赛使用的问答数据来自计算机科学领域示意图问答数据集采用正确率Accuracy评测模型性能。组织机构陕西省天地网技术重点实验室实验室成立于2004年10月依托计算机、自动化、机械电子等学科重点开展面向天地网基础理论、关键技术及其应用系统的研究包括远程教育、舆情分析、可信软件、自然语言处理、医疗与生物医学大数据等方向的研究。联想北京有限公司是联想集团全资子公司作为全球领先的智能设备及企业IT解决方案提供商以及国家高新技术企业拥有授权专利 12883 项其中国内发明专利7462项国际专利1771项拥有智慧教育解决产品市场占有率70%等优势。比赛数据Ø 数据来源本次测评任务的示意图问答数据来自Computer Science Diagrams (CSDia) 是一个包含有丰富标注信息的计算机科学领域数据集。CSDQA是计算机科学领域的第一个示意图问答数据集共包含1,294张示意图和超过3,400个问答对。其中所有的示意图均来自于教育场景中的真实数据包含两本英文教科书五本中文教科书若干博客和知识百科等来源并经过自动化收集、领域专家选取与标注可保证数据的准确性和多样性。问答数据集中的问题包含判断题和四选一问题数量比例大致为1:1所有问题依据难度还可划分为简答一步推理问题和复杂两步推理问题数量比例大致为4:1。Ø 标注内容数据集中每个问题对应一张示意图为了便于选手处理数据我们将问题及标注信息统一整理为Q.json文件文件中问题格式样例如下1|---question: How many contents are in the array?|---type: MC|---difficulty: easy|---diagram_path: ./data/CSDia_train_val_test/train/D\10.png|---cords:||---0| |---211| |---233| |---108| |---44|---answer||---d: 13||---c: 10||---b: 5||---a: 9|---correct_answer: a|---split: train其中‘question’为问题文本‘type’为问题类型包含TF判断题和MC四选一问题‘difficulty’为问题难度包含简单和复杂‘diagram_path’为该问题对应的示意图相对路径‘cords’中包含有若干对象的标注框坐标‘answer’为该问题的候选答案‘correct_answer’为该问题的正确答案需要注意仅在训练集中包含问题的正确答案标注‘split’为该问题所属的划分集合。Ø 训练集验证集在训练数据发布阶段我们会发布约2000条标注好的数据作为训练集。同时发布约600条不含标注答案的问题作为验证集选手可以将自己生成的验证集答案提交比赛系统会对答案进行评测给出得分并进行排行。在测试数据发布阶段我们会发布验证集的标注结果包括答案同时发布约600条左右不含标注结果的问题作为测试。选手将自己生成的测试集答案提交比赛系统会对答案进行评测给出得分并进行排行。评测方法提交文件本次比赛需要选手提交一个csv格式的文件包括两列‘id’和‘label ’其中id列必须和测试集相吻合顺序不限label列为A到D的大写字母之一。答案文件格式:id,label0,A1,B2,C3,D....评价指标本任务的评价指标使用正确率(Accuracy)最终排名以其值为基准。假设数据数量为n, 预测正确的数量为c,相关计算公式如下 单位是%, 所以满分得分为100。提交方式本次任务将采取刷榜的方式分为两个阶段进行第一阶段验证集发布后参赛队伍提交对验证集validation dataset的预测文件后由系统自动评测打分。第二阶段测试集发布后参赛队伍提交对测试集test dataset的预测文件后由系统自动评测打分。获奖验证• 复赛结束后比赛组织者将邀请所有在复赛阶段排名前列的选手提交完整的模型代码代码中必须包含requirements.txt文件注明所需要的Python依赖包以及Python的版本。• 同时需要包含一个readme.md文件提供运行代码所需的命令和参数。比赛组委会会在独立环境里安装并验证所提交的代码进行审核。以上文件需在任务提交截止日期前发送至邮箱wang97stu.xjtu.edu.cn。邮件的标题为“CCKS-DQA-参赛队名称”例如“CCKS-DQA-张三队”。代码及其文档需打包成一个文件tarzipgziprar等均可用code.xxx命名要求提交所有的程序代码及相关的配置说明程序应当可以运行且所得结果与提交结果相符。如果方法使用了额外资源要求说明并提供资源文件或地址。* 关于使用比赛规程的最终解释权归属大赛组委会。奖励总奖金1.5万元一等奖1名5000二等奖2名2500三等奖2名1000创新技术奖1名3000时间安排l 评测任务发布4月11日l 报名截止时间7月25日23:59 UTCl 初赛截止时间7月25日23:59 UTC初赛验证集预测提交与组队报名截止。l 复赛截止时间7月31日23:59 UTC测试集阶段所有参赛团队都可以下载测试集并提交测试集的预测结果。测试集上的结果将决定本次比赛的排名。报名地址CCKS评测任务简介http://sigkg.cn/ccks2022/?page_id22报名入口https://www.biendata.xyz/competition/ccks2022dqa点击阅读原文进入报名页面
