竞赛目的与意义

迄今为止，人工智能在视觉理解领域已经取得前所未有的成绩，各类任务的性能指标不断被刷新，其成果也被广泛应用到人类生活的各个领域。然而，在实际部署时，许多系统和产品对算法性能、速度和功耗等方面都有额外的限制，随着人工智能应用规模的扩大，这类问题日益突显。

以类生物的仿生无人系统为例，因其体积小、易隐蔽、融入环境能力强等优点，在搜索救援、环境保护、物流运输任务中大有用处。但以仿生无人系统为感知载体进行目标跟踪是极具挑战的视觉问题,一方面，因其扑动、盘旋的仿生飞行特点，导致视频画面机械抖动、目标频繁消失再重现，另一方面，仿生无人系统一般材质轻盈、载荷量低，难以应对计算量较大的视觉信息处理。

为实现仿生无人系统的高度智能化，自主完成复杂多样的视觉任务，我们将继《第二届高速低功耗视觉理解挑战赛》后，组织《PRCV2022第三届高速低功耗视觉理解挑战赛》。本次竞赛旨在解决视觉智能分析技术在仿生无人系统上的应用瓶颈，发掘兼顾视觉理解性能和高效节能的视觉理解方法，在CPU、GPU和AI 芯片的多个平台上，提高视觉理解技术的研究水平，推动计算机视觉学科的产业革新，促进仿生技术的智能化应用。

竞赛组织方

组织者：赵鑫、张靖、胡世宇、胡益民、刘坤、刘荣帅

组织单位：中国科学院自动化研究所、中国科学院苏州纳米技术与纳米仿生研究所

技术支持单位：深圳朴生智能科技有限公司

联系电话：010-82544720

邮件地址：jing_zhang@ia.ac.cn

联系地址：北京市海淀区中关村东路95号

竞赛者要求

按自愿报名的原则，参赛团队和成员的组成可以为：

1.各培养单位正式注册教师、在读研究生以及博士生。

2.国内各研究团体、企事业单位。

参赛方式

以个人或团队方式均可通过邮件方式报名参赛，每个参赛队伍人员不超过5人，每名参赛选手只能参加1个参赛队。每个参赛队伍在竞赛截止时间之前最多可更新2次结果，截止时间之后不能再更新结果。参赛队发送报名信息至jing_zhang@ia.ac.cn。

邮件标题格式“高速低功耗视觉理解挑战赛2022_(参赛队名称)”。

邮件内容应包括个人或团队基本信息、负责人基本信息、参赛人数、联系方式(手机，邮箱),所有表格中对应成员的信息均为必填项，填写后保存为excel的格式，文件命名为“高速低功耗视觉理解挑战赛2022_(参赛队名称).xlsx”。

组织方收到邮件并与报名者确认后，报名成功。

报名截止日期为：2022年7月31日。

组织方式

拟采用的组织方式为组织方在虚拟测试环境(Ubuntu)和测试样本数据上测试参赛队提交的算法模型，通过验证运行可执行程序的输出结果，综合评价模型在多平台上的性能、功耗、速度指标，评出名次（为防止作弊，组织方不公布测试集）。

赛程如下：

赛事数据集的使用

本次比赛的数据来源于组织方构建的仿生无人系统单目标跟踪数据集，数据集具有如下特点：

图像大小：图像分辨率为1440*1080

训练样本：200段训练数据，单段视频时长在10~40秒之间；目标类别为人和车两类；光照类型为强光照和弱光照两类

测试样本：100段测试数据，单段视频时长在10~40秒之间；目标类别为人和车两类；光照类型为强光照和弱光照两类

本次竞赛不限制训练数据的使用，竞赛团队可在任何相似数据集上训练模型，这里推荐的公开数据集如下：

单目标短时跟踪基准（GOT-10k）：http://got-10k.aitestunion.com/

全局实例跟踪基准（GIT）：http://videocube.aitestunion.com/index

单目标长时跟踪基准（LaSOT）：https://cis.temple.edu/lasot/

无人机通用视觉基准（VisDrone）：http://aiskyeye.com/

性能评价方法

针对视觉理解的单目标跟踪任务要求，在给定的100段图像序列以及2类实例（人、车）和2类光照条件（强、弱）对应的基础上，对首帧指定的目标进行持续跟踪，以TXT文件存储每段序列中目标在每一帧中的位置。性能评价时将生成的矩形框与人工标注的矩形框进行比较。

1、性能评价

单目标跟踪任务采用准确率得分(Precision Score，PS)、成功率得分(Success Score，SS)进行排名，并以准确率图和成功率图表示算法在不同阈值下的性能变化趋势。假设p(t)和g(t)分别表示第t帧算法预测的目标位置和目标的真实位置， p(t)和g(t)的中心点距离代表精确度，p(t)和g(t)的交并比（IoU）代表重叠率。一般而言，中心点距离小于等于特定阈值（一般选取20个像素）的帧在测试集中的占比将作为准确率得分，交并比大于等于特定阈值（一般选取0.5）的帧在测试集中的占比将作为成功率得分。当改变相应阈值时，准确率得分和成功率得分会随着阈值的变化而改变，因此可以绘制对应的准确率图和成功率图作为算法性能的评估指标。

2、功耗评价

功耗指标（ES）为提交模型在测试平台上完成100段图像序列的单目标跟踪任务后的电量消耗。

3、速度评价

速度指标采用每秒帧率（FPS）作为评价指标，假设完成100段图像序列的单目标跟踪任务后的时间为T，那么：

4、单项测试得分

单项测试得分Score(i)是提交模型的性能、功耗、速度的综合评价。

当i=1时，为提交模型在CPU平台上的测试得分；

当i=2时，为提交模型在GPU平台上的测试得分；

当i=3时，为提交模型在AI芯片集成测试环境上的测试得分；

其中PS(normalize)是所有n个有效竞赛结果（PS>0）的平均准确率经过L2归一化后的结果；SS(normalize)是所有n个有效竞赛结果（SS>0）的成功率经过L2归一化后的结果；FPS(normalize)是所有n个有效竞赛结果（FPS>0）的运行速度经过L2归一化后的结果；ES(normalize)是所有n个有效竞赛结果（ES>0）的功耗经过L2归一化后的结果。他们可以分别可表示为：

公式中，PS(i)是当前被测试方法的平均准确率，PS(1)、PS(2)和PS(n)分别是第1、第2和第n个方法中的准确率；SS(i)是当前被测试方法的成功率，SS(1)、SS(2)和SS(n)分别是第1、第2和第n个方法的成功率；FPS(i)是当前被测试方法的运行速度，FPS(1)、FPS(2)和FPS(n)分别是第1、第2和第n个方法的运行速度；ES(i)是当前被测试方法的功耗，ES(1)、ES(2)和ES(n)分别是第1、第2和第n个方法中的功耗。

5、最终评价指标

在本次竞赛中，最终的评价指标要考虑模型在多平台上的性能、功耗、速度指标。

比赛任务的提交格式

为了方便团队内部和大会组委会测试算法模型，各竞赛团队需提供的模型要求如下：

1、需提供可用、真实的算法模型和相关测试代码，并提供对应的使用说明文档，说明文档内容包括测试方法用例介绍；

2、算法实现的语言必须使用python；

3、深度学习框架使用pytorch、tensorflow中的一种。

奖项设置

竞赛设一等奖1名(奖金3万元人民币)，二等奖2名(奖金各1.5万元人民币)，三等奖2名(奖金各0.5万元人民币)。

各参赛队伍根据比赛成绩均可获得由计算机视觉专委会、中国科学院自动化研究所智能系统与工程研究中心共同颁发的获奖证书和奖金。

挑战赛论坛

组委会在2022年12月14日第五届中国模式识别与计算视觉大会的上举办了挑战赛技术论坛，邀请每项任务获得一、二等奖的参赛队伍参加作特邀技术报告，报告情况如图

知识产权及其它注意事项

1. 各参赛队在赛前需签订数据使用协议，承诺本竞赛提供的测试数据集仅能用于本竞赛，不用于除本竞赛外的任何其他用途，并承诺数据用后即刻删除，不可扩散，组织方保留追究法律责任的权利。

2. 各参赛队需要承诺本队提交的结果可重复，参赛队所有的方案、算法以及相关的知识产权均属于参赛队伍所有，组织方承诺履行保密义务，并不用于除本比赛外的任何其他用途。

3. 参赛队伍应保证所提供的方案、算法属于自有知识产权。组织方对参赛队伍因使用本队提供/完成的算法和结果而产生的任何实际侵权或者被任何第三方指控侵权概不负责。一旦上述情况和事件发生参赛队伍必须承担一切相关法律责任和经济赔偿责任并保护组织方免于承担该等责任。

4．该项竞赛为公益性赛事，全程不收取参赛队伍任何费用。

5．竞赛期间，组委会坚持公开、公平、公正的原则。参赛结果评比由专业评审队完成，如参赛队伍对公布结果有异议，可申请成绩复核，申请通过后到组委会指定地点进行现场复核。

优胜者

竞赛的前三名的五支优胜团队获得竞赛组织方颁发的荣誉奖金及证书。优胜者成绩如下：

得分指标

获奖证书