清华大学研发出LiVT，使用视觉Transformer技术学习长尾数据，能够解决不平衡标注数据的问题。

2023-06-15 14:59:00 清华大学

• 以下是重新组织后的内容： 目前，已有的长尾识别模型很少直接利用长尾数据对视觉 Transformer(ViT)进行训练。基于现成的预训练权重进行研究可能会导致不公平的比较结果，因此有必要对视觉 Transformer 在长尾数据下的表现进行系统性的分析和总结。本文研究了视觉 Transformer 处理长尾数据时的优势与不足，并探讨了如何有效利用长尾数据来提升视觉 Transformer 的性能，同时提出了解决数据不平衡问题的新方法。通过本文的研究和总结，可以为进一步改进视觉 Transformer 模型在长尾数据任务中的表现提供有益的指导和启示。文章链接：https://arxiv.org/abs/2212.02015代码链接：https://github.com/XuZhengzhuo/LiVT本文链接：https://arxiv.org/abs/2212.02015代码链接：https://github.com/XuZhengzhuo/LiVT本文研究的重点是长尾数据对视觉 Transformer 性能的影响，并探索了利用平衡分布的标注数据训练视觉 Transformer 的方法。文章通过实验发现，在有监督范式下，视觉 Transformer 在处理不平衡数据时会出现严重的性能衰退。而使用平衡分布的标注数据训练出的视觉 Transformer 呈现出明显的性能优势。相比于卷积网络，这一特点在视觉 Transformer 上体现的更为明显。文章提出了一种新的学习不平衡数据的范式，旨在让视觉 Transformer 模型更好地适应长尾数据。通过这种范式的引入，研究团队希望能够充分利用长尾数据的信息，提高视觉 Transformer 模型在处理不平衡标注数据时的性能和泛化能力。文章贡献本文是第一个系统性的研究用长尾数据训练视觉 Transformer 的工作，在此过程中，做出了以下主要贡献：首先，本文深入分析了传统有监督训练方式对视觉 Transformer 学习不均衡数据的限制因素，并基于此提出了双阶段训练流程，将视觉 Transformer 模型内在的归纳偏置和标签分布的统计偏置分阶段学习，以降低学习长尾数据的难度。其中第一阶段采用了流行的掩码重建预训练，第二阶段采用了平衡的损失进行微调监督。其次，本文提出了平衡的二进制交叉熵损失函数，并给出了严格的理论推导。平衡的二进制交叉熵损失的形式如下：与之前的平衡交叉熵损失相比，本文的损失函数在视觉 Transformer 模型上展现出更好的性能，同时可以更好地适应长尾数据。文章还提出了一种基于深度学习的模型架构，该架构能够更好地适应长尾数据，并提高模型在数据不平衡任务中的表现。

  

• 清华大学的前身清华学堂始建于1911年，历经一百零八载风华，始终以高深的学术造诣、严谨的科学精神、深挚的爱国热情和精深的文化底蕴，蜚声中外。一代代清华人在“自强不息、厚德载物”的校训和“行胜于言”的校风中哺育，在“中西融汇、古今贯通、文理渗透”的办学风格和“又红又专、全面发展”的特色培养中成长。 百年清华，名师荟萃，众多博古通今、学贯中西的名家大在师此执教讲坛、垂范学子；今日清华，群贤汇聚，一大批享誉世界的学术大师和中青年领军人才活跃在国际学术前沿。我们诚邀您加入清华，与大师同行，感受非凡人生！ 这里有全球最优秀的学生，在这里他们遇见良师益友，在这里他们做最前沿的科学研究，在这里优秀学子们梦想启航。我们诚邀您加入清华，助力全球最优秀的学子在逐梦路上砥砺前行！ 新时代、新使命、新征程。清华大学提出了2030年迈入世界一流大学前列，2050年前后成为世界顶尖大学的奋斗目标。世界一流大学，不仅拥有一流的人才，还应该拥有一流的管理队伍。当前，我们正在建立和完善职工队伍人力资源管理的岗位体系、评价体系、激励体系、发展体系，大力提升职工队伍整体建设水平，努力建立一支与中国特色世界一流大学建设相匹配的专业化、职业化的职工队伍。我们诚邀您加入清华，充分施展才华、职业发展更上一层楼！ 新的百年，更美的清华园，更创新、更国际、更人文的清华等您来！。

• 招聘范围主要集中在北京、重庆、绍兴，主要招聘经验要求为3-5年，学历要求为本科的岗位。

• 公司参与招标21887次，招标金额为18579119.25（万元），公司参与中标3525次，中标金额为1313057.65（万元），最近项目为：清华大学苏世民书院国际学生保险项目变更公告、清华大学苏世民书院国际学生保险项目变更公告、清华大学昌平科研基地（一期）供电系统运行维护服务采购项目废标公告。