域名转移影响网站访问吗,做网站前台开发学习,求2021没封的良心网站,asp技术做网站ChatGPT狂飙160天#xff0c;世界已经不是之前的样子。 新建了免费的人工智能中文站https://ai.weoknow.com 新建了收费的人工智能中文站https://ai.hzytsoft.cn/
更多资源欢迎关注 短视频在当下社交媒体逐渐成为主导的视频格式。传统视频处理技术和研究一般都专注于横屏视频… ChatGPT狂飙160天世界已经不是之前的样子。 新建了免费的人工智能中文站https://ai.weoknow.com 新建了收费的人工智能中文站https://ai.hzytsoft.cn/
更多资源欢迎关注 短视频在当下社交媒体逐渐成为主导的视频格式。传统视频处理技术和研究一般都专注于横屏视频的理解和解析而竖屏视频因其拍摄手法和内容重点不同展示出与横屏视频数据不同的特性。 针对这一不同字节跳动技术团队发布了专注于竖屏视频理解的数据集提出了多个针对竖屏视频处理的技术点以及一个初始方案。这项研究对准确的竖屏视频理解和基础技术架构有较为重要的意义论文已入选 CVPR2024。 视频 demo 展示、数据特性演示以及竖屏视频类别分类请见 https://mingfei.info/PMV 论文地址https://arxiv.org/abs/2312.13746 视频分类作为基础的计算机视觉技术对视频内容的分类、特征提取以及推荐等有着重要的作用。竖屏视频是目前社交媒体平台上主导的短视频格式受到用户的广泛青睐。而竖屏的视频分类技术在目前的研究中鲜有关注为了激发这一领域的研究团队提出了一个专用的数据集 PortraitMode-400包含真实的视频数据和 400 个结构化的类别标签。 进一步通过自建数据和公开数据子集实验团队初步展示了横屏数据和竖屏数据之间的不同和独特的先验分布并针对不同的技术点进行实验提出了针对竖屏视频处理的技术方案。 团队首先从公开数据 Kinetics-700 中抽取包含竖屏视频数量的子集 S100-PM并对应的抽取同等数量的横屏视频得到 S100-LM。团队分别在 S100-PM 和 S100-LM 上训练两个相同的模型不含任何预训练并在相同的测试集上进行公平测试以观察竖屏和横屏视频所含的不同数据特性。 如下方所示以上半为例团队将 S100-PM 训练的模型在竖屏测试集上做滑窗测试16x9 个不重叠的均匀分布的滑窗得到 Probing-P同样的可以得到 S100-LM 训练模型的测试结果 Probing-L。为了观察 S100-PM 模型对 S100-LM 模型的优势团队做差值图得到 c 图黄色框 1 表示此位置竖屏训练的模型以大于 9 个点的差值显著优于横屏训练的模型。同样的团队可以得到下半所示的差值图S100-LM 训练模型在横屏中下区域的准确率低于 S100-PM 训练模型。 可以观察得到在确保所有训练和测试条件一致的情况下训练数据的不同带来准确率空间分布上的显著差异而且差值呈哑铃状分布。 横屏与竖屏视频的不同说明竖屏视频是一种不同于以往数据的新视频格式有着不同的数据特性。为了进一步推动领域研究团队提出了数据集 PortraitMode-400通过自底向上的方式综合大量的热门搜索词人工筛查和提取得到 400 个包含显著动作内容的类别集合涵盖从饮食运动到休闲娱乐等等领域。每个类别包含至少 100 个公开的竖屏视频链接并已通过人工审查的方式确保数据的高质量可用。 此外团队还真对竖屏视频数据的不同特性进行实验以期提出一套合理有效的技术方案。为此团队利用不同的模型类别如 CNNX3D、TransformerMViT v2、Hyrid-TransformerUniformer在竖屏数据上进行广泛实验。团队发现与传统横屏数据处理相比竖屏数据对数据预处理有着不一样的倾向。 如下图上半所示在 CNN 模型下倾向于 Inception-style 方案而在 Transformer 类模型下倾向于 shorter-side resize 方案。进一步的团队发现更好的保持原始视频在训练时的长宽比可以在同等测试条件下获得更好的准确率。 如下半所示随着采样框长宽比增大Transformer 类模型表现逐渐增强而 CNN 模型表现相反。这些实验现象表明了竖屏数据不同于横屏数据的特性提供了不同模型架构下的训练偏好设置。 最后团队还在时间信息显著性、音频模态重要性等方面进行了实验。发现时间信息的加入和音频模态的引入都可以对竖屏数据的准确率带来不小的提升展示了在相关领域的研究空间和可能性。 应用落地和展望 视频分类作为基础的计算机视觉技术对视频内容的分类、特征提取以及推荐等有着重要的作用。针对竖屏视频的专门研究可以进一步推动相关技术的发展增强内容推荐等关键能力进一步激发竖屏领域的其他类型研究如生成等。 ChatGPT狂飙160天世界已经不是之前的样子。 新建了免费的人工智能中文站https://ai.weoknow.com 新建了收费的人工智能中文站https://ai.hzytsoft.cn/
更多资源欢迎关注
