python做软件的网站,玉树州公司网站建设,广元城乡建设部网站首页,河北网站制作公司Azure AI 视频索引器是构建在 Azure 媒体服务和 Azure AI 服务#xff08;如人脸检测、翻译器、Azure AI 视觉和语音#xff09;基础之上的一个云应用程序#xff0c;是 Azure AI 服务的一部分。 有了 Azure 视频索引器#xff0c;就可以使用 Azure AI 视频索引器视频和音频… Azure AI 视频索引器是构建在 Azure 媒体服务和 Azure AI 服务如人脸检测、翻译器、Azure AI 视觉和语音基础之上的一个云应用程序是 Azure AI 服务的一部分。 有了 Azure 视频索引器就可以使用 Azure AI 视频索引器视频和音频模型从视频中提取见解。 我可以使用 Azure AI 视频索引器执行哪些操作
Azure AI 视频索引器通过运行 30 多个 AI 模型来分析视频和音频内容从而生成丰富的见解。 下面是 Azure AI 视频索引器在后台执行的音频和视频分析的图示 Azure AI 视频索引器的见解可应用于许多方案
深度搜索使用从视频中提取的见解可增强整个视频库的搜索体验。 例如对所说内容和人脸进行索引可以实现在视频中查找特定瞬间的搜索体验例如查找视频中某个人说出某些话时刻或者看到两个人出现在一起的时刻。 根据视频中的此类见解进行的搜索适用于新闻机构、教育机构、广播公司、娱乐内容所有者、企业 LOB 应用。一般来说它适用于拥有视频库、用户需要对照搜索的任何行业。内容创建根据 Azure AI 视频索引器从你的内容中提取的见解创建预告片、亮点片段、社交媒体内容或新闻剪辑。 人物和标签外观的关键帧、场景标记和时间戳使创建过程更顺畅、更简单让你能够在创建内容时轻松访问所需的视频部分。辅助功能无论你是想将内容提供给残障人士使用还是要使用不同的语言将内容分发到不同地区你都可以使用 Azure AI 视频索引器提供多种语言的转录和翻译。盈利Azure AI 视频索引器有助于提高视频的价值。 例如依赖于广告收入新闻媒体、社交媒体等的行业可以将提取的见解用作附加信号向广告服务器投放相关广告。内容审核使用文本和视觉内容审核模型可保护用户远离不当内容并验证发布的内容是否与组织的价值观相符。 你可以自动阻止某些视频或向用户发出有关这些内容的警报。建议视频见解可以通过向用户重点显示相关视频瞬间来提高用户的参与度。 通过使用其他元数据标记每个视频可以为用户推荐最相关的视频并重点显示符合用户需求的视频的部分内容。 视频/音频 AI 功能
以下列表显示了可使用 Azure AI 视频索引器视频和音频 AI 功能模型从视频/音频文件中检索的见解。
视频模型 人脸检测检测和分组视频中显示的人脸。 名人识别识别超过 100 万名人如世界各国/地区领导人、演员、艺术家、运动员、研究人员、商业和科技领袖。 有关这些名人的数据也可以在各种网站IMDB、维基百科等上找到。 基于帐户的人脸识别为特定帐户训练模型。 然后根据已训练的模型识别视频中的人脸。 人脸缩略图提取在每组人脸中识别捕获的最佳人脸基于质量、大小和正面位置并将其提取为图像资产。 光学字符识别 (OCR)从媒体文件中的图片、街道标志和产品等图像中提取文本以创建见解。 视觉内容审核检测成人和/或挑逗性视觉对象。 标签识别识别显示的视觉对象和动作。 场景分割根据视觉提示确定视频中的场景何时发生了变化。一个场景描绘的是一个单一事件由一系列在语义上相关的连续镜头组成。 镜头检测根据视觉提示确定视频中的镜头何时发生了变化。镜头是指从同一台运动摄像机拍摄的一系列画面。 黑帧检测识别视频中的黑帧。 关键帧提取检测视频中稳定的关键帧。 滚动字幕识别电视节目和电影末尾的滚动字幕的开头和结尾。 编辑镜头类型检测根据镜头类型如广角镜头、中景镜头、特写、极特写、双人镜头、多人、室外和室内等进行标记。 跟踪观测到的人员预览版检测视频中观测到的人员并提供视频帧中人员的位置使用边界框以及人员出现时确切的时间戳开始时间、结束时间和置信度等信息。 检测到的人员服装预览版检测视频中出现的人的服装类型并提供长袖或短袖、长裤或短裤、半身裙或连衣裙等信息。 检测到的服装与其穿着者相关联并且提供检测的确切时间戳开始、结束及置信度。特色服装预览版捕获视频中出现的特色服装图像。 可以使用特色服装见解改进定向广告。 匹配的人员预览版将视频中观测到的人员与检测到的相应面孔进行匹配。 被观察人员与面孔之间的匹配包含置信度。 在使用高级索引选项为视频编制索引时静态图像检测预览版会识别以下影片后期制作见解 使用元数据提取进行 Clapperboard 检测。数字模式检测包括色条。无文本静态图像检测包括场景匹配。 文本徽标检测预览版使用 Azure AI 视频索引器 OCR 匹配特定的预定义文本。 例如如果用户创建了一个文本徽标“Microsoft”则单词 Microsoft 的不同外观将被检测为“Microsoft”徽标。 有关详细信息请参阅检测文本徽标。
音频模型 音频听录将语音转换为超过 50 种语言的文本并允许扩展。 自动语言检测识别主要讲述语言。 多语言语音识别和听录识别音频中不同片段的口述语言。 它会发送要转录的媒体文件的每个片段然后将转录合并成一个完成的转录。 隐藏式字幕以三种格式创建隐藏式字幕VTT、TTML、SRT。 双通道处理自动检测单独的脚本并合并到单个时间轴。 噪声消减清理电话音频或有噪音的录制内容基于 Skype 滤波器。 脚本自定义 (CRIS)训练自定义语音转文本模型以创建行业特定的脚本。 说话人枚举映射和了解哪个说话人在何时说了哪些话。 可在一个音频文件中检测出 16 位说话人。 说话人统计信息提供说话人发言比率的统计数据。 文本内容审核检测音频脚本中的显式文本。 基于文本的情绪检测通过脚本分析检测到的喜悦、悲伤、愤怒和恐惧等情绪。 翻译将音频脚本翻译成许多种不同的语言。 ** 音频效果检测预览版**检测内容的非语音部分中的以下音频效果警报或警笛声、犬吠、人群反应欢呼、拍手和起哄、枪声或爆炸声、笑声、玻璃破裂以及无声。 检测到的声学事件包含在隐藏式字幕文件中。 可以从 Azure AI 视频索引器网站下载该文件。
音频和视频模型多通道
通过一个通道编制索引时这些模型的部分结果可用。 关键字提取从语音和视觉文本中提取关键字。 命名实体提取通过自然语言处理 (NLP) 从语音和视觉文本中提取品牌、位置和人员。 主题推理根据各种关键字提取主题即关键字“证券交易所”、“华尔街”会生成主题“经济”。 该模型使用三种不同的本体IPTC、Wikipedia 和视频索引器分层主题本体。 该模型使用听录口语、OCR 内容视觉文本以及使用视频索引器面部识别模型在视频中识别的名人。 项目提取每个模型的丰富的“下一种详细程度”项目。 情绪分析在语音和视觉文本中识别积极、消极和中性情绪。 项目 2023/11/21
上传视频至视频索引器
按照以下步骤使用快速上传选项上传和索引媒体文件。 登录到视频索引器网站。 选择上载。 选择文件源。 一次最多可以上传 10 个文件。 若要从文件系统上传请选择“ 浏览文件 ”然后选择要上传的文件。 若要从 URL 上传请选择 Enter URL粘贴源文件 URL然后选择“ 添加”。 确保 URL 有效且文件可访问。 配置用于编制索引的基本设置或使用默认配置。 需要为每个文件指定以下设置 隐私选择在编制索引后视频 URL 是公开可用的还是私有的。流式处理质量选择视频的流式处理质量。 可以选择**“无流式处理**”、“单比特率”或“自适应比特率****”。视频源语言选择视频的口语以确保高质量的脚本和见解提取。 如果不知道语言或有多个口语请选择“ 自动检测单种语言 ”或 “自动检测多语言”。 如果这是你第一次上传媒体文件则需要检查同意检查框同意条款和条件。 选择 “上传索引”。 查看显示索引设置和上传进度的摘要页。 完成索引编制后可以通过选择视频来查看见解。
使用 Azure AI 视频索引器 浏览到 Azure AI 视频索引器网站并登录。 查找要从中创建 Azure AI 视频索引器见解的视频。 按“播放”。 此页面显示视频的见解。 选择要查看的见解。 例如人脸、关键字、情绪。 可以看到人脸和每个人脸出现的时间范围以及显示人脸的时间百分比。 “时间线”选项卡显示包含时间线的脚本以及可从“视图”下拉列表中选择的其他信息。 播放器和见解是同步的。 例如如果单击某个关键字或脚本行播放器会将你带到视频中的相应时刻。 可以在应用程序中获得播放器/见解视图和同步。
