如何运营好一个网站,邯郸做移动网站报价,腾讯云wordpress建站,seo系统培训哪家好媒体系统架构
媒体系统提供用户视觉、听觉信息的处理能力#xff0c;如音视频信息的采集、压缩存储、解压播放等。在操作系统实现中#xff0c;通常基于不同的媒体信息处理内容#xff0c;将媒体划分为不同的模块#xff0c;包括#xff1a;音频、视频#xff08;也称播…媒体系统架构
媒体系统提供用户视觉、听觉信息的处理能力如音视频信息的采集、压缩存储、解压播放等。在操作系统实现中通常基于不同的媒体信息处理内容将媒体划分为不同的模块包括音频、视频也称播放录制、图片等。
如下图所示媒体系统面向应用开发提供音视频应用、图库应用的编程框架接口面向设备开发提供对接不同硬件芯片适配加速功能中间以服务形态提供媒体核心功能和管理机制。 音频audio提供音量管理、音频路由管理、混音管理接口与服务。视频media提供音视频解压播放、压缩录制接口与服务。图片image提供图片编解码、图片处理接口与服务。
音视频概述
在音视频开发指导中将介绍各种涉及音频、视频播放或录制功能场景的开发方式指导开发者如何使用系统提供的音视频API实现对应功能。比如使用TonePlayer实现简单的提示音当设备接收到新消息时会发出短促的“滴滴”声使用AVPlayer实现音乐播放器循环播放一首音乐。
在每个功能中会介绍多种实现方式以应对不同的使用场景以及该场景相关的子功能点。比如在音频播放功能内会同时介绍音频的并发策略、音量管理和输出设备等在操作系统中的处理方式帮助开发者能够开发出功能覆盖更全面的应用。
开发说明
在开发音频功能之前尤其是要实现处理音频数据的功能前建议开发者先了解声学相关的知识帮助理解操作系统提供的API是如何控制音频系统从而开发出更易用、体验更好的音视频类应用。建议了解的相关概念包括但不限于
音频量化的过程采样 量化 编码音频量化过程的相关概念模拟信号和数字信号、采样率、声道、采样格式、位宽、码率、常见编码格式如AAC、MP3、PCM、WMA等、常见封装格式如WAV、MPA、FLAC、AAC、OGG等
在开发音乐、视频播放功能之前建议了解流媒体播放的相关概念包括但不限于
播放过程网络协议 容器格式 音视频编解码 图形/音频渲染网络协议比如HLS、HTTP/HTTPS容器格式比如mp4mkvmpeg-tswebm。编码格式比如h263/h264/h265MPEG4/MPEG2。
音频流介绍
在开发音频应用之前还需要了解什么是音频流它是HarmonyOS音频系统中的关键概念在之后的章节中会多次提及。
音频流是音频系统中对一个具备音频格式和音频使用场景信息的独立音频数据处理单元的定义可以表示播放也可以表示录制并且具备独立音量调节和音频设备路由切换能力。
音频流基础信息通过AudioStreamInfo表示包含采样、声道、位宽、编码信息是创建音频播放或录制流的必要参数描述了音频数据的基本属性。在配置时开发者需要保证基础信息与传输的音频数据是相匹配的音频系统才能正确处理数据。
音频流使用场景信息
除了基本属性音频流还需要具备使用场景信息。基础信息只能对音频数据进行描述但在实际的使用过程中不同的音频流在音量大小设备路由并发策略上是有区别的。系统就是通过音频流所附带的使用场景信息为不同的音频流制定合适的处理策略以达到最佳的音频用户体验。 播放场景 音频播放场景的信息通过StreamUsage进行描述。 StreamUsage指音频流本身的用途类型包括媒体、语音通信、语音播报、通知、铃声等。 ContentType指音频流中数据的内容类型包括语音、音乐、影视、通知、铃声等。 录制场景 音频流录制场景的信息通过SourceType进行描述。 SourceType指音频流中录音源的类型包括麦克风音频源、语音识别音频源、语音通话音频源等。
支持的音频格式
audio模块下的接口支持PCM编码包括AudioRenderer、AudioCapturer、TonePlayer、OpenSL ES等。
音频格式说明 支持的常用的音频采样率Hz8000、11025、12000、16000、22050、24000、32000、44100、48000、64000、96000具体参考枚举AudioSamplingRate。 不同设备支持的采样率规格会存在差异。 支持单声道、双声道。 支持的采样格式U8无符号8位整数、S16LE带符号的16位整数小尾数、S24LE带符号的24位整数小尾数、S32LE带符号的32位整数小尾数、F32LE带符号的32位浮点数小尾数。 由于系统限制S24LE、S32LE、F32LE仅部分设备支持请根据实际情况使用。 小尾数指的是小端模式即数据的高字节保存在内存的高地址中而数据的低字节保存在内存的低地址中。这种存储模式将地址的高低和数据的位权有效结合起来高地址部分权值高低地址部分权值低。
media模块下的接口支持的音视频格式将在AVPlayer和AVRecorder的介绍中承载。
图片开发概述
应用开发中的图片开发是对图片像素数据进行解析、处理、构造的过程达到目标图片效果主要涉及图片解码、图片处理、图片编码等。
在学习图片开发前需要熟悉以下基本概念。 图片解码 指将所支持格式的存档图片解码成统一的PixelMap以便在应用或系统中进行图片显示或图片处理。当前支持的存档图片格式包括JPEG、PNG、GIF、RAW、WebP、BMP、SVG。 PixelMap 指图片解码后无压缩的位图用于图片显示或图片处理。 图片处理 指对PixelMap进行相关的操作如旋转、缩放、设置透明度、获取图片信息、读写像素数据等。 图片编码 指将PixelMap编码成不同格式的存档图片当前仅支持JPEG和WebP用于后续处理如保存、传输等。
图片开发的主要流程如下图所示。 获取图片通过应用沙箱等方式获取原始图片。创建ImageSource实例ImageSource是图片解码出来的图片源类用于获取或修改图片相关信息。图片解码通过ImageSource解码生成PixelMap。图片处理对PixelMap进行处理更改图片属性实现图片的旋转、缩放、裁剪等效果。然后通过Image组件显示图片。图片编码使用图片打包器类ImagePacker将PixelMap或ImageSource进行压缩编码生成一张新的图片。
除上述基本图片开发能力外HarmonyOS还提供常用图片工具供开发者选择使用。
