自己做网站除了域名还需要什么,招聘网站的建设,案例查询网站,搭建网站的平台有哪些1 声音特性 声音#xff08;sound)是由物体振动产生的声波。是通过介质传播并能被人或动物听觉器官所感知的波动现象。最初发出振动的物体叫声源。声音以波的形式振动传播。声音是声波通过任何介质传播形成的运动。频率#xff1a;是每秒经过一给定点的声波数量#xff0c…1 声音特性 声音sound)是由物体振动产生的声波。是通过介质传播并能被人或动物听觉器官所感知的波动现象。最初发出振动的物体叫声源。声音以波的形式振动传播。声音是声波通过任何介质传播形成的运动。频率是每秒经过一给定点的声波数量它的测量单位为赫兹1千赫或1000赫表示每秒经过一给定点的声波有1000个周期1兆赫就是每秒钟有1,000,000个周期等等。 音节就是听觉能够自然察觉到的最小语音单位音节有声母、韵母、声调三部分组成。一个汉字的读音就是一个音节一个英文单词可能有一个或多个音节构成并且按照音节的不同可以分为不同的种类。 音素它是从音节中分析出来的最小语音单位语音分析到音素就不能再分了。比如“她穿红衣服”是5个音节而“红”又可进一步分为3个音素--h,o,ng。音素的分析需要一定的语音知识但是如果我们读的慢一点是还可以体会到的。 音位是指能够区分意义的音素比如bian,pian,bu,pu就是靠bp两个音素来区分的所以bp就是两个音位。 人耳能听到的音频范围20HZ--20KHZ。人说话的声音频率300HZ--3.4KHZ。乐器的音频范围20HZ--20KHZ。2 语音时域特性语音信号有时变特性是一个非平稳的随机过程。但在一个短时间范围内其特性基本 保持不变即语音的“短时平稳性”。在时域语音信号可以直接用它的时间波形表示出来。其中清音段类似于白噪声具有较高的频率但振幅很小没有明显的周期性而浊音都具有明显的周期性且幅值较大频率相对较低。语音信号的这些时域特征可以通过短时能量、短时过零率等方法来分析。2.1 短时能量由于语音信号的能量随时间而变化清音和浊音之间的能量差别相当显著。因此对短时能量和短时平均幅度进行分析可以描述语音的这种特征变化情况。 定义n时刻某语音信号的短时平均能量为式中N为窗长可见短时能量为一帧样点值的加权平方和。特殊地当窗函数为矩形窗时有2.2 短时幅度短时能量的一个主要问题是对信号电平值过于敏感。由于需要计算信号样值的平方和在定点实现时很容易产生溢出。为了克服这个缺点可以定义一个短时平均幅度函数来衡量语音幅度的变化上式可以理解为w(n)对|x(n)|的线性滤波运算实现框图如下。与短时能量比较短时平均幅度相当于用绝对值之后代替了平方和简化了运算。2.3 短时过零率短时平均过零率是语音信号时域分析中的一种特征参数。它是指每帧内信号通过零值的次数。 ①对有时间横轴的连续语音信号可以观察到语音的时域波形通过横轴的情况。 ②在离散时间语音信号情况下如果相邻的采样具有不同的代数符号就称为发生了过零因此可以计算过零的次数。 单位时间内过零的次数就称为过零率。一段长时间内的过零率称为平均过零率。如果是正弦信号其平均过零率就是信号频率的两倍除以采样频率而采样频率是固定的。因此过零率在一定程度上可以反映信号的频率信息。短时平均过零率的定义为3 语音频域特性3.1 信号分类 计算信号能量作用在单位电阻上的电压信号 释放的能量可以将信号分为功率信号能量无限不能用能量表示所以用平均功率表示 能量信号能量有限平均功率为03.2 频谱功率信号的频谱离散含义 周期功率信号幅值频率为f0经过傅里叶级数展开被多个离散倍频nf0表征各频点的幅值C(nf0)也即该频点的贡献权系数。3.3 功率谱密度功率信号的功率谱密度连续:含义将信号的功率按照频点贡献铺在频谱之上因其能量是无穷的所以不能把能量铺上去只能用有限的功率对功率谱密度进行积分能得到局部频段承载的功率相比功率信号的频谱突出各频点对功率信号的信号幅值的贡献功率谱密度突出各频点对功率信号的功率的贡献。3.4 频谱密度能量信号的频谱密度连续含义通过傅里叶变换将能量信号转换到连续频域上但因能量有限不能使用离散贡献频点权系数几乎为0只能使用频谱密度来表征。3.5 能量谱密度能量信号的能量谱密度连续含义将信号能量铺在频谱之上对能量谱密度进行局部积分能得到局部频段承载的能量相比能量信号的频谱密度突出连续频点对功率信号的信号幅值的贡献能量谱密度突出连续频点对能量信号的能量的贡献。AI大语音语音信号时间上有限且幅值有限即是能量有限频率为0应该是能量信号不能计算功率谱。我们实际上做了一个假设把语音分帧每一帧都是某一个周期信号的一个周期所以它是周期信号周期信号就是功率信号。也就是在未分帧之前的确是能量信号。分帧后在做FFT的时候又在负无穷到正无穷上进行了周期扩长所以才是功率信号。4 语音识别过程所谓语音识别就是将一段语音信号转换成相对应的文本信息系统主要包含特征提取、声学模型语言模型以及字典与解码四大部分此外为了更有效地提取特征往往还需要对所采集到的声音信号进行滤波、分帧等音频数据预处理工作将需要分析的音频信号从原始信号中合适地提取出来特征提取工作将声音信号从时域转换到频域为声学模型提供合适的特征向量声学模型中再根据声学特性计算每一个特征向量在声学特征上的得分而语言模型则根据语言学相关的理论计算该声音信号对应可能词组序列的概率最后根据已有的字典对词组序列进行解码得到最后可能的文本表示。预处理1. 首尾端的静音切除降低对后续步骤造成的干扰静音切除的操作一般称为VAD。2. 声音分帧也就是把声音切开成一小段一小段每小段称为一帧使用移动窗函数来实现不是简单的切开各帧之间一般是有交叠的。特征提取主要算法有线性预测倒谱系数LPCC和Mel 倒谱系数MFCC目的是把每一帧波形变成一个包含声音信息的多维向量。声学模型AM通过对语音数据进行训练获得输入是特征向量输出为音素信息。字典字或者词与音素的对应 简单来说 中文就是拼音和汉字的对应英文就是音标与单词的对应。语言模型LM通过对大量文本信息进行训练得到单个字或者词相互关联的概率。解码就是通过声学模型字典语言模型对提取特征后的音频数据进行文字输出。语音识别流程的举例只是形象表述不是真实数据和过程1. 语音信号PCM文件等我是机器人2. 特征提取提取特征向量[1 2 3 4 56 0 ...]3. 声学模型[1 2 3 4 56 0]- w o s i j i q i r n4. 字典窝w o我w o是s i机j i器q i人r n级j i忍r n5. 语言模型我0.0786 是0.0546我是0.0898机器0.0967机器人0.67856. 输出文字我是机器人附录(魔鬼写手——————浅谈则止细致入微AI大道理扫描下方“AI大道理”选择“关注”公众号 欢迎加入▼下期预告▼AI大语音——预处理往期精彩回顾▼留你心言你想
