网站固定通栏代码,商城类型的网站怎么做,做旅游网站挣钱吗,网站制作论坛语音情感识别调研 1、情绪识别综述2、语音情感识别算法3、语音特征提取4、相关项目1、用 LSTM、CNN、SVM、MLP 进行语音情感识别2、DST#xff1a;基于Transformer的可变形语音情感识别模型3、语音情感基座模型emotion2vec4、IEEE ICME 2023论文#xff5c;基于交互式注意力的… 语音情感识别调研 1、情绪识别综述2、语音情感识别算法3、语音特征提取4、相关项目1、用 LSTM、CNN、SVM、MLP 进行语音情感识别2、DST基于Transformer的可变形语音情感识别模型3、语音情感基座模型emotion2vec4、IEEE ICME 2023论文基于交互式注意力的语音情感识别联合网络5、CA-MSER: 多模态语音情感识别 5、应用6、竞赛 1、情绪识别综述
概述 语音情绪识别(Speech Emotion RecognitionSER)是指通过一段语音的声学特征该特征与语音的内容信息和语种信息无关来识别说话人的情绪状态的技术。说话人可通过调整发音器官的动作来改变语音信号的声学特征来表达不同的情绪。目前基于语音信号的情绪识别模型主要分为两类离散形式情绪描述模型和连续形式情绪描述模型。离散形式情绪描述模型通过将情绪描述为离散的、形容词标签的形式如生气(anger)、开心(happiness)、惊讶(surprise)、恶心(disgust)、害怕(fear)和难过(sad)等。连续形式情感描述模型将情绪描述为多维情感空间中的点空间中的每一维对应情感的一个心理学属性。例如在一个二维的空间中激活度(arousal)表示情感激烈程度效价(valence)表示情感正负面程度。开心(happiness)可以用高激活度和高效价来表示难过(sad)可以用低激活度和低效价来表示。 原文链接https://blog.csdn.net/weixin_44200133/article/details/134999341
2、语音情感识别算法
当今语音情感识别系统所采用的识别算法可以分为如下两类离散语音情感分类器维度语音情感分类器。
1.离散语音情感分类器 它们一般被建模为标准的模式分类问题,即使用标准的模式分类器进行情感的识别。比如GMM高斯混合模型SVMKNNHMM隐马尔可夫模型。
2.维度语音情感分类器 该研究一般被建模为标准的回归预测问题,即使用回归预测算法对情感属性值进行估计,在当前的维度语音情感识别领域使用较多的预测算法有:Linear Regression,k-NN,ANN,SVR(support vector regression)等.其中,SVR 因为性能稳定、训练时间短等优点应用得最为广泛。
(一)、传统方法 传统语音情绪识别方法一般分为两个步骤情绪特征提取和统计建模。语音情绪识别常用的特征包括 (1)韵律和能量特征情绪的变化直接反映在整体韵律和能力的变化上。 (2)语音质量特征,发音人的情绪质量会影响语音质量。 (3)谱特征虽然情绪变化直接反映在韵律和能量等长时连续信息中这种变化也会间接的反映在谱特征本身的分布形态中。 (4)Teager能量特征研究表明语音信号的Teager能量特征可以表征不同频带之间的相互作用。 上述四种特征是帧级别的缺少上下文信息因此称为局部特征。另一种特征是在这些局部特征的特征基础上提取特征的长时统计量包括最大值、最小值、均值、方差等这些统计量称为全局特征。 统计建模方法包括离散情绪模型和连续情绪模型离散语音情绪建模基于各种通用分类模型包括高斯混合模型(GMM)、隐马尔可夫模型HMM、支持向量机(SVM)等。连续情绪模型通过建立合理的回归模型对所定义的连续情绪属性进行拟合和预测。Tian等人基于AVEC2012数据集和IEMOCAP数据集在四个维度(激发值、期待值、强势度、愉悦度)上进行情绪预测。
二基于深度学习的方法 早期基于DNN的情绪识别将DNN作为替代SVM的分类工具。后续出现了使用DNN预测帧级别的情绪后验概率并基于HMM对句子进行建模的方法。声谱图CRNN最近很多人用声谱图加上CNNLSTM这些深度学习模型来做。Attention-CNN、SOTA、wav2vec2等。 原文链接https://blog.csdn.net/weixin_44200133/article/details/134999341
3、语音特征提取
韵律学特征 韵律是指语音中凌驾于语义符号之上的音高、音长、快慢和轻重等方面的变化,是对语音流表达方式的一种结构性安排。
声音质量特征: 音质特征是语音的一种主观评价指标描述了声门激励信号的性质包括发声者语态、喘息、颤音及哽咽用来衡量语音纯净度、清晰度和辨识度。
基于谱的相关特征 基于谱的相关特征被认为是声道(vocal tract)形状变化和发声运动(articulator movement)之间相关性的体现。
音频检测的关键技术-MFCC特征提取,为了从音频信号中提取语音信息目前使用的是普遍用于分析音频信号的mfcc值。MFCC梅尔频率倒谱系数梅尔频率是基于人耳听觉特性提取出来的和赫兹频率呈现一个非线性对应关系。梅尔频率倒谱系数是利用好梅尔频率和赫兹频谱关系计算得出的赫兹频谱特征其主要应用于语音数据的特征提取。 链接https://zhuanlan.zhihu.com/p/496818604
4、相关项目
评估指标 指标weighted accuracyWA、unweighted accuracyUA、weighted average F1WF1其中WA表示加权准确率UA表示普通准确率WF1表示加权F1 score。 GitHub topic一些相关项目https://github.com/topics/speech-emotion-recognition
1、用 LSTM、CNN、SVM、MLP 进行语音情感识别
用 LSTM、CNN、SVM、MLP 进行语音情感识别Keras 实现。 改进了特征提取方式识别准确率提高到了 80% 左右。原来的版本的存档在 First-Version 分支。传统机器学习没具体评估指标 代码https://github.com/Renovamen/Speech-Emotion-Recognition
2、DST基于Transformer的可变形语音情感识别模型
本次分享华南理工大学、优必选研究院等合作在ICASSP2023会议发表的论文《DST: Deformable Speech Transformer for Emotion Recognition》。该论文提出一个可变形的Transformer结构来对语音情感信号进行建模能够自适应地发现并关注到语音信号中有价值的细粒度情感信息。 论文地址https://arxiv.org/abs/2302.13729 代码仓库https://github.com/HappyColor/DST 3、语音情感基座模型emotion2vec
在此背景下上海交通大学、阿里巴巴、复旦大学和香港中文大学的研究者们联手开发了一个通用的语音情感表征模型emotion2vec 。 本文提出的emtion2vec为一种自监督预训练方法其核心为句子级别损失与帧级别损失以及在线蒸馏范式。采用data2vec自监督框架emotion2vec模型在预训练阶段包含两个网络教师网络T和学生网络S。这两个网络拥有相同的架构包括由多层卷积神经网络组成的特征提取器F以及由多层Transformer组成的主干网络B。
论文链接https://arxiv.org/abs/2312.15185 开源代码仓库https://github.com/ddlBoJack/emotion2vec 4、IEEE ICME 2023论文基于交互式注意力的语音情感识别联合网络
在本文中提出了一个单独频谱模型和一个结合了预训练模型和频谱模型语音情感识别联合网络。首先设计一个频谱模型提取到语音情感的特性表征再通过Wav2Vec2.0[2]预训练模型学习到语音的共有表征。通过设计不同的交互注意力模块将两个中间特征进行融合更好地利用音频信息。并设计多分支训练策略对联合网络进行优化。在说话人无关设置下取得良好的实验结果。
实验使用了IEMOCAP数据集对上述提出的联合网络进行训练和测试。
5、CA-MSER: 多模态语音情感识别
是南洋理工天大 发表在ICASSP 2022的关于语音情感识别(Speech Emotion Recognition, SER)的工作SER 指的是从音频数据中分析说话人的情感是一个典型的情感分类任务。本文作者从音频数据中提取了多个不同级别的声学特征(原始音频信号、MFCC 和梅尔谱)将他们看作多模态信息进行处理并且设计了 co-attention 模块进行多模态信息融合在 IEMOCAP 数据集上取得了不错的效果。 开源代码地址https://github.com/Vincent-ZHQ/CA-MSER
5、应用
宠物情绪识别 智能狗项圈界定狗子的喜怒哀乐 韩国的初创公司 Petpuls Lab从 2017 年起便开始研发一种智能狗项圈以帮助铲屎官更准确、更有效地理解自家狗子。智能项圈 Petpuls 的第一代于 2018 年 2 月在韩国市场推出之后受到广泛好评。去年该产品的第二代问世售价 99 美金约 640 元人民币。
猫言猫语也能被翻译喵喵 前段时间一位前 Amazon 工程师开发了一项应用程序 MeowTalk能够把猫咪的「喵喵喵」翻译成短语从而让人们知道它在表达什么。
教育领域可以通过语音情感识别系统实时掌握学生的情感状态利用其对情感特有的分析辨别能力实时分析系统接收到的学生回复及时地了解和把握学生的真实情感状态从而迅速做出反馈并进行调整大大增强了课堂效果和提高了学生的学习效率。
医学领域面对诸多医患之间无法沟通交流的现象语音情感识别系统发挥了极其重要的作用。当遇到情绪波动、抗拒交谈或是精神受创、难以沟通的患者语音情感识别系统将会迅速做出反应并分析患者此刻的心理状态。
服务领域普通的人工客服只会机械性、重复性地回答客户的问题和需求不能做到灵活变通从而致使部分客户产生抵触的情绪导致客源的损失。而语音情感识别将会对此采取针对性的分析当监测出客户情绪有负面波动时则及时切换人工客服进行协调有效地减少了客源损失量。 除上述领域外语音情感识别在智能娱乐、电子商务、汽车驾驶、辅助测谎和人机交互[等应用程序非常重要。
6、竞赛
1多模态情感识别挑战赛 该竞赛开始于2016年该竞赛英文名称为The multimodal emotion recognition challenge,统称为MEC或MER由清华大学陶建华教授联合中国科学院自动化研究所连政助理研究员南洋理工大学Erik Cambria教授帝国理工学院Björn W. Schuller教授、奥卢大学赵国英教授在国际顶级人工智能学术会议ACM MM上举办。 2多模态情感分析挑战赛 英文全称 The Multimodal Sentiment Analysis ChallengeMUSE。开始于2020年由多媒体国际顶级会议ACM Multimedia举办英国帝国理工学院、德国奥斯堡大学、芬兰奥卢大学等高校共同发起。 链接https://blog.csdn.net/weixin_44200133/article/details/134999341
参考https://blog.csdn.net/weixin_44200133/article/details/134999341
