平潭综合实验区建设工程网站,推广普通话实践总结,企业产品推广策划方案,怎样自己搭建网站早在大语言模型如GPT-3.5等的兴起和被日渐广泛的采用之前#xff0c;教育行业已经在AI辅助教学领域有过各种各样的尝试。在教育行业#xff0c;人工智能技术的采用帮助教育行业更好地实现教学目标#xff0c;提高教学质量、学习效率、学习体验、学习成果。例如#xff0c;人… 早在大语言模型如GPT-3.5等的兴起和被日渐广泛的采用之前教育行业已经在AI辅助教学领域有过各种各样的尝试。在教育行业人工智能技术的采用帮助教育行业更好地实现教学目标提高教学质量、学习效率、学习体验、学习成果。例如人工智能技术可以帮助教师更好地管理课堂更好地识别学生的学习需求更好地提供个性化的学习内容更好地评估学生的学习成果更好地提供学习支持。此外人工智能技术还可以帮助教育行业更好地实现自动化提高教育行业的效率和效果。总之人工智能技术在教育行业的采用将会带来巨大的变化为教育行业带来更多的发展机遇。 亚马逊云科技也一直致力于提供更方便快捷功能更强大的AI服务来支持教育行业客户的技术创新和业务创新。特别是Amazon Transcribe、Amazon Polly、Amazon Textract、Amazon Translate、Amazon Personalize、Amazon Rekognition、Amazon SageMaker等产品分别从自然语言处理、图形图像处理、模型研发部署等方面为教育行业提供了强有力的技术支持。 本文结合Amazon Transcribe、Amazon Polly以及OpenAI的大语言模型和D-ID.com公司的2D数字人生成技术介绍实现一个演示用的可语音对话的智能2D数字人设计的服务和具体的实现过程。 方案架构 为了能在一个统一的用户界面呈现语音输入、语音输出以及2D数字人视频播放的整体效果本方案选择Gradio框架实现WebUI的功能。呈现的WebUI如下 用户可以通过直接输入文字内容或者使用麦克风输入语音文字内容会使用Langchain附加上一定的上下文后送给OpenAI的GPT接口调用语音输入会先调用Amazon Transcribe服务进行语音到文字的转换。经过GPT接口返回的文字内容会调用AWS Polly形成语音文件同时语音文件会作为D-ID.com提供的API渲染出2D的动态视频在前端自动展示和播放。 本方案中语音输入语音输出文字响应生成以及数字人视频生成的功能都可以做自由的组合和替换。特别是对于OpenAI接口的调用可以置换为对自部署的大语言模型的调用同时2D数字人视频的生成也可以考虑其他类似服务如Heygen等。 具体实现 语音输入部分 Amazon Transcribe支持实时转录语音流式传输也可以转录Amazon S3存储桶中的语音文件批处理。Transcribe支持多达几十种的不同国家的语言。 Transcribe的实时转录能力非常的强大处理流数据的同时不断的利用之前的上下文进行结果的实时矫正可以通过下面这个截图看到Transcribe实时转录输出的效果 应答内容生成部分 在本方案里应答内容的生成借助Langchain这个开源框架调用基于OpenAI的coversation接口同时使用memory库对对话的上下文做了5轮保存。在实际的客户场景里可以考虑更丰富的方式来规范回复的内容的有效性和客观性。 比如可以使用Langchain的对话模版来对大模型的角色进行预设或者使用Amazon KendraAmazon Opensearch这样的知识库构建和检索引擎来进一步限制大模型应答的内容范围。 语音输出部分 Amazon Polly可以将文本转化为逼真的语音。它支持多种语言并且包含各种逼真的声音模拟也包含中文普通话语音的模拟。 可以构建支持语音并能用于各种位置的应用程序并选择适合客户的声音。Amazon Polly也支持语音合成标记语言SSML它是一种基于XML的W3C标准标记语言适用于语音合成应用程序且支持使用通用SSML标签进行断句、重音和语调。自定义Amazon SSML标签提供了独特的选项例如能够以新闻播音员说话风格发出某些声音。这种灵活性能够帮助您创建逼真的语音从而吸引并维持听众的注意力。 在本方案中可以使用Polly的实时语音生成接口使用了中文普通话发音的VoiceIDZhiyu同时对特定的字符的发音做了定制化这也是Polly一个非常有用的功能Lexion。 2D数字人视频的生成部分 这里可以使用一个外部第三方的SaaS服务。该服务由D-ID.com公司提供对应的API可以直接接收文本输入和一张人脸图片来生成对应的动态播报视频也可以接受语音文件加图片作为输入。 当你输入文本的时候该API接口可以选择制定AWS的Polly服务中的不同的Voice ID来自动为你合成语音。 在本方案中想体现中文的语音输出的效果但是D-ID的API接口中暂时无法直接为中文文本指定中文的Voice ID。所以选择了先用Polly的API生成语音再把语音和图片传送给D-ID的接口生成视频。 总结 今年是AIGC爆发的一年也是教育行业所在的客户看到行业拐点的一年。在这个关键的历史性节点上亚马逊云科技愿意和客户一起面对这些新的机会和挑战以客户的需求为导向帮助客户抓住AI浪潮带来的红利。 目前除了本文展示的2D数字人的方案亚马逊云科技也可以帮助客户提供基于3D数字人或者其他3D数字形象的直播互动等方案。同时亚马逊云科技也会引入更多的技术合作伙伴如跃迁引擎来丰富整个数字人数字形象直播、点播、互动等场景的解决方案助力更多的教育行业客户加速AI技术的采用和落地。 原发标题近实时智能应答 2D 数字人搭建 原发链接https://aws.amazon.com/cn/blogs/china/near-real-time-intelligent-answering-2d-digital-human-construction/
