大连网站制作多少钱,如何自学跨境电商,深圳市住房和建设局官网首页,公司两个网站可以做友情链接吗✨ 1: UniAnimate
阿里新发布的UniAnimate通过统一的视频扩散模型#xff0c;实现高效人像动画生成#xff0c;支持长视频生成 UniAnimate 是一种专注于一致性人像动画生成的统一视频扩散模型。该模型通过映射参考图像、姿势指导和噪声视频到一个共同特征空间#xff0c;实… ✨ 1: UniAnimate
阿里新发布的UniAnimate通过统一的视频扩散模型实现高效人像动画生成支持长视频生成 UniAnimate 是一种专注于一致性人像动画生成的统一视频扩散模型。该模型通过映射参考图像、姿势指导和噪声视频到一个共同特征空间实现了高效且一致的长时视频生成。UniAnimate 的主要特点包括
共同特征空间映射利用统一的视频扩散模型将参考图像、姿势指导和噪声视频映射到一个共同特征空间减少了优化难度并确保了时间上的一致性。 统一噪声输入支持随机噪声和基于第一帧的噪声输入增强了长时间视频生成的能力。 高效的时间建模架构使用基于状态空间模型的时间建模架构替代原来计算消耗较大的时间 Transformer。
地址https://github.com/ali-vilab/UniAnimate ✨ 2: ComfyUI Stable Diffusion 3 API
ComfyUI Stable Diffusion 3 API让你通过接口在ComfyUI中使用Stable 3模型。 ComfyUI Stable Diffusion 3 API 是将 Stable Diffusion 3 引入 ComfyUI 的工具。利用 API用户可以通过 ComfyUI 访问和使用 Stable Diffusion 3 的模型生成图像。目前提供两种模型选择SD3 和 SD3 Turbo且不同模型在积分消耗上有所不同。该 API 提供了多种比例和模式以满足不同的生成需求。
地址https://github.com/ZHO-ZHO-ZHO/ComfyUI-StableDiffusion3-API ✨ 3: Building GPT2o
构建生成音频的GPT2模型的方法和过程 从头开始构建一个能生成音频的GPT-2模型的过程。受到Andrej’s “Let’s Reproduce GPT-2” 的启发作者希望创建一个类似于OpenAI的GPT-4o或AudioPaLM的自动回归生成音频的模型而且最好在普通消费者硬件上训练。
音频标记化 使用SNAC一个分层结构的音频离散标记化模型将音频转换为离散标记。这种方法效果很好几乎无法分辨原音频和重建音频之间的差别。作者利用SNAC模型和教程创建了一个能将音频转换为离散标记的标记化工具以供语言模型训练。
数据集 作者错过了LIAON的预标记化数据集因此使用了来自Librivox的公共领域录音《福尔摩斯历险记》。这些音频总时长约12小时相当于约150万个SNAC标记并将其上传至Hugging Face。
训练与推理 训练代码与Andrej的原始代码几乎无异只做了一些小的修改如数据处理脚本、上下文长度、批次大小和词汇表大小等。尽管作者在分布式数据并行DDP版本中遇到问题但在Colab上可以在一两个小时内得到一个能生成音频的模型。不过模型过拟合大多数时间生成的音频是乱码。本文仅展示了概念验证作者相信更多数据和计算资源能提升模型性能。
代码https://github.com/nivibilla/build-nanogpt/tree/audio 模型https://huggingface.co/eastwind/gpt2-audio-tiny-sherlock-5k-overfit 数据https://huggingface.co/datasets/eastwind/tiny-sherlock-audio
地址https://medium.com/nivibilla/building-gpt2o-part-1-audio-65b66e193784 ✨ 4: midGPT
midGPT是一个基于Jax和Equinox的可实验性LLM预训练仓库支持大型模型跨多设备训练。 MidGPT 是一个用于 LLM大型语言模型预训练实验的简单且可扩展的代码库基于 Jax 和 Equinox 构建。该代码库能够在 TPUs 或 GPUs 上训练具有数十亿参数的 GPT风格的解码器-仅 Transformers 模型。
MidGPT 受 NanoGPT 启发但支持多设备和多主机的 FSDP全栈数据并行从而可以训练更大的模型。它还包括了一些最近的 Transformer 改进旋转嵌入rotary embeddings、RMSNorm、QK-Layernorm 和独立权重衰减能够在更大规模的训练中提高性能或稳定性。
地址https://github.com/AllanYangZhou/midGPT ✨ 5: PDF to Podcast
PDF 转播客工具将 PDF 文档转换为音频播客可以生成对话结构的 MP3 文件。 PDF to Podcast 项目是一款工具可以将任何PDF文档转换成播客节目通过使用OpenAI的文字转语音模型和Google Gemini该工具处理PDF内容生成适合音频播客的自然对话并将其输出为MP3文件。
地址https://github.com/knowsuchagency/pdf-to-podcast 更多AI工具参考国内AiBard123Github-AiBard123 公众号每日AI新工具
