平度网站建设公司电话,广州网站优化运营,浏览器网页截图快捷键,wordpress怎么写主题本文来自DataLearnerAI官方网站#xff1a;重磅#xff01;苹果官方发布大模型框架#xff1a;一个可以充分利用苹果统一内存的新的大模型框架MLX#xff0c;你的MacBook可以一键运行LLaMA了 | 数据学习者官方网站(Datalearner)https://www.datalearner.com/blog/105170187…本文来自DataLearnerAI官方网站重磅苹果官方发布大模型框架一个可以充分利用苹果统一内存的新的大模型框架MLX你的MacBook可以一键运行LLaMA了 | 数据学习者官方网站(Datalearner)https://www.datalearner.com/blog/1051701871117729
苹果刚刚发布了一个全新的机器学习矿机MLX这是一个类似NumPy数组的框架目的是可以在苹果的芯片上更加高效地运行各种机器学习模型当然最主要的目的是大模型。 MLX框架简介目前MLX支持的模型和使用方式预训练模型的使用MLX性能实测MLX的相关资源和链接 MLX框架简介
根据官方的介绍MLX的设计受到PyTorch、Jax和ArrayFile的启发目的是设计一个对用户极其友好但同时在训练和部署上也非常高效的框架。所以它的接口你会非常熟悉因为它的Python接口与NumPy很相似而它的神经网络模型的接口和PyTorch非常类似。所以如果此前你使用Python编写相关模型代码几乎是没有障碍的使用和切换。 MLX的关键特性如下
熟悉的APIMLX 有一个 Python API紧密遵循 NumPy。MLX 还有一个功能齐全的 C API与 Python API 非常相似。MLX 拥有像mlx.nn和 mlx.optimizers这样的高级包其 API 紧密遵循 PyTorch以简化构建更复杂的模型。
可组合的函数转换MLX 具有可组合的函数转换用于自动微分、自动向量化和计算图优化。
延迟计算MLX 中的计算是延迟的。数组仅在需要时才实体化。
动态图构建MLX 中的计算图是动态构建的。更改函数参数的形状不会触发缓慢的编译调试简单直观。
多设备操作可以在任何支持的设备上运行目前是 CPU 和 GPU。
统一内存MLX 与其他框架的一个显著区别是统一内存模型。MLX 中的数组存在于共享内存中。对 MLX 数组的操作可以在任何支持的设备类型上执行无需移动数据。
从上面的描述中可以看到MLX与其它框架的最大的不同点是可以充分使用苹果的统一内存来计算而不需要搬运数据。关于统一内存架构相比显存和内存的方式运行大模型参考https://www.datalearner.com/blog/1051698716733526M3系列芯片是苹果最新发布的芯片。也是当前苹果性能最好的芯片。由于苹果的统一内存架构以及它的超大内存此前很多人发现可以使用苹果的电脑来运行大语言模型。尽管它的运行速度不如英伟达最先进的显卡但是由于超大的内存显存它可以载入非常大规模的模型。而此次的M3芯片效果如何本文做一个简单的分析。https://www.datalearner.com/blog/1051698716733526 目前MLX支持的模型和使用方式
从官方的示例看苹果的MLX框架完成度很高它支持transformer架构模型的训练、当前预训练模型如何LLaMA的推理、基于LoRA的高效参数微调、支持载入使用多模态大模型Stable Diffusion和Whisper等。
此外MLX还有个配套框架教MLX Data这是一个不依赖特定框架的数据加载库可以与PyTorch、Jax 或 MLX 一起使用。MLX Data数据加载库的目标是高效但同时也具有灵活性例如能够每秒加载和处理数千张图片同时也能在生成的批次上运行任意 Python 转换。这个库的推出很有可能与苹果的统一内存数据的使用有关有了它应该可以更加高效地在苹果设备上读写数据。
关于MLX的实测和开源情况参考DataLearnerAI的原文重磅苹果官方发布大模型框架一个可以充分利用苹果统一内存的新的大模型框架MLX你的MacBook可以一键运行LLaMA了 | 数据学习者官方网站(Datalearner)
