大同市住房城乡建设网站,wordpress页面文本编辑评论,帝国视频网站模板,有什么好的互联网平台做网站目录
一、什么是Byzer?
二、Byzer特性
2.1 语法特性
2.2 数据的管理特性
2.3 支持自定义函数拓展Byzer语法
三、Byzer有哪些功能#xff1f;
3.1 Byzer-Lang语言特性
3.1.1强大的数据处理能力
3.1.2内置机器学习算法
3.2 Byzer-Lang支持权限控制
3.3 Byzer-LLM拓展…目录
一、什么是Byzer?
二、Byzer特性
2.1 语法特性
2.2 数据的管理特性
2.3 支持自定义函数拓展Byzer语法
三、Byzer有哪些功能
3.1 Byzer-Lang语言特性
3.1.1强大的数据处理能力
3.1.2内置机器学习算法
3.2 Byzer-Lang支持权限控制
3.3 Byzer-LLM拓展
3.4 Byzer-Python拓展
四、认识Byzer-LLM
4.1 Byzer-llm拓展的安装
4.2 Byzer-llm能够干什么
4.2.1 帮助企业构建一个统一的数据中台
4.2.2 基于开源大模型或者大模型的SaaS服务搭建自己的大模型
4.2.3 助力大模型微调
一、什么是Byzer?
Byzer的前身是 MLSQLMLSQL 的前身是 StreamingPro2021年12月MLSQL更名为Byzer。下图为Byzer的发展历程。 图1 byzer发展历程
Byzer不同时期的形态体现了不同的任务重心,StreamingPro最初的目的是简化Spark Streaming的开发提升流数据处理的效率。MLSQL将spark由应用转变成服务提供了RESTful API接口之后内置了机器学习的能力全面打通了从原始数据到机器学习算法部署的链路加快机器学习算法快速落地。而Byzer不仅继承了MLsql的优点还扩展了Byzer-python向python的生态拥抱拓展了Byzer-LLM向最近火爆的大模型拥抱。
Byzer官网号称是一门全新的语言有自己的语法(简洁)、有自己的解释器、有自己的执行引擎这门语言的底座基于SparkRay。
Byzer不仅是一门全新的语言也可以看做是一个功能强大的框架Byzer允许不同角色的研发人员在其生态体系中进行数据分析进行机器学习、深度学习算法分布式训练、分布式部署等。总之Byzer允许数据分析、产品研发、算法开发等人员共同使用它简化自己的工作提升工作效率更重要的是它可以在数据层面充分协调不同的部门加快产品从研发到落地的效率。Byzer的功能很多但本质上还是用一个统一的平台管理统一的数据使用统一的语法在上面各自进行业务开发并将自己开发的产品API暴露。从而缩短产品从研发到部署的时间。
Byzer是一门全新的语言不过它是一门面向大数据、AI、云原生的分布式语言它内置了许多插件可以帮助软件行业工程人员更好地在数据分析、机器学习、AI等领域落地实际的应用项目。这门语言诞生的初衷是从编程语言层面上进行革新从根本上提高数据平台落地和 AI 工程化的效率在统一的平台上实现过去要使用多语言、多平台、多组件才能实现的事情。 图2 byzer架构
二、Byzer特性
2.1 语法特性
一切用类似于sql的语句进行数据操作、数据处理、模型训练、模型部署成应用并且所有的数据都以数据表的形式存储。 图 3 byzer-notebook界面
上图中在指定目录中加载自定义的图片数据集保存的数据湖中再次从数据湖中加载数据可以看到输出的是表结构也就是说Byzer以表的形式管理任何数据。但这是表面上让人感觉数据似乎变成了表但实际上byzer用hdfs管理文件所有数据湖中的数据全部都以切片的形式保存到了Byzer主目录的data文件夹中。
2.2 数据的管理特性
在byzer数据湖中的数据保存到了byzer的安装路径下但是用户数据是按照租户隔离的在notebook中的直观体现就是deleta数据湖中的数据大家都可以看见都可以使用、修改。但是FileSystem中的数据是用户私有的不同的用户登录进notebook中只能看到自己的数据而能不能查看其他人的数据
实际上notebook中FileSystem中的数据存储在notebook安装路径中所以这样看来notebook不仅是byzer官方推荐的代码编辑器似乎还是一个数据管理平台。因为notebook做到了将数据按照租户隔离。
2.3 支持自定义函数拓展Byzer语法
目前byzer中仅仅支持是十几个原生语法比如load,select等其他的直接照搬spark sql语句拓展自己的语法功能但是sql语句本来就功能有限比如实现分支语句、循环语句等都是需要拓展的byzer支持用户使用java、scala语言对其语法进行拓展。
三、Byzer有哪些功能
Byzer除了Byzer-Lang核心语法之外还有许多拓展比如Byzer-LLM、Byzer-Python、Byzer-Notebook等。下面以这三个拓展为例看一看Byzer有哪些特性。
3.1 Byzer-Lang语言特性
Byzer官方对Byzer-Lang的解释是Byzer 是一门结合了声明式编程和命令式编程的混合编程语言其低代码且类 SQL 的编程逻辑配合内置算法及插件的加持能帮助数据工作者们高效打通数据链路完成数据的清洗转换并快速地进行机器学习相关的训练及预测。
Byzer 希望能够提供一套语言、一个引擎就能覆盖整个数据链路同时可以提供各种算法、模型训练等开箱即用的能力。
但是我在简单体验了Byzer之后特别引起我关注的还是以下两大功能
3.1.1强大的数据处理能力
Byzer-Lang号称Everything is a table在 Byzer-Lang 中所有的文件都可以被抽象成表的概念。多样的数据源例如数据库数据仓库数据湖甚至是 Rest API 都可以被 Byzer-lang 抽象成二维表的方式读入并进行后续的分析处理。Byzer官网号称Byzer-lang几乎可以加载市面上主流的数据源和数据格式:
(1)数据源:JDBC协议的数据库多种云上对象存储HDFS等
(2)数据格式:例如textimagecsv, json xml等文件格式
3.1.2内置机器学习算法
Byzer 提供了一些内置的、开箱即用的机器学习算法其中包括自动机器学习(AutoML)、K 均值聚类算法(KMeans)、朴素贝叶斯法(NaiveBayes)、交替最小二乘法(ALS)、随机森林(RandomForest)、线性回归(LinearRegression)、逻辑回归(LogisticRegression)、隐含狄利克雷分布(LDA)等。Byzer不仅内置了这些机器学习算法而且还内置了诸如特征平滑、归一化等特征工程算子。在Byzer上面不需要书写机器学习的数据处理、模型训练等代码不需要像python中导入第三方包只需要一行简单的声明即可使用。数据处理部分仅需load、run几个命令即可完成模型训练也仅需train命令算法部署上线只需一个插件并结合一个register命令即可以可api访问的形式部署。
3.2 Byzer-Lang支持权限控制
Byzer-Lang可以通过插件的方式控制权限在Byzer-notebook中体现为FileSystem中展现的数据是按租户隔离的而DetltaLake的库表则是所有用户都可以看到和使用的。具体来说以不同的账号登录进Byzer-notebook看到的FileSystem中的数据是不同的因为FileSystem中的数据是属于用户私有的而看到的DetltaLake是相同的。这一点不同于python的jupyter。
Byzer-Lang还支持从编码层面支持自定义用户权限只需要将自定义的权限控制类实现streaming.dsl.auth.TableAuth类然后打包放在byzer-lang下的lib文件夹中即可。
3.3 Byzer-LLM拓展
Byzer-LLM是Byzer语言的一个拓展Byzer官方对Byzer-LLM的定义是Byzer-LLM 让用户可以端到端的完成业务数据获取处理finetune大模型多场景部署大模型等全流程。该扩展的目标也是为了让企业更好的将业务数据注入到私有大模型开源或者商业并且可对外提供多场景部署形态诸如 ETL, 流式计算API 服务等。Byzer-LLM 目前支持两类大模型(1)私有大模型。用户需要自己下载模型权重在启动模型时指定路径。(2)SaaS大模型。 用户需要提供token。
3.4 Byzer-Python拓展
Byzer通过 Byzer-python 扩展内置来支持Python语言。因此只需要在notebook中声明python环境的地址既可以在notebook中书写python代码。通过 Byzer-python用户不仅仅可以进行使用 Python 进行 ETL 处理比如可以将一个 Byzer 表转化成一个分布式DataFrame on Dask 来操作它还支持各种机器学习框架比TensorflowSklearnPyTorch。
四、认识Byzer-LLM
Byzer-LLM是Byzer的一个拓展这个拓展最早出现于byzer 2.36版本也就是去年12月份出现的这个拓展就是为了让byzer拥抱现在火热的大模型。Byzer官方对Byzer-llm的定义是让用户可以端到端的完成业务数据获取处理finetune大模型多场景部署大模型等全流程。 该扩展的目标也是为了让企业更好的将业务数据注入到私有大模型开源或者商业。 图4 byzer-llm模型能力
4.1 Byzer-llm拓展的安装
Byzer-llm是基于byzer-lang因此需要首先安装好byzer-lang其次需要安装Ray。Ray 是一个专门执行人工智能框架的分布式执行引擎让开发者仅需添加数行代码就能轻松转为适合于计算机集群运行的或单个多核心计算机的高性能分布式应用而不需要用户关心那些调度、数据传输和硬件错误等问题。Ray 与 TensorFlow、PyTorch 和 MXNet 等深度学习框架互相兼容。怎么安装ray呢很简单只需要在conda环境下执行pip install就行了不过需要注意的是byzerllm目前仅支持ray2.5版本的。安装好Ray之后可以在命令行启动 ray start --head 之后会在本地8275端口进入ray集群的控制面板在面板上可以看到集群的信息包含节点存活状态、日志、内存CPU占用情况等。之后需要下载byzer-llm.jar包放到byzer安装目录的plugin目录下。特别需要注意的是需要在安装有ray的conda环境中运行byzer-llm后续需要其他pip 包也要安装在这个conda环境中。
4.2 Byzer-llm能够干什么
4.2.1 帮助企业构建一个统一的数据中台
数据中台是数据分析师算法工程师研发人员产品部门运营甚至老板日常工作的集中式的控制台数据中台不干涉其他部门 API 定义的情况下提供全司视角的也包括外部 API的 API 服务视图。随着大数据、人工智能、云计算等技术的迅速发展云基础设施、基础软件、算法模型等都逐渐完善和成熟业界对数据平台的效率诉求是越来越高低效的跨平台数据运转逐渐成为工程师落地数据平台和完成 AI 工程化的痛点。但是无论是从更换基础设施入手还是换上更易用的框架又或是招聘更优秀的研发人才都无法做到大幅度的效率提升。Byzer官方相信只有在编程语言层面进行革新才能从根本上提高数据平台落地和 AI 工程化的效率。Byzer 作为一门低代码的开源编程语言可以在语言层面将数据处理链路、AI 工程中的复杂操作以及权限管控进行抽象同时降低编程语言的学习成本和上手成本从而帮助企业真正将效率提升上来。
4.2.2 基于开源大模型或者大模型的SaaS服务搭建自己的大模型
Byzer也可以助力深度学习领域让每家公司都可以将自己的业务数据注入进商业或者开源大模型完成私有化大模型应用。
比如现在要基于开源模型微调出一个属于自己的图片分类模型首先可以将自己的数据集上传到数据湖中数据湖支持将数据分布式存储。由于数据湖中的数据是公共的因此这份数据集可以统一管理起来比如公司有自己的数据采集标注人员、有模型开发人员这两类人员可以通过数据湖的数据管理功能而使数据能够及时、准确地在不同工作人员之间流通。
不仅是数据管理Byzer还支持仅需简单配置即可实现多机多卡模型训练能够帮助工程师充分调动训练大模型所需的算力。模型训练完毕之后还支持一键部署极大加快一款产品的开发流程。因为使用Byzer,可以使用它自有的语法类SQL语言连接任何业务库获取数据,加工数据,并且注入到大模型内进行fintune,然后一键部署成函数封装成API供其他人调用。 并且Byzer 也对有很好的Python支持完全可以在Byzer平台上使用Python语言进行算法开发但是也可以使用Byzer的语法在只懂SQL的基础上完成上述工作。比如模型和数据都可以统一保存成表方便管理避免到处手动拷贝数据模型等等。
它还支持从单机到分布式部署支持GPU调度可以根据用户需求随时进行算力和存储的扩展。
4.2.3 助力大模型微调
可以从数据处理、模型训练、算法部署层面助力大模型微调或者助力企业将自己的数据、知识、业务注入进大模型从而构建自己的私有大模型。
以官网给出的百川大模型为例。看一下微调流程。
首先,值得注意的是截止到2023年7月Byzer官方测试过的可微调的大模型有三个chatglm2、baichuan、falcon。而且截止到2023年7月Byzer-LLM 大模型微调支持两种QA格式的数据。 图5 QA格式
一个是 Alpaca 格式 图 6 Alpaca数据格式
另一种是MOSS格式 图 7 MOSS数据格式
第一步加载数据和模型 第二步配置模型微调参数 训练好之后保存即可。
上面的训练案例仅仅指定了最大输入长度其实在微调过程中还有很多参数可以指定
