广西建设职业技术学院官方网站,网站要用什么软件做,百度软件下载,手机与pc网站同步模板数据源 再次#xff0c;我们进入“数据源”管理模块。该模块用于管理我们在进行数据处理或分析时所需要的所有数据源。在定义任何的数据流程读写工作之前#xff0c;必须先通过数据源管理模块创建出对应的数据源。数据源可以是我们需要进行数据处理时#xff0c;原始数据所在…数据源 再次我们进入“数据源”管理模块。该模块用于管理我们在进行数据处理或分析时所需要的所有数据源。在定义任何的数据流程读写工作之前必须先通过数据源管理模块创建出对应的数据源。数据源可以是我们需要进行数据处理时原始数据所在的存储系统也可是我们处理完的数据要写出或者进行二次读取的存储系统。HuggingFists支持的存储系统如界面所示包括数据库、文件系统、事件流以及应用系统四类。其中事件流在社区版中没有放开。但可以将其简单理解为提供对类似Kafka这样的消息队列数据源的管理。我们可以在社区版中看到其它三类数据源。
数据库数据源 数据库数据源列表 Milvus数据库浏览 数据库数据源是最为大家所熟知的他在同类型的数据科学工具最为常见的。传统面向结构化数据处理的数据科学工具对此类数据源支持的都极为丰富除了关系型数据库外也拓展了诸如HBase、ElasticSearch、MongoDB等NOSQL类型的数据库。HuggingFists在这方面也在不断完善目前也支持了包括云端数据库Snowflake在内的20种数据库类型限于安装包的大小社区版预置了少数几种。如需其它类型的数据库可通过后面介绍的连接器库管理导入对应的数据库连接器即可。为了更全面的支持AI领域的应用HuggingFists目前支持了Milvus向量库以及腾讯的云向量库。使用者可以使用向量库搭建RAG或图像检索等不同的应用。HuggingFists为其集成的所有数据库都提供了一致操作及查看界面可以极大的降低使用者的学习成本当然也牺牲了部分数据库的特点。使用者不能将HuggingFists的数据库管理模块预期为一个专业的数据库管理工具其定位更多是为了让用户能够对待处理与分析的数据有一个初步的了解。能够对数据进行简单的浏览及查询。HuggingFists对其支持的所有数据库都有通过SQL语句进行检索的能力即使数据库本身没有。SQL语法兼容SQL92的语法结构但由于数据库本身的构造差异所以其提供的SQL语法带有很大程度的数据库特色。比如Milvus以及腾讯云向量库的SQL语法。HuggingFists采用的SQL语法集成的是数由科技的开源项目“moql-transx”。可以通过该项目了解各数据库的SQL语法详细介绍。
文件系统数据源 文件系统数据源列表 HDFS文件系统浏览 文件系统数据源是为所有用户更熟知的一类数据源但该类数据源在传统的数据科学工具中却鲜有支持。因为结构化数据是不需要太关注这类数据源的。但最近几年出现的FiveTran、Matillion等几款新ETL工具以及部分RPA(机器人自动化)工具都有对文件系统数据源有了支持。但这些支持更多是算子级别的就是可以在流程定义中读写这些数据源但是无法通过界面对数据源进行浏览及管理。HuggingFists则提供了文件系统的管理功能支持对云文件系统、分布式文件系统以及远程文件系统等进行目录浏览、文件浏览、文件上传、下载等操作。基本兼容使用者在使用本地文件系统时的操作体验方便使用者对文件系统型数据源进行直观的了解。通过对文件系统型数据源的支持HuggingFists建立了对非结构化数据处理与分析的基础。支持通过文件系统读取、写出各种类型的文件并通过流程管理模块完成数据处理与分析流程的搭建。HuggingFists系统安装后会内置一个缺省的文件系统数据源。社区版系统安装完后会将本地文件系统的特定目录预置为HuggingFists的内置文件系统HuggingFists内的读取/写出类算子会缺省以内置文件系统作为读取/写出的目标。而企业版的HuggingFists系统则支持将HDFS设置为内置的文件系统。
应用系统数据源 应用系统数据源列表 HuggingFace数据源浏览 应用系统数据源用于提供对各类应用系统数据源的简单浏览功能。如GitHub、HuggingFace、Tushare、Shodan等。HuggingFists将这些网站或应用视为一类数据源并针对它们预置了部分连接器。可通过这些连接器创建数据源完成对网站或应用的数据浏览和检索。对于提供了API接口的应用HuggingFists将每个API接口视为一个数据对象通过应用数据源界面可以浏览到数据源内的所有API数据对象。选中某个API数据对象可填充参数并发起对API的检索请求并向使用者展示返回结果。
小结 通过HuggingFists的数据源管理模块使用者可以一站式的浏览和管理散布在本地、局域网或者互联网上的各类数据。这将给予使用者极大的帮助不必切换工具就可将数据尽收眼底。
账号管理 创建绝大部份数据源时我们都需要有一个必须填充的信息就是“认证信息”。这些认证信息在很多情况下会有复用的情况。比如创建MySQL数据源时我们为不同的数据库建立一个数据源但是其认证信息可能是复用的。分别为每个数据源都设置一遍认证信息即增加了认证信息泄漏的风险又增加了认证信息的维护成本。一但密码或者Access Token变更了需要将所有相关数据源都调整一遍。数据源少的时候这个维护成本还好承担一旦数据源多起来就容易搞乱、搞错了。为此HuggingFists提供了一个统一的账号管理模块。该模块负责管理系统中的所有认证信息包括数据源相关的认证信息以及算子访问外部API时所需的认证信息。 点击界面右上角的”user_name”-”个人设置”-”资源账号”进入账号管理模块。 资源账号列表 在账号管理模块中可以分组查看使用者创建的所有账号。使用者可通过“新建账号”按钮选择对应的账号模板添加账号。使用者可以不必关注数据源或API接口的认证方式不需要关心是用户名/密码认证还是OAuth2认证只需要按照账号模板给出的信息提示填充即可。 账号模板是可扩充的其随着连接器和算子的注册添加而同步扩充。
