php网站建设与维护,福州晋安区建设局网站,韩国网站 后缀,怎么申请自己公司的网址VAST Data公司正逐步从其商品化存储基础出发#xff0c;构建一套统一的AI堆栈系统#xff0c;致力于提供一站式AI解决方案。最近#xff0c;VAST公司的现场CTO安迪珀斯坦纳在一次简报中传达了这一战略方向。 VAST提供了分散式QLC单层闪存架构的并行、横向扩展文件型存储系统…VAST Data公司正逐步从其商品化存储基础出发构建一套统一的AI堆栈系统致力于提供一站式AI解决方案。最近VAST公司的现场CTO安迪·珀斯坦纳在一次简报中传达了这一战略方向。 VAST提供了分散式QLC单层闪存架构的并行、横向扩展文件型存储系统并在此基础上构建了一系列软件层包括数据目录、全局命名空间、数据库以及即将推出的数据引擎。早在生成式AI热潮爆发之前VAST就已聚焦于AI领域并带有Thinking Machines的理念。VAST的CEO兼联合创始人雷嫩·哈拉克曾表示“VAST数据平台提供了AI基础设施开启了通往自动化探索的大门能够解决人类面临的最复杂挑战。” 安迪·珀斯坦纳解释说许多VAST的客户项目专注于“相对传统且乏味的数据处理和预处理工作……往往是基于CPU的ETL工作负载。他们通常有一条包含多种不同技术的管线然后将这些技术拼接在一起最终目标是将数据转换成可以进行分析或者开始训练、推理的格式”。 目前存在的问题是“很多时候数据并不适合直接用于AI工作……所以他们需要对其进行处理”。人们花费大量时间在数据清洗、预处理和ETL上这通常是在基于CPU的集群环境中完成。 珀斯坦纳表示“我们的最终目标是让人们能够将所有杂乱无章、非结构化、不美观的数据带入我们的平台并对那些需要结构化的部分在无需先转移到其他地方进行转换的情况下直接导入我们的数据库中进行处理。” 珀斯坦纳透露VAST正在开发的数据引擎的第一部分“将在近中期实现即在平台上嵌入一个执行引擎或执行框架。这个执行框架主要基于Spark但我们还加入了许多优化元素使其更适合进行ETL处理”。预计几个月后会发布这项功能它将使客户能够就地处理数据并将其加载到数据库中进行分析。 展望未来VAST的目标是“尽可能地整合客户今天所做的一切无论他们在亚马逊或谷歌云端部署还是在本地部署亦或是将各种不同的系统和技术拼接起来我们都尝试尽量把这些东西整合在一起”。 这甚至可能不涉及存储。“我们在一些大规模部署项目中的客户拥有复杂ETL管线、数据预处理机制、执行引擎和数据库他们开始意识到他们已经拥有的就是一个能够执行许多这类任务的平台。”这意味着VAST平台。 珀斯坦纳指出“我们正与这些客户开展项目合作在某些情况下我们与客户的合作项目甚至不需要存储功能。他们真正需要的是处理数据并将数据转化为表格格式然后在上面运行分析的方法。” 他还谈到“我们非常兴奋地看到新的客户开始使用我们的数据库和数据引擎作为进入这些机会的杠杆。”在他看来“你会看到越来越多的客户只使用我们的数据库和数据引擎产品”。 当谈到GPU支持时他表示“部署VAST数据平台当然需要硬件但目前我们尚未在这一方面支持GPU……我们还没有实现对GPU调度方面的支持这意味着客户最初将在我们的数据引擎上部署基于CPU的工作负载这对于ETL处理、变换和基本功能的执行非常自然……很多这些工作并非人们传统意义上的AI但却构成了AI的重要组成部分。” 随着客户采纳这一平台他们将有一个可以存储所有数据的地方并在此基础上进行更高级别的分析和AI处理。之后VAST将进一步提升灵活性虽然珀斯坦纳无法给出具体的时间表但VAST的计划是最终能够管理和优化客户使用的各类硬件背后的处理环境。 许多客户已经建立了AI工作负载的安排。珀斯坦纳认为“与我们交流过的大多数大规模客户都已经有了调度器、编排层、ML Ops平台等各种工具。因此我们并不会建议他们全部替换掉现有的这些东西。这不切实际而且他们能够很好地管理自己的计算资源不需要我们插手。” VAST将首先针对特定工作负载进行优化。例如设想一个管道流程需要从多个源头摄取数据并将其加载到平台上进行处理转换为表格格式然后分配给一系列离散的任务。这不是一个通用框架而是一个相对特定的框架。 另外VAST还将开放让客户的消息总线直接将数据投递到VAST平台而无需经过另一层中介。客户通常围绕Kafka或其他类似的消息总线构建事件管道而VAST平台将允许Kafka直接与其数据库表进行集成这样客户可能不再需要单独管理Kafka系统或者即使管理也可以直接与VAST平台集成。 总体来看VAST的做法就像水位上升逐步吸收AI管道的底层阶段逐层整合不同软件组件同时不断提高舒适度。最终VAST有可能在VAST环境中直接进行AI处理也会涉及到GPU。但客户不会抛弃现有的上千个GPU服务器和Nvidia系统。然而未来VAST有可能将现有的GPU服务器融入到VAST系统中。 珀斯坦纳回应称“我认为你走在正确的轨道上但‘吸收’可能并不是我们最初会采用的方式。”他认为调度是一个切入点。客户使用调度器来保证GPU始终有足够的数据供给。这些数据可能分布在客户分布式环境的多个位置GPU服务和数据需求也需要流向GPU。VAST首先将允许客户在GPU集群上运行处理程序处理来自其他地方已摄取的数据只需以尽可能智能的方式在各处之间移动字节。VAST将利用其全局命名空间功能实现这一点。 珀斯坦纳表示“我们不想抛弃客户的调度器而是要与其进行集成。”VAST还会与Nvidia的ML Ops工具进行集成。其最终目标走得更远“我们的想法是客户无需了解所有细节他们不必知道是否有调度器甚至不必知道那里使用了何种硬件。他们只知道他们有数据并需要从中获取答案。因此我们的目标是让客户能够体验到黑盒式的便利无需了解各个组件的细节。但要达到这个目标还有很长的路要走。” 在超融合方面珀斯坦纳表示“早期我们非常注重战术层面确保我们的解决方案适用于主要集中在HPC和研究领域的客户。但现在随着我们在HPC、研究、企业、各种AI为核心的客户以及专注于AI的云服务提供商之间的不断演进和发展我们的重点转向构建一个能够让所有事情在一个地方发生的平台而不是聚焦于某个特定领域。” 我们提出“你们是否成为了一种新型的超融合公司” 对此珀斯坦纳在某种程度上表示赞同“如果你提到‘超融合’这个词很多人脑海中会出现一种既定的画面。”基本上类似于Nutanix风格的计算。 珀斯坦纳同意这一观点并补充道“对于我们而言如果使用‘超融合’这个词那应该是在数据平台的语境下而不是基础设施的语境。因为我们希望将所有相关学科整合到一起。”
