江门网站制作软件,结构优化设计,室内设计师联盟网站,深圳好网民名单出炉CYBERNETICS AND INFORMATION TECHNOLOGIES’24
论文原文下载地址#xff1a;原文下载
目录
1 引言
2 大数据概述
3 大数据的异构性
4 讨论整合方法
4.1 大数据仓库#xff08;BDW#xff09;
4.2 大数据联盟#xff08;BDF#xff09;
5 DW 和 DF 方法的比较、分…CYBERNETICS AND INFORMATION TECHNOLOGIES’24
论文原文下载地址原文下载
目录
1 引言
2 大数据概述
3 大数据的异构性
4 讨论整合方法
4.1 大数据仓库BDW
4.2 大数据联盟BDF
5 DW 和 DF 方法的比较、分析和结论
5.1 BDW
优点
缺点
5.2 BDF
优点
缺点
5.3 建议 1 引言
背景数字技术的发展和各种来源数据的涌入使处理异构大数据成为企业的一项重要任务[1]而这一任务的核心需要能够合并和评估这些数据以获得更深入的洞察力和有效的决策[1]。
传统的数据管理方法无法处理异构数据也无法处理各种数据源、格式和质量[1]。
因此企业需要利用先进的数据管理技术[1]采用综合方法。
本文
指出了相关的数据属性如速度、数量、真实性、多样性和价值举例说明了数据源的异构性如传感器数据、社交媒体和医疗保健信息。探讨了 现代企业 在管理异构大数据方面 面临的挑战和机遇。提出了异构大数据整合的两种方法数据仓库和数据联盟。讨论了它们作为整合、管理和分析异构大数据的策略各自的优缺点。对各种大数据的管理进行了调查。深入分析了处理异构大数据的复杂性和可能性。对于希望了解和充分利用异构大数据管理所带来的挑战和机遇的研究人员、专业人士和决策者来说这是一个资源库可帮助其做出明智决策和实现商业成功。 2 大数据概述
大数据是指组织目前正在处理的大量有组织且非结构化数据。
大数据产生来源传感器、电子商务交易和社交媒体。
随着技术的发展大数据的产生越来越多有必要使用更先进的技术对其进行存储、处理和分析。
大数据的主要特征包括5V
Volume [ˈvɒljuːm]数据量。处理和存储方案有使用分布式系统和云存储。 优势捕获大规模数据局限未考虑数据的实用性或质量Velocity [vəˈlɒsəti]数据生成、采集和处理的速度。在实时情况下数据产生的速度很快必须快速检查这些数据。处理数据方法有使用流处理和实时分析。 优势捕捉数据处理速度局限未考虑数据的实用性或质量variety [vəˈraɪəti]数据形式和来源的多样性。大数据包括结构化数据、半结构化数据和非结构化数据。处理数据方法有自然语言处理和计算机视觉。有人指出在处理一系列数据格式时有可能总是得到不准确的结果。 优势捕捉数据的多样性局限未考虑数据的实用性或质量Veracity [vəˈræsəti]数据的可信度和准确性。确保数据质量和准确性、完整性、可靠性和一致性要保证数据的可靠性具有很大挑战。处理数据方法有数据标准化和剖析等现代数据验证和清理流程。文献[36]提出了一种解决方案可有效处理真实性问题并显著减少大数据发生的次数。 优势掌握数据的质量和可靠性局限难以客观衡量Value [ˈvæljuː]数据的商业价值或影响。组织可以通过研究数据发现隐藏的模式和联系。开发 BDAC 能带来更好的决策和结果[39]。要想从数据中获得有意义的见解分析数据方法有预测建模和机器学习。分析数据工具和技术有Hadoop、Spark 和 NoSQL 数据库。 优势捕捉数据的有用性局限难以客观衡量
应用领域教育、医疗保健、金融、零售、电信和旅游。
庞大的数据集规模与异质性可能性的增加直接相关[62]这种关系是大数据的一个非常重要的方面。
3 大数据的异构性
异构大数据概念社交媒体数据、传感器数据、金融数据、医疗数据、客户数据、供应链数据、人力资源数据、环境数据、教育数据、交通数据和制造数据等种类繁多的数据被称为异构大数据。
数据来源结构化、非结构化和多媒体格式等。
处理异构数据的好处
可以全面了解当前的问题根据分析这些不同数据集所获得的见解做出更好的决策[67, 68]。
在处理异构数据时对来自多种不同格式、结构和模型的数据进行整合是一项挑战[64-66]
要有效管理和分析异构数据就必须掌握数据管理领域的专门技能、知识和先进技术[67, 69]。在同时管理众多数据类型时有可能获得不准确的结果[34]。解决因数据集异构性而产生的任何质量问题变得至关重要。
有几项研究强调为了获得有价值的见解从而取得商业成功和竞争优势必须采取综合方法数据的整合、预处理、分析、管理和语义整合来释放各种数据源的全部潜力。 4 讨论整合方法
数据集成概念是指合并和组合来自不同来源和格式的数据以创建统一、无缝视图的过程[104, 105]。
整合来自程序、数据库和文件系统的数据会给这一过程带来挑战[106]。
整合数据的困难大量数据来自不同来源结构各异且不断变化[107, 108]。
整合数据的挑战
连接记录映射模式融合数据 [109]提取、组合和交换信息以创建全面综合视图等任务
数据集成是一种程序性机制好处
为组织内部用户使用和访问数据提供便利提高可访问性促进对信息的理解防止任何潜在的丢失、确保数据的完整性和质量。有助于将存储在单个数据源中的数据更改与多个额外数据源持续同步[111]。
现有工作
[114]在工业物联网应用领域提出了一种实时大数据集成解决方案以解决物联网设备产生的数据异构问题。所提出的解决方案可管理多样化和异构存储库中的数据提取、处理和存储。[115]提出了一种强调数据集成系统特征的方法但没具体说明不同数据库之间的更新传播控制。使用了两种方法整合数据的解决方案 基于全局数据模式即使用统一模式整合多个数据库中的数据基于 “对等”网络概念即通过对等网络传播更新。[116]强调了数据迁移过程中的数据完整性并介绍了分类查询语言CQL将其作为一种可理解的语言用于数据传输和与复杂模式的交互。但未提及数据流集成。强调了合并异构数据集工具的必要性。[71]提出了一个框架可实现对物联网设备和传感器生成的数据进行监控并将其与历史数据进行整合。方法以 SQL 为基础旨在提高拥有不同数据模型的分布式数据存储库的可访问性和利用率。此外该框架还能让用户将物联网IoT设备和传感器生成的数据与已有的历史数据集无缝合并从而增强数据的可访问性和利用率。[117-121]对数据整合的最新方法进行了调查以解决大数据带来的问题。[122]利用更先进的索引技术实时处理高速数据使数据更易于分析是个挑战。[117]提出了几个数据集成问题 模式异构当各种数据源使用不同的模式表示同一主题时就会出现这种情况。数据冲突可能是由于数据不完整、数据不正确和过时的数据造成。[123]利用人工智能技术自动合并来自许多来源结构化或非结构化的大量数据。旨在根据数据的元数据分析数据以验证数据的相似性和可行的整合程度。采用了集成模块其结构具有适应性便于维护、部署和根据需要集成新的数据模型。
整合方法包括数据仓库、数据映射和数据联盟[124]。数据仓库和数据联盟是两种主流方案[125]。
4.1 大数据仓库BDW
与数据仓库DW相比大数据仓库BDW代表着一种进步。
BDW一种已被采用的用于整合大数据源的方法。包括为转换和加载的多个来源的数据建立一个存储库。 优点有助于将多个来源的数据整合到一个数据库中便于访问和分析为便于整合来自多个来源的异构数据建立一个强大的分布式数据仓库平台。
传统DW更适合于有组织的历史数据分析难以进行横向扩展因此要确保做到这一点颇具挑战性[128]。
实施 BDW 系统耗时且昂贵的原因是需要仔细考虑以下几个方面
数据建模复杂的映射复杂的转换程序
现有工作
[129, 130]开发了一种定制 BDW 架构旨在管理异构数据实现有效的大数据处理。[131, 132]BDWs 更容易横向发展并能实时分析数据。[133]提出了一种基于时空 BDW 的干旱数据管理架构。为了将数据加载到 Hadoop 系统中并行使用了 Apache Flume以加快数据摄取并提高整个系统的效率。[134]提出了一种支持大数据分析的 BDW 架构该架构能够自动或半自动地适应需求变化或数据扩展。[126]指出以互补的方式利用 Hadoop、Apache Spark、Data Lake 和 Delta Lake 等大数据技术和工具可有效增强和支持现有的 DW 系统。
这种集成不仅增强了可扩展性还有助于降低传统 DW 架构的建设成本。
数据仓库的概念是一种完善成熟的管理范式得到了广泛认可方法论的支持。
大数据领域仍处于发展阶段虽已有几种方法试图处理部分问题但大数据的全面集成解决方案尚未完全实现。 4.2 大数据联盟BDF
大数据联盟是指将分散在不同地点的数据源的数据进行组合和分析以创建统一视图从而进行高级分析和决策的过程[135]。
与将数据整合到一个地方的方法不同BDF 的目的将数据保留在其来源中使其易于在这些来源之间进行探索和分析。
BDF适用场景数据所有者关注隐私、安全和控制BDF避免了存储的需要而存储可能具有挑战性或不可取[136]。
BDF如何有效解决了访问不同数据源的难题通过将不同数据源映射到 RDF(S)/OWL 本体或关系模式等单一模式中允许在这种统一模式上运行 SPARQL 或 SQL 等查询 [135]。
现代数据管理系统通常包含联合查询应答工具 [137]。
联合查询回答的主要目标创建一种从数据源访问数据的一致方式而无需在中央存储库中重复数据。
实现这一目标的方法使用针对联盟内数据源的子查询并根据预定义规则评估其结果。
跨异构大数据源的数据联盟 在研究和行业中 都是一个活跃的领域。然而数据联盟系统仍然需要一个基础和既定原则[135]。
现有工作
[138] 基于本体的数据访问OBDA使用 Spark、Presto 和 OBDA 框架将数据源中的数据结合起来这样就可以使用 SPARQL 进行查询利用本体术语持续访问数据类型。[139] FEDSA一种针对执法场景中的查询需求而设计的数据联合解决方案。有助于收集和探索信息。[140]提出了一个框架其重点是在物联网IoT背景下分析数据。这种方法考虑到了物联网系统网络每个系统都有自己独特的数据模型。
5 DW 和 DF 方法的比较、分析和结论
5.1 BDW 优点 专为管理海量数据集而设计可扩展性强可通过横向和纵向扩展选项来处理数据增长。具有实时分析功能有助于基于数据做出决策。 缺点 过程非常复杂要求很高原因它需要整合各种来源的数据、进行巨大的数据转换和建模以确保数据完整性和稳健的管理这需要付出巨大的努力和额外的实施成本。
5.2 BDF 优点 可以减少数据转换的需要原因可以从多个来源获取数据创建一个虚拟的数据画面而无需进行物理整合。由于它是虚拟的不需要存储因此可以降低基础设施的成本。 缺点 执行需要从不同来源获取数据的查询时可能会遇到一些困难。 5.3 建议
企业需要
根据各自的目标和预算限制在这两种数据管理战略之间做出选择。考虑所需的大数据类型包括 基础设施要求实时分析能力可扩展性集成性复杂性实施成本
