微信、网站提成方案点做,网站建设当中的技术解决方案,网站制作 flash 修改,互助网站建设公司1、架构#xff1a; MPP#xff1a; MPP (Massively Parallel Processing)大规模并行处理#xff0c;最开始的设计目的是为了消除共享资源的使用。 MPP数据库是#xff1a;采用非共享架构#xff08;Shared Nothing#xff09;架构的分布式并行结构化数据库集群#xff…1、架构 MPP MPP (Massively Parallel Processing)大规模并行处理最开始的设计目的是为了消除共享资源的使用。 MPP数据库是采用非共享架构Shared Nothing架构的分布式并行结构化数据库集群跑的是sql。 MPP架构是将单机数据库节点组成集群每个节点拥有独立的磁盘和内存系统通过专用网络连接彼此、协同计算从而提供整体数据处理服务。 各节点都包含自己的存储和计算功能可以独立执行查询的一部分。 最后在内存里进行数据合并并将结果返回客户端。 每台机器的资源是独立的无共享 在设计上MPP架构优先考虑一致性Consistency其次考虑可用性Availability同时尽量做到分区容错性Partition Tolerance。 MPP技术优化点 1、在存储上基本采用的都是列存在巨量数据上具有更好的压缩性能。 2、在计算上选择向量化的计算引擎并利用cpu的simd指令集加速整个计算的速度。
Hadoop Hadoop是将多台机器的资源共享起来用于处理大规模数据和复杂计算问题。 SQL-on-Hadoop是将计算任务并发分散到多个计算节点上的计算底层处理是MR程序。 分布式架构是各节点都拥有自己的计算能力和存储资源能够实现场地自治单独运行局部应用程序。 数据在集群中全局透明共享且各节点之间都通过局域网或广域网相连但节点之间通信的开销较大因此在运算时需要尽量减少数据移动。 多台机器的资源共享起来 在设计上分布式系统通常会优先考虑分区容错性Partition Tolerance其次考虑可用性Availability尽量做到一致性Consistency。
2、使用场景 MPP MPP数据库适合存储高密度价值数据并且是长期存储和多次使用所以MPP并行数据库会花大量的精力在Load阶段把数据处理成适合分析格式。 带来的优点就是从查询速度快通常在秒级甚至毫秒级以内就可以返回查询结果。 适合替代现有关系数据机构下的大数据处理。 适合多维度数据自助分析、数据集市等。
Hadoop Hadoop分布式架构是将多台机器的资源共享起来,将计算任务并发分散到多个计算节点上计算主要用于处理大规模数据和复杂计算问题。 适合海量数据存储查询、批量数据ETL、非机构化数据分析(日志分析、文本分析)等。
3、优缺点 MPP 优点 1、MPP架构采用Non-Master部署节点对等的扁平结构将数据分散到多个节点上每个节点拥有独立的处理能力能够同时处理多个任务从而大幅提高数据处理性能。 2、MPP解决了单个SQL数据库不能存放海量数据的问题。 3、MPP架构可以通过增加计算节点、CPU和存储等硬件资源来实现横向扩展。 4、MPP适合替代现有关系数据机构下的大数据处理具有较高的效率。
缺点 1、存储不透明MPP架构对数据分片需要进行建模和设计使用某种算法将数据按照某种规则分割因此存储位置对用户来说不透明。 当进行查询时查询任务需要在所有数据节点上进行执行这增加了查询的延迟对于所查询的数据节点的故障处理也需要考虑到数据恢复的问题。 2、单节点瓶颈当进行并行计算时计算任务会被分发到所有节点上进行计算单节点瓶颈会成为整个系统短板容错性差可能会导致整个系统的响应缓慢。 3、分布式事务MPP架构由于节点之间分散存储远程调用在事务处理时会有延迟而一些事务操作需要跨越多个节点进行处理这时分布式系统的事务处理会变得很复杂影响系统的可扩展性。 4、集群规模当节点数达到100左右时MPP有些仍会遇到SQScalability的问题速度变慢或者不稳定。
Hadoop 优点 1、超大集群支撑SQL on Hadoop是利用Hadoop平台存储数据在其之上实现SQL查询引擎。最大的特点和Scalability非常好可以支持超过1000个节点的集群。 2、Hadoop在处理非结构化和半结构化数据上具备优势尤其适合海量数据批处理等应用要求。 缺点 1、Hadoop的很多查询需要做大量的数据扫描操作因此查询速度往往比MPP要慢而且支持的同时并发查询数一般也比较低。
