佛山网站制作平台,wordpress 颜色插件下载,如何启动wordpress,网站域名ip地址查询HDFS 是 Hadoop Distribute File System 的简称#xff0c;意为#xff1a;Hadoop 分布式文件系统#xff0c;是一种旨在在商品硬件上运行的分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是#xff0c;与其他分布式文件系统的区别很明显。HDFS具有高度的容错… HDFS 是 Hadoop Distribute File System 的简称意为Hadoop 分布式文件系统是一种旨在在商品硬件上运行的分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是与其他分布式文件系统的区别很明显。HDFS具有高度的容错能力旨在部署在低成本硬件上。HDFS提供对应用程序数据的高吞吐量访问并且适用于具有大数据集的应用程序。HDFS放宽了一些POSIX要求以实现对文件系统数据的流式访问。HDFS最初是作为Apache Nutch Web搜索引擎项目的基础结构而构建的。HDFS是Apache Hadoop Core项目的一部分是 Hadoop 核心组件之一作为最底层的分布式存储服务而存在。 一、特点
高容错硬件故障是正常现象而非例外。HDFS实例可能包含数百或数千个服务器计算机每个服务器计算机都存储文件系统数据的一部分。存在大量组件并且每个组件的故障概率都很低的事实意味着HDFS的某些组件始终无法运行。因此检测故障并快速自动地从故障中恢复是HDFS的核心目标。流数据访问在HDFS上运行的应用程序需要对其数据集进行流式访问。它们不是通常在通用文件系统上运行的通用应用程序。HDFS设计用于批处理而不是用户交互使用。重点在于数据访问的高吞吐量而不是数据访问的低延迟。POSIX提出了许多针对HDFS的应用程序不需要的硬性要求。在一些关键领域中POSIX语义已经被交易以提高数据吞吐率。支持大数据集在HDFS上运行的应用程序具有大量数据集。HDFS中的典型文件大小为GB到TB。因此HDFS已调整为支持大文件。它应提供较高的聚合数据带宽并可以扩展到单个群集中的数百个节点。它应该在单个实例中支持数千万个文件。一次写入多次读取HDFS应用程序需要文件一次写入多次读取访问模型。一旦创建写入和关闭文件除了追加和截断外无需更改。支持将内容追加到文件末尾但不能在任意点更新。该假设简化了数据一致性问题并实现了高吞吐量数据访问。MapReduce应用程序或Web爬网程序应用程序非常适合此模型。移动计算如果应用程序所请求的计算在其所操作的数据附近执行则效率会高得多。当数据集的大小巨大时尤其如此。这样可以最大程度地减少网络拥塞并提高系统的整体吞吐量。假设通常是将计算迁移到更靠近数据的位置而不是将数据移动到应用程序正在运行的位置。HDFS为应用程序提供了接口使它们自己更靠近数据所在的位置。高度可移植性HDFS是使用Java语言构建的任何支持Java的机器都可以运行NameNode或DataNode软件。高度可移植的Java语言的使用意味着HDFS可以部署在各种各样的机器上。运行于商业硬件上: Hadoop不需要特别贵的、reliable的可靠的机器可运行于普通商用机器可以从多家供应商采购 商用机器不代表低端机器。在集群中尤其是大的集群节点失败率是比较高的HDFS的目标是确保集群在节点失败的时候不会让用户感觉到明显的中断。
二、组成架构
HDFS采用主/从体系结构整个HDFS集群由一个Namenode和多个Datanode构成master-worker主从模式。Namenode负责构建命名空间管理文件的元数据等Datanode负责实际存储数据和处理来自系统客户端的读写请求。 群集中单个NameNode的存在极大地简化了系统的体系结构。NameNode是所有HDFS元数据的仲裁器和存储库。该系统的设计方式使用户数据永远不会流过NameNode。
具体来说HDFS由四部分组成HDFS Client、NameNode、DataNode和Secondary NameNode。
**HDFS客户端**就是客户端。 1、提供一些命令来管理、访问 HDFS比如启动或者关闭HDFS。 2、与 DataNode 交互读取或者写入数据读取时要与 NameNode 交互获取文件的位置信息写入 HDFS 的时候Client 将文件切分成 一个一个的Block然后进行存储。
**NameNode**即Master 1、管理 HDFS 的名称空间。 2、管理数据块Block映射信息 3、配置副本策略 4、处理客户端读写请求。
**DataNode**就是Slave。NameNode 下达命令DataNode 执行实际的操作。 1、存储实际的数据块。 2、执行数据块的读/写操作。
**Secondary NameNode**并非 NameNode 的热备。当NameNode 挂掉的时候它并不能马上替换 NameNode 并提供服务。 1、辅助 NameNode分担其工作量。 2、定期合并 fsimage和fsedits并推送给NameNode。 3、在紧急情况下可辅助恢复 NameNode。
三、文件系统命名空间 HDFS支持传统的分层文件组织。用户或应用程序可以创建目录并将文件存储在这些目录中。文件系统名称空间层次结构与大多数其他现有文件系统相似。可以创建和删除文件将文件从一个目录移动到另一个目录或重命名文件。HDFS支持用户配额和访问权限。HDFS不支持硬链接或软链接。但是HDFS体系结构并不排除实现这些功能。 尽管HDFS遵循FileSystem的命名约定但某些路径和名称例如/.reserved和.snapshot被保留。功能如透明加密和快照使用预约路径。 NameNode维护文件系统名称空间。对文件系统名称空间或其属性的任何更改均由NameNode记录。应用程序可以指定应由HDFS维护的文件副本的数量。文件的副本数称为该文件的复制因子。此信息由NameNode存储。 四、数据复制
HDFS旨在在大型群集中的计算机之间可靠地存储非常大的文件。它将每个文件存储为一系列块。复制文件的块是为了容错。块大小和复制因子是每个文件可配置的。
文件中除最后一个块外的所有块都具有相同的大小而在添加了对可变长度块的支持后用户可以在不填充最后一个块的情况下开始新的块而不用配置的块大小。
应用程序可以指定文件的副本数。复制因子可以在文件创建时指定以后可以更改。HDFS中的文件只能写入一次追加和截断除外并且在任何时候都只能具有一个写入器。
NameNode做出有关块复制的所有决定。它定期从群集中的每个DataNode接收心跳信号和Blockreport。收到心跳信号表示DataNode正常运行。Blockreport包含DataNode上所有块的列表。
