网站建设原则,综合门户网站是什么意思,天凡建设股份有限公司网站,盐城代运营1.简单问题
1. HDFS的优点#xff1f;
处理大数据容易扩展#xff0c;直接加服务器高容错#xff0c;多副本低要求 不需要优秀的服务器#xff08;负载均衡#xff09;
2.HDFS的缺点#xff1f;
不适应实时 #xff0c; 修改速率相对较慢#xff08;只能追加#…1.简单问题
1. HDFS的优点
处理大数据容易扩展直接加服务器高容错多副本低要求 不需要优秀的服务器负载均衡
2.HDFS的缺点
不适应实时 修改速率相对较慢只能追加无法对小数据进行大量的存储因为NN的容量是一定的不支持并发写入文件随机修改同时只能一个线程对文件进行写操作 只能追加写
3.说说HDFS的结构
NNNameNode 存储元数据和目录处理客户端的读写请求DN(DataNode) 存储数据块和校验和执行数据块的读写操作S NN 备份NN对元数据进行更新操作滚动日志fsimage客户端自己将文件切割称相应的块然后上传。 与NN进行交互获取块。与DN进行交互执行操作。
4.HDFS文件块大小设定
与寻址时间有关默认寻址时间为传输时间的百分之一为最优 假设10ms找到目标 10ms/0.01 1s 1s*磁盘传输速率就是块大小 默认是128
5.为什么块不能太大也不能太小
大设置太大磁盘传输时间明显大于定位块的时间因为块大了块总数就相对少了寻址时间相对少很多而块过大磁盘传输时间变大。 小块总数变多寻址时间增大了。
2.读写解析
1.HDFS是怎么进行写操作的?
客户端向NN发起请求(要传入目标路径)请求上传因为要判断是否有权限上传NN收到请求并校验(校验目标路径和权限z)回应说可以上传客户端请求上传第一个块要求返回DN(注意块是一个一个上传的)NN收到发送3个DN根据备份个数客户端先和3个DN进行交互检测是否连接成功DN返回应答客户端对DN串行发送块数据并行保存。(C-D1-D2-D3)
2.读操作
客户端向NN发送请求要求读数据下载NN回应将元数据发送过去客户端向DN请求块优先级是就近原则但是也是并行读DN发送数据给客户端以packet为单位校验客户端以packet为单位接收先在本地缓存然后写入文件
