定西网站建设,wordpress简约清爽主题,网站seo平台,沈阳微信网站2019独角兽企业重金招聘Python工程师标准 HDFS操作文件的基本命令 1.创建文件夹 $hdfs dfs -mkdir /user/centos/hadoop 2.展示目录 $hdfs dfs -ls -r /user/centos/hadoop 3.递归展示 $hdfs dfs -lsr /user/centos/hadoop 4.上传文件 $ HDFS操作文件的基本命令 1.创建文件夹 $hdfs dfs -mkdir /user/centos/hadoop 2.展示目录 $hdfs dfs -ls -r /user/centos/hadoop 3.递归展示 $hdfs dfs -lsr /user/centos/hadoop 4.上传文件 $hdfs dfs -put index.html /user/centos/hadoop 5.下载文件 $hdfs dfs -get /user/centos/hadoop/index.html a.html 6.删除文件 $hdfs dfs -rm -r -f /user/centos/hadoop ---------------- HDFS存储 500G 文件 1024G 2T/4T 文件 切割。 //切割 block: 切割128M 原因 让寻址时间占用读取时间的1%. 寻址时间:10ms左右 磁盘速率 : 100M /s【磁盘I/O】 HDFS 文件存储 128M的切割分块。 如果配置了备份数则按照备份数进行备份 放到各个数据节点 size 181260798 block-0 : 134217728 block-1 : 47043070 -------------------- b0.no : 1073741829 b1.no : 1073741830 找到所有的配置文件 ---------------------- 1.tar开hadoop-2.7.3.tar.gz hadoop-2.7.3\share\hadoop\common\hadoop-common-2.7.3.jar\core-default.xml 文件存放位置 fs.defaultFSfile:/// hadoop-2.7.3\share\hadoop\hdfs\hadoop-hdfs-2.7.3.jar\hdfs-default.xml 文件副本数 dfs.replication hadoop-2.7.3\share\hadoop\mapreduce\hadoop-mapreduce-client-core-2.7.3.jar\mapred-default.xml hadoop-2.7.3\share\hadoop\yarn\hadoop-yarn-common-2.7.3.jar\yarn-site.xml 2.配置[core-site.xml]文件 configuration property namefs.defaultFS/name valuehdfs://s201//value /property !--- 配置新的本地目录 -- property namehadoop.tmp.dir/name value/home/centos/hadoop/value /property /configuration --------基本思路------------------------ 1.hdfs dfs -mkdir /usr/centos/hadoop : 创建文件夹 2.hdfs dfs -lsr /usr/centos/hadoop 查看文件目录 3.hdfs dfs -put index.html /usr/centos/hadoop : 上传文件index.html 到 /usr/centos/hadoop 4.通过上传文件到hdfs后, namenode名称节点通过slave配置datanode数据节点后 nn名称节点的hdfs-site.xml中配置了副本数nm(名称节点)的hdfs-site.xml中配置数据存放位置。如果上传的文件 大于128Mhdfs将会对文件进行切割每块blcok128M[为了满足 寻址时间为读取文件是的的 1%]。 转载于:https://my.oschina.net/u/2870118/blog/3014575
