深圳网站建设如何制作,wordpress活动报名插件,vue单页面做网站加载慢,整合营销的概念2015.07.12笔记 1.HDFS Distributed File System#xff08;操作系统实现人机交互#xff0c;最重要的功能是文件管理#xff0c;使用文件管理系统#xff0c;windows、Linux文件管理系统有共性#xff1a;用户可创建文件/夹#xff0c;删除#xff0c;修改权限#xf…2015.07.12笔记 1.HDFS Distributed File System操作系统实现人机交互最重要的功能是文件管理使用文件管理系统windows、Linux文件管理系统有共性用户可创建文件/夹删除修改权限修改源数据信息创建、修改、访问时间等。在操作系统中的文件或者数据的管理是通过文件系统实现的文件系统是操作系统实现文件管理的一个重要的组成部分操作系统将文件放置到硬件硬盘服务器能有一万多兆当中进行管理。在服务器中数据的储存管理是通过我们写的程序进行管理当数据量多时可在硬盘插槽增加硬盘6个插槽可分散到多个系统上用户不需知道文件存储在哪个IP上如www.Baidu.com域名对应到多台服务器DFS分布式文件系统是数据分布在很多个文件系统而DFS对应的是一个操作系统数据量多用户操作不方便DFS分布式文件系统凌驾在操作系统所辖的文件管理系统中 数据量越来越多在一个操作系统管辖的范围存不下了那么就分配到更多的操作系统管理的磁盘中但是不方便管理和维护因此迫切需要一种系统来管理多台机器上的文件这就是分布式文件管理系统 。 是一种允许文件通过网络在多台主机上分享的文件系统可让多机器上的多用户分享文件和存储空间。 通透性。让实际上是通过网络来访问文件的动作由程序与用户看来就像是访问本地的磁盘一般。 容错。即使系统中有某些节点脱机整体来说系统仍然可以持续运作而不会有数据损失。 分布式文件管理系统很多hdfs只是其中一种不合适小文件通过一定的策略将小文件变成大文件。实现文件管理 HDFS的Shellhdfs存储的都是大数据shell是Linux操作系统的组成部分hdfs属于hadoop软件的组成部分在shell中使用特定命令调用hdfs接口中的命令ls蓝色字体是文件夹绿色是文件 调用文件系统(FS)Shell命令应使用 bin/hdfs dfs xxx 的形式。 所有的FS shell命令使用URI路径作为参数。 URI格式是scheme://authority/path。HDFS的scheme是hdfs对本地文件系统scheme是file。其中scheme和authority参数都是可选的如果未加指定就会使用配置中指定的默认scheme。 例如/parent/child可以表示成hdfs://namenode:namenodePort/parent/child或者更简单的/parent/child假设配置文件是namenode:namenodePort 大多数FS Shell命令的行为和对应的Unix Shell命令类似。 安装好绿色文件是用于批量启动hadoop写的文件照着写 2.apache hadoop目录结构 查看的脚本文件在java线程概念里面的方法set daemon给它传个true就可以让其变成精灵进程精灵进程不停跑 查看进程 bin sbin 很重要(bin系统操作命令存放的都是命令脚本有两类.cmd是在windows下面的命令sbin系统维护运营) share(通过路径加载jar包) logs 文件(学会看日志分析日志log历史日志out是当前日志) 通过hdfs操作 hdfs 用法中括号表示可选安装hadoop改的配置文件可单独放到单独的文件夹中--config confir适用于很多变化的环境工作环境使用的是默认目录下的配置文件空格加command dfs是在被支持的文件系统支持下运行一个文件系统的命令可参考Linux命令 3.HDFS dfs命令 可见文档 注意点启动进程的用户是super user可以做任何事情 在版本2中脚本没改才提示不用关心 Hadoop1下使用的是hadoophadoop2版本dfs执行结果一样 查看目录结构 bin/hdfs dfs -ls hdfs://192.168.80.100:9000/ -ls 后面跟的是hdfs访问路径在配置文件中设置过可跟主机名执行hostname查看端口9000是之前etc/Hadoop/core-site.xml文件配置的或IP9000后面的斜杠表示hdfs的根目录访问互联网必须通过通过协议http https ftp ls命令来自于 在配置etc/Hadoop/core-site.xml文件中设置过hdfs的访问路径 文件系统需组织结构Linux是树状结构hdfs的根目录跟Linux不一样 64位机装32位hadoop会出现警告信息学习没影响企业使用64位32位的对内存大小有限制软件最好通过源码编译成64位可以通过源码编译hadoop 操作系统64位hadoop是32位会提示错误 非常像Linux文件结构 4.常见HDFS命令 -表示没有副本数最后一次访问时间 大小单位是字节目录本身而言不含有数据所以大小为0后面是绝对路径如何知道这些信息 指的是文件夹 一级一级查看麻烦 注意是—RRecursively递归使用大写 -d普通格式输出 -h默认是字节加上后根据大小显示单位kM 简写,去掉hdfs://192.168.80.100:9000运行时被运行环境补充上了它是要找本地中是否有hdfs的配置文件如果有就将里面特定的值给补充上fs.defaultFS 通过执行命令区分 误以为是Linux(缺少目的地文件) -cat 文件系统就是原封不动存取数据mysql是文件管理系统 -put -cp从hdfs到hdfs -copyToFilehdfs拷贝到Linux -chmod chmod 777 用户/所在者所在组其他人常用的权限是文件夹755,默认创建文件644 ls什么都不跟默认/user/root 在hdfs下没有目录 currentUser的目录 转载于:https://www.cnblogs.com/liuyifeng/p/5229203.html
