网站备案为什么 没有批复文件,36kr源码WordPress,小程序商城开发公司哪个好,如何给网站增加关键词Java 操作 Hadoop
注意：本文内容基于 Hadoop 集群搭建完成基础上： Linux 系统 CentOS7 上搭建 Hadoop HDFS集群详细步骤 本文的内容是基于下面前提： Hadoop 集群搭建完成并能正常启动和访问Idea 和 Maven 分别安装完成需要有 JavaSE 基础和熟悉操作hadoop 的 hdfs dfs 命令…Java 操作 Hadoop
注意：本文内容基于 Hadoop 集群搭建完成基础上： Linux 系统 CentOS7 上搭建 Hadoop HDFS集群详细步骤 本文的内容是基于下面前提： Hadoop 集群搭建完成并能正常启动和访问Idea 和 Maven 分别安装完成需要有 JavaSE 基础和熟悉操作hadoop 的 hdfs dfs 命令 内容大纲 Maven 及 idea 中 Maven 相关配置 本地仓库阿里镜像JDK 编译版本 Java 操作 Hadoop 查询文件列表上传文件及应用案例读取文件内容新建文件及内容追加文件删除文件下载文件移动 配置 Idea 中的 Maven
配置 Maven 配置文件目录：maven 安装目录/conf/settings.xml 本地仓库阿里镜像JDK 编译版本 本地仓库
localRepositoryD:/Soft/apache-maven-3.6.3/repo/localRepository阿里镜像 默认下载的地址是国外网址，速度比较慢或不稳定，可以配置切换为阿里的网址 settings.xml 中找到mirrors节点，在节点中配置子节点mirror 配置如下： mirrors
!-- mirror| Specifies a repository mirror site to use instead of a given repository. The repository that| this mirror serves has an ID that matches the mirrorOf element of this mirror. IDs are used| for inheritance and direct lookup purposes, and must be unique across the set of mirrors.|mirroridmirrorId/idmirrorOfrepositoryId/mirrorOfnameHuman Readable Name for this Mirror./nameurlhttp://my.repository.com/repo/path/url/mirrormirroridnexus-aliyun/idmirrorOfcentral/mirrorOfnameNexus aliyun/nameurlhttp://maven.aliyun.com/nexus/content/groups/public/url/mirror--mirroridnexus-aliyun/idmirrorOfcentral/mirrorOfnameNexus aliyun/nameurlhttp://maven.aliyun.com/nexus/content/groups/public/url/mirror/mirrors配置 JDK 在 settings.xml 中找到 profiles 节点，在中间增加子节点profile 增加的内容如下： profileidjdk11/idactivationactiveByDefaulttrue/activeByDefaultjdk11/jdk/activationpropertiesmaven.compiler.source11/maven.compiler.sourcemaven.compiler.target11/maven.compiler.targetmaven.compiler.compilerVersion11/maven.compiler.compilerVersion/properties/profileJava 操作 Hadoop 查询指定目录下文件列表 — ls在 hadoop 上创建目录上传本地(windows) 上传到 hadoop下载 hdfs 上的文件到本地写出内容到 hdfs 指定文件中删除指定文件 准备 使用 idea 新建 maven 项目配置 pom.xml 在空工程下新建 module 配置 pom.xml:
?xml version="1.0" encoding="UTF-8"?
project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"modelVersion4.0.0/modelVersiongroupIdcom.wdzl/groupIdartifactIdhadoop04/artifactIdversion1.0-SNAPSHOT/versionpropertiesmaven.compiler.source17/maven.compiler.sourcemaven.compiler.target17/maven.compiler.targetproject.build.sourceEncodingUTF-8/project.build.sourceEncoding/propertiesdependenciesdependencygroupIdorg.apache.hadoop/groupIdartifactIdhadoop-hdfs/artifactIdversion3.2.0/version/dependencydependencygroupIdorg.apache.hadoop/groupIdartifactIdhadoop-client/artifactIdversion3.2.0/version/dependencydependencygroupIdorg.apache.hadoop/groupIdartifactIdhadoop-common/artifactIdversion3.2.0/version/dependency/dependencies/project注意：配置 pom.xml 完成后，一定要注意点击右上角的刷新按钮 现在对文件的操作成功与否，可以通过浏览器访问页面来查看 查询文件列表 用到的 Java 的 API ： org.apache.hadoop.conf.Configurationorg.apache.hadoop.fs.FileSystemorg.apache.hadoop.fs.FileStatusorg.apache.hadoop.fs.Path package org.wdzl;import org.apache.hadoop.conf.Configuration;
import
