移动微网站建设二维码,如何做采集网站,网站目录做301,WordPress托管如果使用插件Hive 接口介绍#xff08;Web UI/JDBC#xff09; 实验简介 本次实验学习 Hive 的两种接口#xff1a;Web UI 以及 JDBC。 一、实验环境说明 1. 环境登录 无需密码自动登录#xff0c;系统用户名shiyanlou#xff0c;密码shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubu… Hive 接口介绍Web UI/JDBC 实验简介 本次实验学习 Hive 的两种接口Web UI 以及 JDBC。 一、实验环境说明 1. 环境登录 无需密码自动登录系统用户名shiyanlou密码shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境实验中会用到桌面上的程序 XfceTerminal: Linux命令行终端打开后会进入Bash环境可以使用Linux命令Firefox浏览器可以用在需要前端界面的课程里只需要打开环境里写的HTML/JS页面即可GVim非常好用的编辑器最简单的用法可以参考课程Vim编辑器。EclipseEclipse是著名的跨平台的自由集成开发环境IDE。主要用来Java语言开发但是目前亦有人通过插件使其作为C和Python等语言的开发工具。 3. 环境使用 使用GVim编辑器输入实验所需的代码然后使用XfceTerminal命令行环境进行编译运行查看运行结果运行后可以截图并分享自己的实验成果实验楼提供的截图是后台截图无法作弊可以真实有效证明您已经完成了实验。 实验记录页面可以在“我的课程”中查看其中含有每次实验的截图及笔记以及每次实验的有效学习时间指的是在实验桌面内操作的时间如果没有操作系统会记录为发呆时间。这些都是您学习的真实性证明。 4. 其他 之前的实验中我们使用的是 Hadoop V2.4.1版本。 我们在测试的时候发现 Hive V1.1.0 在进行 Session 查询的时候需要 Hadoop V2.6 以上版本因此本次实验的 Hadoop 版本基于 V2.6.0 版本。由于已经修改 Hadoop 目录、Hive 目录为普通权限如果提示 hadoop 或 hive 为无效命令请 source /etc/profile 来使配置文件生效。 Hadoop 目录为 /usr/local/hadoop-2.6.0 Hive 目录为 /usr/local/hive-1.1.0 二、Hive 网络接口Web UI 1Web UI 简介 Hive Web UI 提供了图像化的操作界面通过 Hive Web UI 接口可以更方便、更直观地操作特别是对刚刚接触 Hive 的用户来说。Hive Web UI 具有一下特性 分离查询的执行 在命令行CLI下要执行多个查询就得打开多个终端而通过Web UI就可以同时执行多个查询还可以在网络服务器上管理会话 Session。 不依赖本地 Hive 用户需要安装本地 Hive就可以通过网络浏览器访问 Hive 并进行相关操作。如果想通过 Web 与 Hadoop 以及 Hive 交互那么需要访问多个端口。 2配置 hive-site.xml 修改 $HIVE_HOME/conf 目录下的 hive-site.xml 文件。 我们可以看一下默认配置是什么 我们只需要修改 hive.hwi.war.file你应该先在$HIVE_HOME/lib 目录下检查一下 hwi 的版本 结果令人吃惊的是居然没有那个 war 文件 只有一个同名的 jar 包没有 war 文件。解决办法是自行下载对应 Hive 的源码包再打包成 war 文件。 下载 Hive 源码注意这里是 src 包不是 bin 包。上次我们使用的是 1.1.0 版本 $ wget http://labfile.oss.aliyuncs.com/apache-hive-1.1.0-src.tar.gz 解压 $ tar zxvf apache-hive-1.1.0.src.tar.gz再进入 hwi 目录打包 war 文件注意命令末尾有一个点. $ cd apache-hive-1.1.0-src/hwi
$ jar cvfM0 hive-hwi-1.1.0.war -C web/ . 打包完成后有了我们需要的 war 文件再复制到 $HIVE_HOME/lib 目录下 $ cp hive-hwi-1.1.0.war /usr/local/hive-1.1.0/lib 另外我们还需要拷贝一个 Java 的 tools.jar 到 $HIVE_HOME/lib 目录下 $ cp /usr/local/jdk1.7.0_67/lib/tools.jar /usr/local/hive-1.1.0/lib 否则会出现类似于下面的错误因为 JAVA_HOME 指到$JAVA_HOME/jre 下了而其 lib下的 tools.jar 跟$JAVA_HOME/lib/tools.jar 不一样编译的时候需要用到后者 最后我们将 hive-site.xml 文件修改为 propertynamehive.hwi.war.file/name value/lib/hive-hwi-1.1.0.war/value descriptionThis sets the path to the HWI war file, relative to ${HIVE_HOME}. /description /property 3启动 hwi 在 $HIVE_HOME/bin 目录下启动 hwi由于我们之前已经修改了 Derby 为 MySQL 数据库所以在启动 hwi 之前请确保 MySQL 和 Hadoop 已经成功启动 $ hive --service hwi现在我们可以在浏览器中打开网络接口的地址localhost:9999/hwi, 启动成功 4Web UI 操作实例 数据库及表信息查询 在查询之前我们先新建一个 person表 以方便后续的查询操作。启动 Hive 后输入如下命令这个 table 只是一个示例你可以根据需要自己创建其他的 新建一个 txt 文件路径自定义比如我是 /home/hadoop/hive/person.txt写一些示例数据数据之间是以 \t 划分的实验中已经写好直接导入即可 再把数据导入到 person表 中 单击 Browse Schema 可以查看当前 Hive 中的数据库显示的是当前可以是使用的数据库信息只包含一个默认数据库default 再单击 default 就可以看到 default 数据库中包含的所有表的信息了这里有我们刚刚新建的 table : person表 点击 person 表即可看到具体信息。 Hive Session 查询 在进行查询之前我们需要新建一个 Session注意每次重启hwi后之前的 Session 将会失效。点击 Create Session 来新建 填入以下信息打框的必填 其中 Result File 为最后的查询结果文件 Query 为你的查询语句 Start Query 设为 YES表示开始查询 点击 Submit 提交后即可看到 View File 点击 View File 即可看到最后的查询结果 通过以上的学习我们可以了解到 Web UI 虽然提供了可视化的查询操作但最大的缺点就是用户不能实时了解查询的状态交互能力较差。 三、JDBC 在 Eclipse 中新建一个 Java 工程例如 HiveJdbc. 然后添加所需要的 jar 包右击工程依次选择 Properties - Java Build Path - Libraries - Add External Jars 来添加。所需 jar 包如下如不清楚你可以直接添加所有的 jar 包遇到没有权限添加的请拷贝 jar 包到其他有权限的目录再添加实验中已经拷贝到 /home/hadoop/hive 新建包和类添加如下代码 import java.sql.SQLException;
import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.Statement;
import java.sql.DriverManager;public class HiveJdbc {private static String driverName org.apache.hive.jdbc.HiveDriver; public static void main(String[] args) throws SQLException { try { Class.forName(driverName); } catch (ClassNotFoundException e) { e.printStackTrace(); System.exit(1); } Connection con DriverManager.getConnection( jdbc:hive2://localhost:10000/default, , ); Statement stmt con.createStatement(); String tableName hive_jdbc; stmt.execute(drop table if exists tableName); stmt.execute(create table tableName (key int, value string)); System.out.println(Create table success!); // show tables String sql show tables tableName ; System.out.println(Running: sql); ResultSet res stmt.executeQuery(sql); if (res.next()) { System.out.println(res.getString(1)); } // describe table sql describe tableName; System.out.println(Running: sql); res stmt.executeQuery(sql); while (res.next()) { System.out.println(res.getString(1) \t res.getString(2)); } sql select * from tableName; res stmt.executeQuery(sql); while (res.next()) { System.out.println(String.valueOf(res.getInt(1)) \t res.getString(2)); } sql select count(1) from tableName; System.out.println(Running: sql); res stmt.executeQuery(sql); while (res.next()) { System.out.println(res.getString(1)); } } } 从上述代码可以看出在进行查询之前需要做的工作有 通过 Class.ForName(org.apache.hive.jdbc.HiveDriver); 来注册 Hive 驱动 通过 Connection con DriverManager.getConnection( jdbc:hive2://localhost:10000/default, , ); 来与 Hive 数据库建立连接 运行之前需要启动 hiveserver但目前 Hive 摒弃了 hiveserver 转而改用了 hiveserver2反映在代码中有两点不同。一是driverName由 org.apache.hadoop.hive.jdbc.HiveDriver改成了 org.apache.hive.jdbc.HiveDriver 二是Connection 由 jdbc:hive://localhost:10000/default 改成了 jdbc:hive2://localhost:10000/default。 因此在运行程序前启动 hiveserver 也改成了启动 hiveserver2在 $HIVE_HOME/bin 目录下来启动。 最后程序运行结果如下 作业 Web UI 和 JDBC 两种接口有什么异同 参考文档 《Hadoop实战 第2版》陆嘉恒机械工业出版社Hive Web接口HWI的操作及使用hive jdbc 调用 转载于:https://www.cnblogs.com/yeahwell/p/4622842.html
