厦门建站网址费用,比较好的摄影网站,wordpress企业主题下载,工作1年半胖40斤一 sql gateway
注意 之所以直接启动gateway 能知道yarn session 主要还是隐藏的配置文件#xff0c;但是配置文件可以被覆盖#xff0c;多个session 保留最新的applicationid
1 安装flink #xff08;略#xff09;
2 启动sql-gatway(sql-gateway 通过官网介绍只能运行…一 sql gateway
注意 之所以直接启动gateway 能知道yarn session 主要还是隐藏的配置文件但是配置文件可以被覆盖多个session 保留最新的applicationid
1 安装flink 略
2 启动sql-gatway(sql-gateway 通过官网介绍只能运行在session 任务中)
2-1 启动gateway 之前先启动一个flink session ./bin/yarn-session.sh -d 2-2 启动命令 ./bin/sql-gateway.sh start -Dsql-gateway.endpoint.rest.addresslocalhost 2-3 查看日志观察是否启动成功 查看日志出现这个条信息就证明已经找到了flink session applicationId
可以观察到 yarn-properties-yarn 文件中存在一个session applicationId 这个applicationId是覆盖关系当启动多个session 的时候 这里只保存最新创建的那个 [图片] Sql-gateway 默认端口是8083 启动成功后可以通过http 方式进行访问 [图片]
3 Flink 原生支持 REST Endpoint 和 HiveServer2 Endpoint。
SQL Gateway 默认集成 REST Endpoint。由于架构的可扩展性用户可以通过指定 endpoint 来启动 SQL Gateway。我们测试是rest 加gateway jdbc方式。
4 Rest api 提交任务
4-1 获得一个 session 这里的session 的意思是当前连接草的人获取的一个唯一编码当拿到这个sessionid后后续所有的所有操作都跟他关联。 [图片] 4-2 提交一个任务黄色框 是上一步获取的sessionid 蓝色框是需要提供的sql 任务绿色框是提交任务后获取结果的一个唯一编码 [图片] 4-3 获取结果 [图片]
二 gateway jdbc
1 环境准备 flink-jdbc-driver-bundle-1.18.jar放到 {HIVE_HOME}/lib 目录中
2 beeline 连接 地址为上一步启动的sql getewat 地址
2-1 beeline 2-2 beeline !connect jdbc:flink://xxx.xxx.xxx.xxx:8083 当出现这种日志连接成功 [图片]
3 创建一个 hdfs 表 并且插入数据
CREATE TABLE D(a INT, b VARCHAR(10)) WITH (connector filesystem,path hdfs:///tmp/T.csv,format csv
);4 gatway jdbc 查看hive 数据
1 环境准备 将{HIVE_HOME}/ hive-exec-3.1.0.3.1.4.0-315.jar /hive-exec.jar /libfb303-0.9.3.jar 三个jar 移动到{flink_home}/lib 中
2 上传hive conf目录 配置文件到hdfs 中
[图片]
3 创建hive catalogs
CREATE CATALOG hive_catalog WITH (type hive,default-database default,hive-conf-dir hdfs:///tmp/hiveconfig
);4 切换 catalogs
use catalog hive_catalog;5 查看并查询hive 数据 [图片]
