如何发布网站教程,网站板块模板,全国建筑四库一平台,网站权限之前遇到过一个问题#xff0c;在进行Hive的元数据采集时#xff0c;因为Hive表的文件已经被删除了#xff0c;当时是无法删除表#xff0c;导致元数据采集也发生了问题#xff0c;所以希望通过删除Hive表的元数据解决上述问题。
之前安装时#xff0c;经过特定的配置后…之前遇到过一个问题在进行Hive的元数据采集时因为Hive表的文件已经被删除了当时是无法删除表导致元数据采集也发生了问题所以希望通过删除Hive表的元数据解决上述问题。
之前安装时经过特定的配置后Hive上所有元数据均保存在Mysql中所以可以从Mysql上删除表相关信息即可删除hive表而且不会影响Hdfs上数据。
解决方法
1、Hive在Mysql上的相关元数据表关系图 2、先在Mysql中建存储过程
DELIMITER $$
ROLLBACK;
DROP PROCEDURE IF EXISTS P_TBL_DATA_DEL$$
CREATE PROCEDURE P_TBL_DATA_DEL(i_tbl_name varchar(100) -- 表id
,out o_outcode integer -- 输出代码
,out o_outmsg varchar(500) --输出信息
COMMENT从mysql数据库中制除Hive的元数据信息
label_prot:
BEGIN/*** 存储名称: 从MySQL数据库中删除Hive元数据 ** 文件名称: P_TBL_DATA_DEL.sql ** 调用示例call P_TBL_DATA_DEL(tablename,o_outcode,o_outmsg); ***/
-- 自定义变量
DECLARE v_sd_id int;
DECLARE v_part_id int;
DECLARE v_cd_id int;
DECLARE v_serde_id int;
DECLARE v_tbl_id int;
DECLARE v_tbl_name varchar(100) ;
-- 异常声明
DECLARE EXIT HANDLER FOR SQLEXCEPTION
BEGIN
SET o_outcode -1;
SET o_outmsg failuro;
END;
-- 初始化变量
IF
i_tbl_name IS NOT NULL THEN
SET v_tbl_name i_tbl_name;
ELSE -- 否则默认赋值0
SET v_tbl_name 0;
END IF;
-- START TRANSACTION
-- todo begin
-- 根据表名获取表ID
select TBL_ID into v_tbl_id from tbls where TBL_NAME v_tbl_name;
-- 根据表ID获取存储配置ID(SDS.SD_ID)
select SD_ID into v_sd_id from tbls where TBL_ID v_tbl_id;
-- 根据表ID获取分区ID(PARTITIONS.part_id)
select part_id into v_part_id from partitions where tbl_id v_tbl_id
-- 根据存储配置ID获取表字段信息和序列化类配置ID
select cd_id,serde_id into v_cd_id,v_serde_id from sds where sd_id v_sd_id;
-- 册除表属性信息数据
delete from table_params where tbl_id v_tbl id;
-- 删除表信息数据
delete from tbls where tbl_id v_tbl_id;
-- 删除文件存储的基本信息数据
delete from sds where sd_id v_sd_id;
-- 删除序列化属性信息数据
delete from serde_params wheras serde_id v_serde_id;
-- 删除存储序列化使用的类信息数据
delete from serdes where serde_id v_sd_id;
-- 删除表的字段信息
delete from colum ms_v2 where cd_id v_cd_id;
-- 判断是否v_part_id值是否为空如果不为空表示分区属性和表分区字段值表有值进行删除
IF v_part_id IS NOT NULL THAN
-- 删除分区属性信息
delete from partition_params where part_id v_part_id;
-- 删除分区字段值表数据
delete from partition_key_vals where par_id v_part_id;
END IF;
-- 删除分区信息数据
delete from partitions where tbl_id v_tbl_id;
-- 删除分区字段信思
delete from partition_keys where tbl_id v_tbl_id;-- 处理成功后的返回值
SET o_outcode 0;
SET o_outmsgsucce;
END
$$
DELIMITER;
2、备份Hive的元数据库
3、删除备份表的外键信息
4、执行存储过程即
call P_TBL_DATA_DEL (‘需要删除的表英文名’,o_outcode,o_outmsg);
5、将删除的外键添加回去
6、验证表hive中表是否还存在即是否删除成功。
