网站logo代码,大型门户网站程序,logo灵感网站,黄山网站建设推荐前些天Hive查询的接口一直超时报警#xff0c;登录上去查看发现这个超时报警的曲线很有规律#xff0c;每个小时开始就出现#xff0c;过了大约3分钟左右就好了.在这个期间里#xff0c;也发现hive根本就执行不了#xff0c;完全hang住了#xff0c;机器负载#xff0c;… 前些天Hive查询的接口一直超时报警登录上去查看发现这个超时报警的曲线很有规律每个小时开始就出现过了大约3分钟左右就好了.在这个期间里也发现hive根本就执行不了完全hang住了机器负载HDFS,Jobtracker的负载响应都完全正常立刻查看下日志发现几点1.对比其他时间的同一个job发现两个时间点的上传job文件到hdfs以及mapreduce的执行时间完全一致也就是说排除了hdfs,jobtracker的问题2.出问题时hive的执行基本阻塞在Initialized ObjectStore部分那么基本猜想就是MySQL出问题了查看MySQL的监控日志发现果然每到这个时间点都会出现highsession找到一个时间点用percona的工具分析了一下slow log发现了最终的元凶 原来是每个整点都会执行一次backup但是在backup之前会有一个分析的query也在跑cronmysqldump在backup之前会先进行flush table但是由于那个long running query在导致flush table一直在等待从而导致后来的所有操作都在waitingfor flushing table.找到原因就好办了把备份迁移到从库另外优化那个long running query,解决. 转载于:https://blog.51cto.com/boylook/1367256
