国外免费源码共享网站,网页制作程序书,网站优化的主要任务,如何更改网站域名一、问题描述#xff1a;
我们的 kafka 服务在更新#xff08;添加#xff09; ranger 权限时#xff0c;会有极低的概率导致 MM2 同步服务报错#xff0c;报错内容 Not Authorized。但是查看 ranger 权限是赋予的#xff0c;并且很早配置的权限策略也会报错。
相关组件…一、问题描述
我们的 kafka 服务在更新添加 ranger 权限时会有极低的概率导致 MM2 同步服务报错报错内容 Not Authorized。但是查看 ranger 权限是赋予的并且很早配置的权限策略也会报错。
相关组件版本
CDP : 7.1.7KAFKA: 2.5.0RAGNER: 2.0.0MM22.5.0
二、问题原因:
当高频更新 Ranger 策略时Ranger plugin 处理 delta update 的时候有一定几率触发丢失 Kafka 权限策略的问题导致个别权限没有被正确加载。
即我们在 ranger WEB UI 中看到我们的策略确实是已经配置但是实际上落实到各个服务的策略缓存时发生了丢失。
默认的缓存策略存放位置是在 /var/lib/ranger/ 目录下这里我以 kafka 为例kafka 的 ranger 缓存策略在
ls /var/lib/ranger/kafka/policy-cache/
kafka_cm_kafka.json kafka_cm_kafka_roles.json kafka_cm_kafka_tag.json 其中的 kafka_cm_kafka.json 就是存放我们实际的缓存策略的文件。
三、解决方案:
关闭 Ranger 组件的增量更新确认可以规避由此 bug 导致的权限丢失问题
四、操作步骤
1.更改策略更新配置 (改为全量更新)
1.集群 - Ranger - 配置 - 搜索conf/ranger-admin-site.xml_role safety_valve - 点击 “以 XML 格式查看”插入如下内容:
propertynameranger.admin.supports,policy.deltas/namevaluefalse/value/property
propertynameranger.admin.supports.tag.deltas/namevaluefalse/value/property2.修改 ranger admin JVM 内存 CM - 集群 - Ranger- 配置 - 搜索 ranger admin max heap_size - 修改配置 8G 3. 重启 ranger admin 和 mm2 服务。
四、如何获取 Ranger Policy HTTP 请求
CM -ranger- 配置 - 日志 - INFO改为 DEBUG
查看日志
http 请求如下:
http://mn.test.com:6080/service/plugins/secure/policies/download/cm kafka?supportsPolicyDeltastruepluginldkafkakafka-03.test.com-cm_kafkaclusterNameBigdata查看返回结果:
curl -o rangerdata -u admin:PsswOrd2021 1.5.4.5:6080/service/plugins/secure/policies/download/cm_kafka?supportsPolicyDeltastruepluginldkafkakafka-03.test.com/cm kafkaclusterNameBigdata## 查看大小
du -sh rangerdata 五、查看性能
查看修改配置后ranger 的性能。如堆内存使用率非堆内存提交等等。
问题解决
