kyuubi提交任务异常报错Unauthorized connection for super-user from IP

发布于:2024-03-09 ⋅ 阅读:(115) ⋅ 点赞:(0)

报错信息

kyuubi正常会提交spark session 会到yarn上启动application

此时日志显示连接yarn报错

  • Unauthorized connection for super-user: hive/xxxxx from IP 10.xx.xx.xx, while invoking ApplicationClientProtocolPBClientImpl.getClusterMetrics over rm1 after 6 failover attempts. Trying to failover after sleeping for 27244ms

在这里插入图片描述

查看配置

查看集群配置 core-site.xml
hadoop.proxyuser.hive.hosts 为* 是没有问题的

查看线上加载的配置
在这里插入图片描述

问题原因

线上加载的配置为固定的主机,所以通过这几个主机之外的其他主机不能代理用户提交

proxy user

在kerberos环境下,如果用户需要用其他用户的kerberos凭证来完成认证,此时就需要配置proxy user。

举例:B用户访问开启kerberos的hadoop集群,此时以B用户的名义去访问hadoop集群,仅仅认证信息会使用A用户的认证信息去完成认证。
这时B用户就是proxy user。

可以限制代理用户请求的机器 此时只接受来自host1和host2的请求可以被代理   
   <property>
     <name>hadoop.proxyuser.super.hosts</name>
     <value>host1,host2</value>
   </property>
#super用户可以代理group1和group2的用户   
   <property>
     <name>hadoop.proxyuser.super.groups</name>
     <value>group1,group2</value>
   </property>
#super用户可以代理user1和user2,也可以指定为*   
   <property>
     <name>hadoop.proxyuser.super.users</name>
     <value>user1,user2</value>
   </property>

hive 也有类似

hive.server2.enable.doAs  
true 此时hiveserver2执行查询的用户为提交查询的用户
false 此时hiveserver2执行查询的用户为运行hiveserver2进程的用户,一般为hive
本文含有隐藏内容,请 开通VIP 后查看

微信公众号

今日签到

点亮在社区的每一天
去签到