以下为本篇文章全部内容:
在一次hadoo提交作业遇到卡住不允许的情况,如下图所示
然后打开yarn查看状态,可以看到有一条作业在等待执行
由于看不到进度条,我决定点击进去查看详情,结果看到了
ACCEPTED: waiting for AM container to be allocated, launched and register with RM.
也就是上面这句话,说等待AM被分配,这就奇怪了,为什么会出现这样的错误呢?是不是有什么没有启动成功呢?还是什么启动失败了,我马上通过jps查看
果然发现NodeManager没有启动我们一起来看看日志找找错误,看日志绝对是一件特别费劲的事情,虽然费劲但是却能很好的帮我们解决问题,入下图红色圈起来部分
Recieved SHUTDOWN signal from Resourcemanager ,Registration of NodeManager failed, Message from ResourceManager: NodeManager from localhost doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the NodeManager.
这句错误可以看出是内存不足导致的,找到原因就好办了,那么我们修改一下yarn的配置文件,我的文件存在/usr/local/hadoop/etc/hadoop/yarn-site.xml,把里面的内容添加两段配置
<property> <name>yarn.nodemanager.resource.memory-mb</name> <value>4096</value> </property> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>4</value> </property>
执行一下启动命令然后再通过jps查看
看到NodeManager已经启动起来了,这个问题我们已经解决了
总赞数量:18274
总踩数量:128087
文章数量:29