关于MapReduce提交作业卡住不运行

时间: 2017-10-17 22:08 栏目: Hadoop 浏览: 24826 赞: 16 踩: 9 字体:

以下为本篇文章全部内容:

在一次hadoo提交作业遇到卡住不允许的情况,如下图所示

image.png

然后打开yarn查看状态,可以看到有一条作业在等待执行image.png

由于看不到进度条,我决定点击进去查看详情,结果看到了

image.png

ACCEPTED: waiting for AM container to be allocated, launched and register with RM.

也就是上面这句话,说等待AM被分配,这就奇怪了,为什么会出现这样的错误呢?是不是有什么没有启动成功呢?还是什么启动失败了,我马上通过jps查看

image.png

果然发现NodeManager没有启动我们一起来看看日志找找错误,看日志绝对是一件特别费劲的事情,虽然费劲但是却能很好的帮我们解决问题,入下图红色圈起来部分

image.png

Recieved SHUTDOWN signal from Resourcemanager ,Registration of NodeManager failed, Message from ResourceManager: NodeManager from  localhost doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the NodeManager.

这句错误可以看出是内存不足导致的,找到原因就好办了,那么我们修改一下yarn的配置文件,我的文件存在/usr/local/hadoop/etc/hadoop/yarn-site.xml,把里面的内容添加两段配置

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4096</value>
</property>

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>4</value>
</property>

执行一下启动命令然后再通过jps查看

image.png

看到NodeManager已经启动起来了,这个问题我们已经解决了