hadoop问题集锦

Hadoop问题集锦

在 Hadoop 相关的实际操作和应用过程中，常常会遇到各种问题，以下为你介绍两种常见问题及解决办法。

在使用flume将数据存储到hdfs时出现错误

错误信息如下：

[SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:459)  - process failed
java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

问题原因

这个问题是由于 Flume 和 Hadoop 所依赖的 Guava 库版本不一致导致的。Guava 是 Google 提供的一个 Java 工具类库，不同版本的 Guava 可能会有方法的增减或修改。当 Flume 和 Hadoop 使用的 Guava 版本存在差异时，就可能出现一方调用了另一方版本中不存在的方法，从而抛出NoSuchMethodError异常。

解决办法

1. 分别查看 Flume 和 Hadoop 所使用的 Guava 版本。可以通过查看它们的安装目录下的lib文件夹来找到对应的 Guava Jar 包，Jar 包的名称中通常会包含版本信息，例如guava-28.0-jre.jar。
2. 比较两个版本的高低，将低版本的 Guava Jar 包从对应的lib目录中删除。
3. 确保 Flume 和 Hadoop 统一使用高版本的 Guava Jar 包，这样可以避免因版本不一致导致的方法缺失问题。

HDFS 写文件失败

错误信息如下：

could only be written to 0 of the 1 minReplication nodes. There are 0 datanode(s) running and 0 node(s) are excluded in this operation.

问题原因

这个问题可能是由于 DataNode 节点没有正常启动导致的。HDFS 在写入文件时，需要将数据复制到一定数量的 DataNode 节点上（默认最小复制数为 1），如果没有 DataNode 节点运行，就无法完成数据的写入操作。

解决办法

1. 在 Hadoop 集群的各个节点上，使用jps命令查看进程状态，检查是否有DataNode进程在运行。
2. 如果没有DataNode进程运行，需要排查 DataNode 节点无法启动的原因。可能的原因包括配置文件错误（如hdfs-site.xml中的相关配置）、端口被占用、数据目录权限问题等。
3. 根据排查出的具体原因进行修复，例如修正配置文件、释放占用的端口、调整数据目录的权限等，然后重新启动 DataNode 节点。可以通过start-dfs.sh脚本重启整个 HDFS 集群，或者单独启动 DataNode 节点。