Hadoop 基础教程

Hadoop 笔记

original icon
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.knowledgedict.com/tutorial/hadoop-warning-hadoop_conf_dir-may-be-incomplete.html

Hadoop 命令报警告:WARNING: log4j.properties is not found. HADOOP_CONF_DIR may be incomplete

Hadoop 笔记 Hadoop 笔记


Hadoop 安装完之后,运行 hadoop 命令时,报如题的警告信息 WARNING: log4j.properties is not found. HADOOP_CONF_DIR may be incomplete. 的原因。

解决方法

警告信息是因为安装完 Hadoop 之后,没有设置 hadoop 的配置路径,如果是在 mac 通过 brew 安装的,需要在 ~/.bash_profile 文件中增加如下配置即可:

export HADOOP_HOME=/usr/local/Cellar/hadoop/3.3.0
export HADOOP_CONF_DIR=$HADOOP_HOME/libexec/etc/hadoop

hadoop 的所有配置文件如 core-site.xmlhadoop-env.shhdfs-site.xml 等都在 /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop 目录下。

配置完之后,执行立刻生效命令即可,然后最好开另一个 session 的 terminal:

source ~/.bash_profile

 

本节收集了 Hadoop 相关开发中遇到的问题、关键知识点等笔记。 ...
在 mybatis 开发中,若遇到 org.apache.ibatis.binding.BindingException: Invalid ...
一般如我们在 pycharm 本地运行 pyspark 连接 mysql 时,可能会报 java.lang.ClassNotFoundExc ...
使用 pandas,调用 pd.read_csv 函数读取 csv 文件时,若读取基于分隔符的内容不对时,报类似 pandas.errors ...
当我们的 Elasticsearch(es) client 升级到一定版本之后,原有的代码在使用 stored scripts 时,可能会报 ...