关于CDH集群配置文件目录的问题

写这篇文章的目的是记录下今天办的蠢事,公司业务需求需要扩容集群,新增100多台机器,这批机器之前有装过cdh所以在扩集群之前药清理一些不必要的文件。

1、清理数据盘

直接rm -rf 数据盘挂载目录即可。

2、清理日志

主要都在/var/log/下的一些Hadoop组件的日志。

3、清理程序

主要之前安装的程序都在/opt下。

4、清理配置文件

这就要说明一下了

基础配置文件路径

代码语言:javascript复制[root@whx lib]# pwd

/opt/cloudera/parcels/CDH/lib

[root@whx lib]# ls

avro hadoop hadoop-yarn impala oozie spark

bigtop-tomcat hadoop-0.20-mapreduce hbase impala-shell parquet sqoop

bigtop-utils hadoop-hdfs hbase-solr kite pig sqoop2

crunch hadoop-httpfs hive kudu search whirr

debug hadoop-kms hive-hcatalog llama sentry zookeeper

flume-ng hadoop-mapreduce hue mahout solr zookeeper-native配置文件路径依赖关系(以hadoop的配置文件为例,其他通过CDH安装的组件也类似在基础路径(/opt/cloudera/parcels/CDH/lib)下找对应服务的配置文件即可)

代码语言:javascript复制[root@whx ~]# ll /opt/cloudera/parcels/

total 0

lrwxrwxrwx 1 root root 27 Jul 24 17:50 CDH -> CDH-5.16.2-1.cdh5.16.2.p0.8

[root@whx ~]# ll /opt/cloudera/parcels/CDH/lib/hadoop/etc/

total 0

lrwxrwxrwx 1 root root 16 Jun 3 2019 hadoop -> /etc/hadoop/conf

[root@whx ~]# ll /etc/hadoop/conf

lrwxrwxrwx 1 root root 29 Jul 24 17:50 /etc/hadoop/conf -> /etc/alternatives/hadoop-conf

[root@whx ~]# ll /etc/alternatives/hadoop-conf

lrwxrwxrwx 1 root root 30 Jul 24 17:50 /etc/alternatives/hadoop-conf -> /etc/hadoop/conf.cloudera.yarn

[root@whx ~]# ll /etc/hadoop/conf.cloudera.yarn

total 48

-rw-r--r-- 1 root root 21 Jun 19 15:43 __cloudera_generation__

-rw-r--r-- 1 root root 66 Jun 19 15:43 __cloudera_metadata__

-rw-r--r-- 1 root root 3851 Jun 19 15:43 core-site.xml

-rw-r--r-- 1 root root 617 Jun 19 15:43 hadoop-env.sh

-rw-r--r-- 1 root root 3659 Jun 19 15:43 hdfs-site.xml

-rw-r--r-- 1 root root 314 Jun 19 15:43 log4j.properties

-rw-r--r-- 1 root root 5193 Jun 19 15:43 mapred-site.xml

-rw-r--r-- 1 root root 315 Jun 19 15:43 ssl-client.xml

-rw-r--r-- 1 root hadoop 356 Jul 24 18:56 topology.map

-rwxr-xr-x 1 root hadoop 1594 Jul 24 18:56 topology.py

-rw-r--r-- 1 root root 3650 Jul 17 13:39 yarn-site.xml注意 使用 ll 命令时,如果非软连接文件,显示文件内容 ,如果是软连接文件,会显示软连接关系,但末尾有 / 时,显示文件内容

代码语言:javascript复制[root@whx ~]# ll /opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop

l

rwxrwxrwx 1 root root 16 Jun 3 2019 /opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop -> /etc/hadoop/conf

[root@whx ~]# ll /opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop/

total 48

-rw-r--r-- 1 root root 21 Jun 19 15:43 __cloudera_generation__

-rw-r--r-- 1 root root 66 Jun 19 15:43 __cloudera_metadata__

-rw-r--r-- 1 root root 3851 Jun 19 15:43 core-site.xml

-rw-r--r-- 1 root root 617 Jun 19 15:43 hadoop-env.sh

-rw-r--r-- 1 root root 3659 Jun 19 15:43 hdfs-site.xml

-rw-r--r-- 1 root root 314 Jun 19 15:43 log4j.properties

-rw-r--r-- 1 root root 5193 Jun 19 15:43 mapred-site.xml

-rw-r--r-- 1 root root 315 Jun 19 15:43 ssl-client.xml

-rw-r--r-- 1 root hadoop 356 Jul 24 18:56 topology.map

-rwxr-xr-x 1 root hadoop 1594 Jul 24 18:56 topology.py

-rw-r--r-- 1 root root 3650 Jul 17 13:39 yarn-site.xml

[root@whx ~]# ll /etc/hadoop/conf.cloudera.yarn

total 48

-rw-r--r-- 1 root root 21 Jun 19 15:43 __cloudera_generation__

-rw-r--r-- 1 root root 66 Jun 19 15:43 __cloudera_metadata__

-rw-r--r-- 1 root root 3851 Jun 19 15:43 core-site.xml

-rw-r--r-- 1 root root 617 Jun 19 15:43 hadoop-env.sh

-rw-r--r-- 1 root root 3659 Jun 19 15:43 hdfs-site.xml

-rw-r--r-- 1 root root 314 Jun 19 15:43 log4j.properties

-rw-r--r-- 1 root root 5193 Jun 19 15:43 mapred-site.xml

-rw-r--r-- 1 root root 315 Jun 19 15:43 ssl-client.xml

-rw-r--r-- 1 root hadoop 356 Jul 24 18:56 topology.map

-rwxr-xr-x 1 root hadoop 1594 Jul 24 18:56 topology.py

-rw-r--r-- 1 root root 3650 Jul 17 13:39 yarn-site.xml然后就是这个/etc/alternatives/目录我当时清理的时候命令少打了一个/就导致这个目录没了,Cloudera在启动yarn的node manager时无法创建软连接,我排查了一中午的时间!!!!!!