如何在CentOS上部署HDFS集群-开发者知识库平台

如何在CentOS上部署HDFS集群

centos

428

2025/4/7 0:31:38

栏目: 智能运维

在CentOS上部署HDFS集群涉及多个步骤，包括配置Java环境、安装Hadoop、配置Hadoop环境变量、格式化NameNode、启动HDFS集群等。以下是一个基本的指南：

1. 配置Java环境

首先，确保你的系统上安装了Java 8。可以通过以下命令安装：

yum install -y java-1.8.0-openjdk-devel

然后，配置Java环境变量：

echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk" >> /etc/profile
source /etc/profile
java -version

2. 安装Hadoop

下载Hadoop安装包并解压到指定目录，例如 /usr/local/hadoop：

wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
tar -zxvf hadoop-3.2.1.tar.gz -C /usr/local/
ln -s /usr/local/hadoop/hadoop-3.2.1 /usr/local/hadoop/hadoop

3. 配置SSH免密登录

在主节点上生成SSH密钥并分发到所有节点：

ssh-keygen -t rsa
ssh-copy-id hadoop11
ssh-copy-id hadoop12
ssh-copy-id hadoop13

4. 配置Hadoop环境变量

编辑 /etc/profile 文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后，使配置生效：

source /etc/profile

5. 配置Hadoop配置文件

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop11:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/data</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop12:9868</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/data/datanode</value>
    </property>
</configuration>

6. 初始化HDFS集群

在NameNode节点上执行以下命令格式化集群：

hdfs namenode -format

7. 启动HDFS集群

在拥有免密登录权限的节点上执行：

start-dfs.sh

8. 验证HDFS集群

可以通过访问NameNode的Web界面来验证集群是否启动成功：

http://hadoop11:50070

注意事项

确保所有节点的配置文件完全一致。
配置文件中指定的目录路径需要正确设置。
如果需要高可用性（HA），需要配置ZooKeeper和JournalNode。

以上步骤提供了一个基本的HDFS集群部署流程，具体配置可能需要根据实际需求进行调整。

辰迅云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>