AmosCloud

Library

Have a Question?

If you have any question you can ask below or enter what you are looking for!

2020年5月21日_day05_Hadoop

设置主机IP和主机名的对应关系

  • 为了让用户可以通过主机名找到对应的ip

  • 修改/etc/hosts

192.168.222.101 bd0701
192.168.222.102 bd0702
192.168.222.103 bd0703

SSH免密登录

  • 通过ssh 主机名(ip) 可以登陆其他的系统,登陆之后可以进行所有操作

  • 集群之间需要频繁的进行互相登陆或者互相发送文件的操作

  • 所以集群内部我们一般会配置ssh免密登陆方便集群之间的通信

  • 如果这个集群之前配置过免密登陆没有成功,需要先清理密钥
    rm -rf /root/.ssh

  • 配密钥
    ssh-keygen -t rsa回车四下

  • 分发密钥
    ssh-copy-id bd0701
    yes
    password
    每台机器去都要执行

搭建Hadoop集群

1.上传

2.解压

tar zxvf hadoop-2.7.7.tar.gz

3.修改配置文件

第一类文件 环境变量文件 xxx-env.sh
第二类文件 配置文件 xxx-site.xml

  1. 全局配置

    • slaves
      bd0701
      bd0702
      bd0703
    • core-site.xml
      <configuration>
      <!-- 配置namenode节点和端口 -->
      <property>
      <name>fs.defaultFS</name>
      <value>hdfs://bd0701:9000/</value>
      </property>
      <!-- hadoop的临时文件目录 -->
      <property>
      <name>hadoop.tmp.dir</name>
      <value>/opt/hadoop-2.7.7/data/tmp</value>
      </property>
      </configuration>
  2. HDFS

    • Hadoop-env.sh
      export JAVA_HOME=/opt/jdk1.8
    • hdfs-site.xml
      <configuration>
      <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>test03:50090</value>
      </property>
      </configuration>
  3. Yarn

    • yarn-env.sh
      export JAVA_HOME=/opt/jdk1.8
    • yarn-site.xml
      <configuration>
      <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>test02</value>
      </property>
      </configuration>
  4. MapReduce

    • mapred-env.sh
      export JAVA_HOME=/opt/jdk1.8
    • mapred-site.xml
      <configuration>
      <property>
      <name>mapreduce.framework.name</name>
      <value>local</value>
      </property>
      </configuration>

4.修改配置文件

  • 分发安装包
    远程复制命令scp
    scp 文件 主机名:路径
    scp -r 文件夹 主机名:路径
    scp -rq 文件夹 主机名:路径使用q参数不打印传输细节

5.配置环境变量

echo 'export HADOOP_HOME=/opt/hadoop-2.7.7' >> /etc/profile
echo 'export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH' >> /etc/profile

6.进行格式化

hdfs namenode -format

7.启动集群

#启动hdfs集群
start-dfs.sh
#启动yarn集群
start-yarn.sh

8.验证启动(验证安装)

  • 查看jps进程

    [root@bd0701 hadoop]# jps
    7168 NameNode
    7591 NodeManager
    7305 DataNode
    7694 Jps
    [root@bd0702 sbin]# jps
    5828 ResourceManager
    5676 DataNode
    6109 NodeManager
    6222 Jps
    [root@bd0703 opt]# jps
    6066 NodeManager
    6179 Jps
    5849 DataNode
    5961 SecondaryNameNode
  • 查看NameNode的UI
    http://namenode:50070/

You must be logged in to post a comment.