vlambda博客
学习文章列表

vi /etc/hostname ##为了方便记忆，这边修改为hadoop

vi /etc/sysconfig/network-scripts/ifcfg-eno16777736 ##这里的网卡名称可能与大家的会不一样##将红框内的内容修改为如下图所示，其中BOOTPROTO修改为static 即为静态##IPADDR，GATEWAY，DNS1则根据大家自己电脑的IP修改# ONBOOT修改为yes，即开机启动

vi /etc/hosts##在文件中添加红框内容，ip地址是自己设置的静态地址，主机名为第一步设置的名称

systemctl stop firewalld ##关闭当前防火墙systemctl disable firewalld #关闭防火墙开机启动

useradd hadoop #添加hadoop用户passwd hadoop #设置hadoop用户的密码为hadoop

vi /etc/sudoers#找到文件中Allow root to run any commands anywhere 这一行#添加 hadoop ALL=(ALL:ALL) NOPASSWD:ALL#若root用户也无法修改该文件，则使用 visudo -f /etc/sudoers

yum install -y epel-releaseyum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static

vi /etc/yum.repos.d/epel.repo#将baseurl行的注释去掉，将metalink行注释掉，再重新执行yum安装命令

#创建软件安装包存放目录mkdir /opt/

rpm -qa |grep java#存在openjdk，需要先卸载

sudo rpm -e --nodeps 文件名

tar -zvxf jdk-8u73-linux-x64.gz

mv jdk1.8.0_73 ../user/jdk

sudo vi /etc/profile.d/my_env.sh#添加图中语句，重启shell窗口，查看是否生效

#重启shell窗口后执行java -version

tar -zvxf hadoop-2.7.2.tar.gz -C /opt/soft/mv /opt/soft/hadoop-2.7.2 /opt/soft/hadoop  #这里为了方便改名为hadoop

sudo vi /etc/profile.d/my_env.sh#重启shell窗口，查看是否生效

hadoop version

ssh-keygen -t rsa#连续回车即可

#将公钥拷贝到需要免密登录的节点。我们是伪分布式，所以节点就只有hadoop一台ssh-copy-id hadoop#会需要输入一次hadoop的密码

#验证是否免密登录成功ssh hadoop#如下图所示表示免密登录成功

vi /opt/soft/hadoop/etc/hadoop/hadoop-env.sh#将jdk路径填入

vi /opt/soft/hadoop/etc/hadoop/core-site.xml

vi /opt/soft/hadoop/etc/hadoop/hdfs-site.xml

cp mapred-site.xml.template mapred-site.xmlvi mapred-site.xml

vi yarn-sit.xml

vi slaves#因为咱们是伪分布式，所以节点也只有hadoop一台

hdfs namenode -format#若是Exiting with status 0 则格式化成功

star-dfs.sh

jps #查看进程

start-yarn.sh

jps #查看进程