vlambda博客
学习文章列表

# 上一节错误纠正，命令都是小写。不能大写yarn-daemon.sh stop nodemanageryarn-daemon.sh stop resourcemanager

# 基本语法：命令  选项参数  要拷贝的文件路径/名称  目的用户@主机：目的路径/名称# -r：递归 -v：显示复制过程  -l ：拷贝符号连接rsync -rvl $pdir/$fname  $user@hadoop$host:$pdir/$fname# 实例：rsync -rvl /tmp/test.txt root@hadoop04:/tmp/test.txt

# 作用：循环复制文件到所有节点的相同目录下cat /usr/local/bin/xsync#!/bin/bash
#1获取输入参数个数，如果没有参数，直接退出。pcount=$#if((pcount==0));thenecho no args;exit;fi
#2.获取文件名称p1=$1;fname=`basename $1`echo fname=$fname
#3. 获取上级目录的绝对路径pdir=`cd -P $(dirname $p1);pwd`echo pdir=$pdir
#4. 获取当前用户名称user=`whoami`
#5. 循环for((host=2;host<=4;host++));doecho --------------hadoop$host-----------------rsync -rvi $pdir/$fname $user@hadoop0$host:$pdirdone# 赋予执行权限chmod 777 /usr/local/bin/xsync# 调用测试：将同步脚本分发到各个服务器# 同步一个文件xsync /usr/local/bin/xsyncll /usr/local/bin/xsync# 同步一个目录xsync /tmp/wgw# 将目录下的内容均同步过去了tree /tmp/wgw/tmp/wgw└── test └── p1        └── 20220405.txt

# 1. 配置：core-site.xml<configuration> <!--指定hdfs中的namenode的地址--> <property> <name>fs.defaultFS</name>        <value>hdfs://hadoop02:9000</value> </property>  <!--文件存储目录--> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop/data/tmp</value> </property></configuration>
# 2. 修改：hadoop-env.shexport JAVA_HOME=/opt/soft/JDK8_64
# 3.hdfs-site.xml 副本数为3个，且指定辅助节点。<configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <!-- 指定hadoop辅助节点主机配置--> <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop04:50090</value> </property></configuration>
# 4. 配置yarn-env.shvi yarn-env.shexport JAVA_HOME=/opt/soft/JDK8_64
# 5. 配置yarn-site.xml，指定resourcemanager为hadoop03<configuration><!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>  <!--指定yarn的resourcemanager的地址--> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop03</value> </property>  <!--配置日志聚集功能，单独配置后需要重启nodemanager resourcemanager和historymanager--> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property>
 <!--日志保留7天--> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property>
</configuration>
# 6. 修改mapred-env.shexport JAVA_HOME=/opt/soft/JDK8_64
#7. 配置：mapred-site.xml cp mapred-site.xml.template mapred-site.xml vi mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <!--历史服务器端地址--> <property> <name>mapreduce.jobhistory.address</name>        <value>hadoop02:10020</value> </property>  <!--历史服务器web端地址--> <property> <name>mapreduce.jobhistory.webapp.address</name>        <value>hadoop02:19888</value> </property></configuration>

-rw-r--r--. 1 cdh cdh 1080 Apr 4 19:20 core-site.xml-rw-r--r--. 1 cdh cdh 4229 Apr 4 19:22 hadoop-env.sh-rw-r--r--. 1 cdh cdh 1042 Apr 4 19:28 hdfs-site.xml-rw-r--r--. 1 cdh cdh 4557 Apr 4 19:31 yarn-env.sh-rw-r--r--. 1 cdh cdh 1349 Apr 4 19:35 yarn-site.xml-rw-r--r--. 1 cdh cdh 1373 Apr 4 19:38 mapred-env.sh-rw-r--r--. 1 cdh cdh 1188 Apr 4 19:41 mapred-site.xml

# 注意分发脚本，本机无需再分发xsync /opt/module/hadoop# 建议直接使用真实目录分发，符号连接有问题。xsync /opt/module/hadoop-2.7.6

rm -f data logs# 查看是否有启动的进程。确保无启动进程jps

#1 .格式化分布式存储hdfs namenode -format# 单节点启动namenode 和datanodehadoop-daemon.sh start namenodehadoop-daemon.sh start datanode# 群起sbin/start-dfs.shsbin/stop-dfs.sh # 停止namenode和datanode

hdfs namenode -formathadoop-daemon.sh start datanode

hdfs namenode -formathadoop-daemon.sh start datanode

# hadoop02 上进行密钥对生成# 1.检查是否为免密登录 需要配置cdh 和root两个账号的免密登录。ssh localhostssh hadoop01# 如若是涉密登录，则进行如下配置ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsassh-copy-id hadoop02  -- 自己也需要配置一下，否则也需要输入密码。ssh-copy-id hadoop03ssh-copy-id hadoop04# hadoop03 由于负责resourcemanager 故也需要配置免密登录ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsassh-copy-id hadoop02 ssh-copy-id hadoop03 -- 自己也需要配置一下，否则也需要输入密码。ssh-copy-id hadoop04

# 配置集群节点，不允许空格，空行cat /opt/module/hadoop/etc/hadoop/slaveshadoop02hadoop03hadoop04# 同步到其他节点xsync slaves# 关闭所有节点上的进程jps查询无进程。hadoop-daemon.sh stop namenodehadoop-daemon.sh stop datanode# 群起namenode 和datanodestart-dfs.sh# 群起yarn ：由于resourcemanager是在hadoop03 上，所以必须到03上才能启动。start-yarn.sh

hdfs dfs -mkdir /wgwhdfs dfs -mkdir /wgw/testhdfs dfs -mkdir /sp/hdfs dfs -mkdir /sp/test# 上传一个小文件hdfs dfs -put wc.input /sp/testhdfs dfs -ls /sp/test # 上传一个大文件，超过128MBhdfs dfs -put hadoop-2.7.6.tar.gz /sp/test# 文件真实存储的位置/opt/module/hadoop/data/tmp/dfs/data/current/BP-249231893-10.0.1.144-1649127407107/current/finalized/subdir0/subdir0# 统计测试hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount /sp/test/wc.input /sp/test/wc.output# 查看日志http://10.0.1.144:19888/jobhistory/application_1649130680121_0001

# 观察启动状态service crond statusRedirecting to /bin/systemctl status crond.service● crond.service - Command Scheduler Loaded: loaded (/usr/lib/systemd/system/crond.service; enabled; vendor preset: enabled) Active: active (running) since Mon 2022-04-04 19:05:32 PDT; 2h 57min ago Main PID: 693 (crond) CGroup: /system.slice/crond.service └─693 /usr/sbin/crond -n

# 在hadoop2 上配置ntpserver# 1. 检查是否安装了ntprpm -aq|grep ntpntpdate-4.2.6p5-25.el7_3.2.x86_64fontpackages-filesystem-1.44-8.el7.noarch
/bin/systemctl status ntpd.serviceservice ntpd status# 安装ntp服务yum install ntp/bin/systemctl start ntpd.service 
vi /etc/ntp.conf # 取消注释，授权10.0.1.0 网段的机器可以从该服务器上获取时间restrict 10.0.1.0 mask 255.255.255.0 nomodify notrap# 注释掉互联网上的授时服务器，只从本地获取#server 0.rhel.pool.ntp.org iburst#server 1.rhel.pool.ntp.org iburst#server 2.rhel.pool.ntp.org iburst#server 3.rhel.pool.ntp.org iburst# 当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步server 127.127.1.0fudge 127.127.1.0 stratum 10 
# 使得硬件时间相同步。cat /etc/sysconfig/ntpd# Command line options for ntpdOPTIONS="-g"SYNC_HWCLOCK=yes# 重启ntp服务systemctl stop ntpd systemctl start ntpd
# 其他机器配置定时任务crontab -l*/1 * * * * /usr/sbin/ntpdate 10.0.1.144# 调整时间进行测试date -s "2022-04-05 13:31:00"# 调整时区timedatectl set-timezone Asia/Shanghai