搜文章
推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发

Hadoop

Help先生SmileyCaesar 2018-02-28

前提

大数据系列文章:
如果把大数据比作白米饭的话,Hadoop就是盛饭的碗,而人工智能就是吃饭的筷子。随便逛逛知乎,会发现各种各样的英文简写,包括HDFS、MapReduce、HBase、Zookeepr、Hive、Pig、Sqoop、Avro 不禁发怵~ 这些都是Hadoop生态圈里的“组件”。

环境搭建

  • Linux安装

    • VMware Workstation Pro安装

    • Linux系统镜像【CentOS-6.5】

  • 系统nat配置

    • 虚拟机设置-网络连接-NAT模式

    • 初始化设置【先改为“桥接模式”再改回“NAT模式”】

    • 修改 /etc/sysconfig/network-scripts/ 下的ifcfg-eth0文件【Linux下的vim操作】并重启网络配置,之后用命令ifconfig验证是否配置成功。curl和ping百度检查能否上网

    • 利用XShell终端远程登陆虚拟机Linux系统

Hadoop集群搭建

    hadoop-1.2.1安装包

    java-1.6

    1. 配置三台主机作为一个集群【master|slave1|slave2】:复制master镜像作为slave1和slave2;

   

    

    3. 给三台主机安装Java:利用Vmware设置共享目录共享hadoop及Java安装包;把安装包从 /mnt/hgfs/share_folder 拷贝到 /usr/local/src/下;进入目录运行安装命令;编辑Java环境变量(JAVA-HOME|CLASSPATH|PATH);将Java安装包复制给另两台主机,作同样的配置。

   

     4. 解压hadoop安装包;进入到hadoop目录下新建一个tmp文件夹;依次修改masters、slaves、core-site.xml、mapred-site.xml、hdfs-site.xml、hadoop-env.sh文件;配置本地网络配置,关联指定IP和主机(hostname);将hadoop目录远程拷贝到slave1和slave2;做master同样的配置在slave1和slave2;关闭三台主机系统的防火墙,为了避免其他错误,方便排除执行命令【setenforce 0】;在每台机器上配置对方的公钥,这样在任一机器上通过ssh登陆其他机器不再需要密码;进入hadoop /bin目录下,先格式化【.hadoop namenode -format】,然后启动集群【./start-all.sh】,查看进程【jps】。

    

    5. 查看目录【./hadoop fs -ls /】上传目录【./hadoop fs -put /etc/...】读取目录【.hadoop fs -cat /...】自此,hadoop环境搭建成功。




版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《Hadoop》的版权归原作者「Help先生SmileyCaesar」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

关注Help先生SmileyCaesar微信公众号

Help先生SmileyCaesar微信公众号:Hansichen01

Help先生SmileyCaesar

手机扫描上方二维码即可关注Help先生SmileyCaesar微信公众号

Help先生SmileyCaesar最新文章

精品公众号随机推荐