搜文章
推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > 全栈工程师成长记 > Hadoop-本地模式搭建

Hadoop-本地模式搭建

全栈工程师成长记 2018-02-28

    

当前浏览器不支持播放音乐或语音,请在微信或其他浏览器中播放 Hadoop-本地模式搭建 Hadoop-本地模式搭建

        小编先跳过Hadoop的体系结构这段,后续会补上,先将环境搭建写出来,便于大家能够先对Hadoop有个初步认识做准备,今天主要是写本地模式搭建.本地模式不涉及HDFS(存储),只是对数据的分析,小编会在本地模式搭建完成后,通过Hadoop中自带的WordCount来对文件的单词进行统计.


在搭建环境前,需要先关闭防火墙

1.环境所需的软件

jdk-8u144-linux-x64.tar.gz

hadoop-2.7.3.tar.gz


2.上传到Linux环境

小编是通过SSH Secure连接Linux系统,进行上传,约定好上传的目录为/root/tools

Hadoop-本地模式搭建


3.解压压缩包

解压的路径也约定为 /root/training

[root@bigdata11 tools]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /root/training/

[root@bigdata11 tools]# tar -zxvf hadoop-2.7.3.tar.gz -C /root/training/

Hadoop-本地模式搭建


4.JDK环境变量配置 

[root@bigdata11 jdk1.8.0_144]# vi ~/.bash_profile

Hadoop-本地模式搭建


5.Hadoop环境变量配置

[root@bigdata11 hadoop-2.7.3]# vi ~/.bash_profile

Hadoop-本地模式搭建


6.生效环境变量

[root@bigdata11 hadoop-2.7.3]. ~/.bash_profile或者source ~/.bash_profile

注意:若使用前面的语句 .和~中间有个空格。


7.修改hadoop下的hadoop-env.sh文件

Hadoop-本地模式搭建

[root@bigdata11 hadoop]# vi hadoop-env.sh

Hadoop-本地模式搭建


8.演示MapReduce程序

[root@bigdata11 mapreduce]# hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /root/temp/data.txt /root/temp/dataout

执行后,进入/root/temp/dataout目录中查看结果:

---------------华丽分割线---------------

演示程序中的data.txt需要自己创建,其中的内容为:

I love Beijing

I love China

Beijing is the capital of China


        此篇文章主要是环境的搭建,不涉及到结构体系的讲解,大家可以先搭建环境,后续会补充这些相关的理论知识,如果大家学习的大数据知识超过文章的进度,可以与小编留言一起学习讨论.


版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《Hadoop-本地模式搭建》的版权归原作者「全栈工程师成长记」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

关注全栈工程师成长记微信公众号

全栈工程师成长记微信公众号:qzgcsczj

全栈工程师成长记

手机扫描上方二维码即可关注全栈工程师成长记微信公众号

全栈工程师成长记最新文章

精品公众号随机推荐