搜文章
推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > 软件开发信息交流 > hadoop核心基础架构学习分享

hadoop核心基础架构学习分享

软件开发信息交流 2019-01-27

  了解过大数据的朋友对hadoop一定不陌生吧,hadoop可以处理结构化数据,同时也是可以很好的处理非结构化或者半结构化数据,hadoop系统比较的灵活,可扩展性好,性价比高,可靠性高。我们都知道hadoop系统上有很多的不同的组件,下面新霸哥将详细的为大家介绍一下hadoop核心基础架构。

  首先说一下Namenode和Datenode

  Namenode可以简单的理解为主节点,Datenode从属节点,连在一起Namenode和Datenode之间有Master和Slave的关系,或者说从属关系。其实对于hadoop用户来说,他们不需要了解数据存储的细节,也不需要知道文件的各个数据块是存储在哪些数据节点上的,他们只需要对这些文件进行操作,对应的拆分和多个副本的存储是由系统自动完成的。

  和Datenode一样,Namenode节点上也有一个同名的后台进程,而所有的文件匹配信息则保存在一个名为fsimage的文件中,所有的新的操作修改保存在一个名为edits的文件中。edits文件中的内容会定期的写入fsimage文件中。

  底层文件系统HDFS

  在HDFS上,存储的内容可以是任何格式的,为了便于存储和管理数据,HDFS上的文件都被切割成固定大小的数据块,在这里数据块的大小是系统配置的。

  Hadoop上的数据库HBase

  HBase是一个分布式的数据存储系统,它的设计思想就是一个字“大”,简单的说数据量可以很大,数据维度可以很多,HBase可以在很多台服务器上运行。

  hadoop核心基础架构学习分享,今天就到这里了,更新新的技术将继续推出。

版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《hadoop核心基础架构学习分享》的版权归原作者「软件开发信息交流」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

关注软件开发信息交流微信公众号

软件开发信息交流微信公众号:javaandcp

软件开发信息交流

手机扫描上方二维码即可关注软件开发信息交流微信公众号

软件开发信息交流最新文章

精品公众号随机推荐

下一篇 >>

Hadoop升级和回滚