搜公众号
推荐 原创 视频 Java开发 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库
Lambda在线 > 探索互联网 > 探索分布式存储应用

探索分布式存储应用

探索互联网 2019-02-11
举报

当前浏览器不支持播放音乐或语音,请在微信或其他浏览器中播放


对于分布式存储,要实际去使用,了解了原理是一方面,基于磁盘分布式存储,整体规划、监控、管理是一个挺重要方面。



规划主要包含初始存储规模,以及存储能不能独立的物理空间存在,与其他线上业务或者服务隔离,因为存储有可能节点负载很高,在docker模式下,可能会影响服务计算。这个一定要避免影响别人,另外一点也能避免别人服务过于繁忙从而影响自己。独立存储对于存储来说很重要。


在有一点就是扩容缩容,开始规划肯定存储空间不大,后续扩容怎么做,扩容是不是自动化,扩容能扩大到多大,对于使用redis分布式经验,容量太大会导致业务用这个集群特别多,会不会出现连接问题,这本身都是需要规划的。集群怎么应用,存储哪些数据,将来会有多少个业务使用集群。


存储规划还有一点,就是存储数据分片大小,本身和存储设计实现相关,也和扩容相关,如果分片特别大,那么后续节点出问题,增加新的节点去替换可能数据复制时间就是很大问题,节点特别小集群规模特别大的话,会分片特别多,在有就是实际存储架构设计,架构设计是单线程节点如果特别大,那么资源利用充分不充分也是需要考虑的方面。


监控与管理集群本身对于分布式存储也是重要方面,整个集群状态,状态是否正常,各个分片是否正常,连接是否正常,主从之间连接是否正常,节点是否读写过热,这些都需要完备监控,能够进行可视化监控,并能能够设置相应报警,能够让我们对于集群能够方面管理控制。


管理集群除了监控之外,还能对集群进行管理,管理包含对于集群监控报警值调整,以及对于集群分片,主从数量一主一丛变成一主多从等,在有就是对于客户端配置下发,比如客户端连接数、流量等通过管理中心进行控制。


分布式系统,不能想象各个部分是正确的,而是应该考虑每个节点可能出现的问题,以及出现问题后怎么做。整个系统要配置成熟管理以及监控,不然对于整个存储应用风险很大,因为存储本身不稳定会影响使用存储的多个业务,要想用好就需要对分布式有不断的研究。


分布式系统方方面面设计也会影响我们对于设计与架构理解,深入学习能够提升架构能力。


版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《探索分布式存储应用》的版权归原作者「探索互联网」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

举报