HDFS块的存储策略
二、默认存储策略:
-
默认情况下HDFS没有开启机架感知,所有的机器默认都是在同一个机架下,名为:/default-rack -
HDFS不能够自动判断集群中各个datanode的网络拓扑情况,HDFS写入block是随机的
三、机架感知
-
开启机架感知,NN可以知道DN所处的网络位置, -
根据网络拓扑图可以计算出rackid,通过rackid信息可以计算出任意两台DN之间的距离 -
在HDFS写入block时,会根据距离,调整副本放置策略 -
写入策略会将副本写入到不同的机架上,防止某一机架挂掉,副本丢失的情况。同时可以降低在读取时候的网络I/O。但是会增加写操作的成本。 -
第二份和第一份在同一机架,第三份和前两份不在同一机架