教育行業(yè)A股IPO第一股(股票代碼 003032)

全國咨詢/投訴熱線:400-618-4000

HDFS的優(yōu)點有哪些?

更新時間:2022年07月13日11時19分 來源:傳智教育 瀏覽次數:

好口碑IT培訓

  隨著互聯(lián)網數據規(guī)模的不斷擴大,對文件存儲系統(tǒng)提出了更高的要求,需要更大的容量、更好的性能以及安全性更高的文件存儲系統(tǒng),與傳統(tǒng)分布式文件系統(tǒng)一樣,HDFS也是通過計算機網絡與節(jié)點相連,其具有如下幾個優(yōu)點:

  1.高容錯

  HDFS可以由成百上千臺服務器組成,每個服務器存儲文件系統(tǒng)數據的一部分。HDFS中的副本機制會自動把數據保存多個副本,DataNode節(jié)點周期性地向NameNode發(fā)送心跳信號,當網絡發(fā)生異常,可能導致DataNode與NameNode失去通信,NameNode和DataNode通過心跳檢測機制,發(fā)現(xiàn)DataNode宕機,DataNode中副本丟失,HDFS則會從其他DataNode上面的副本自動恢復,所以HDFS具有高的容錯性。

  2.流式數據訪問

  HDFS的數據處理規(guī)模比較大,應用程序一次需要訪問大量的數據,同時這些應用程序一般都是批量地處理數據,而不是用戶交互式處理,所以應用程序能以流的形式訪問數據集,請求訪問整個數據集要比訪問一條記錄更加高效。

  3.支持超大文件

  HDFS具有很大的數據集,旨在可靠的大型集群上存儲超大型文件(GB、TB、PB級別的數據),它將每個文件切分成多個小的數據塊進行存儲,除了最后一個數據塊之外的所有數據塊大小都相同,塊的大小可以在指定的配置文件中進行修改,在Hadoop2.x版本中默認大小是128M。

  4.高數據吞吐量

  HDFS采用的是“一次寫入,多次讀取”這種簡單的數據一致性模型,在HDFS中,一個文件一旦經過創(chuàng)建、寫入、關閉后,一旦寫入就不能進行修改了,只能進行追加,這樣保證了數據的一致性,也有利于提高吞吐量。

  5.可構建在廉價的機器上

  Hadoop的設計對硬件要求低,無須構建在昂貴的高可用機器上,因為在HDFS設計中充分考慮到了數據的可靠性,安全性和高可用性。

0 分享到:
和我們在線交談!