隨著物聯網器件的廣泛部署以及人類數字化生活的快速拓展,人類采集和產生的數據已經呈指數型增長,由此給存儲帶來了極大的市場需求。
分布式存儲,以其低價格、高可靠性、高可信性等因素,成為繼本地存儲、中心化存儲之后的最主要存儲方式。目前主要的分布式存儲包括了云存儲、邊緣存儲和基于區塊鏈技術的分布式存儲幾類。
分布式存儲最早是由谷歌提出的,其目的是通過廉價的服務器來提供使用與大規模,高并發場景下的Web訪問問題。如下圖是谷歌分布式存儲(HDFS)的簡化的模型。在該系統的整個架構中將服務器分為兩種類型,一種名為namenode,這種類型的節點負責管理管理數據(元數據),另外一種名為datanode,這種類型的服務器負責實際數據的管理。
上圖分布式存儲中,如果客戶端需要從某個文件讀取數據,首先從namenode獲取該文件的位置(具體在哪個datanode),然后從該位置獲取具體的數據。在該架構中namenode通常是主備部署,而datanode則是由大量節點構成一個集群。由于元數據的訪問頻度和訪問量相對數據都要小很多,因此namenode通常不會成為性能瓶頸,而datanode集群可以分散客戶端的請求。因此,通過這種分布式存儲架構可以通過橫向擴展datanode的數量來增加承載能力,也即實現了動態橫向擴展的能力。
馭凡教育赫赫老師表示,在生活中,我們以云存儲為例,實際上如果我們深入云存儲內部就會發現,云存儲也是分布式的,只不過云的存儲形態是分布式協同。云存儲的存儲層將不同類型的存儲設備互連起來,實現海量數據的統一管理,同時實現對存儲設備的集中管理、狀態監控以及容量的動態擴展,實質是一種面向服務的分布式存儲系統。
區塊鏈技術使數據從被集中化運營管理走向了分布式自運營。區塊鏈與存儲技術的融合主要有三種方向:
一.是基于區塊鏈構建的去中心化存儲系統,具有代表性的基于區塊鏈的去中心化存儲系統有結合IPFS與區塊鏈技術的Filecoin,開源項目Sia、Storj、SAFE Network等;
二.是基于區塊鏈優化已有系統的存儲性能,針對中心化架構系統面臨的單點故障、數據安全性低、隱私保護能力不足等問題,將區塊鏈技術應用于域名系統、物聯網系統、超級計算系統、數據庫系統,為系統設計去中心化的架構、利用分布式賬本提高數據安全性與數據溯源能力;
三.是針對區塊鏈的存儲空間利用率低、查詢性能低等問題進行優化,如采用糾刪碼降低區塊鏈的存儲空間開銷,使用索引等技術提高區塊鏈系統的查詢效率。
目前的分布式存儲,更多還是從技術層面實現的存儲技術的優化,而沒有從存儲內容,即數據層面提出更多的存儲解決方案。分布式存儲是一個大的概念,其包含的種類繁多,除了傳統意義上的分布式文件系統、分布式塊存儲和分布式對象存儲外,還包括分布式數據庫和分布式緩存等。