大數據已經成為安防行業(yè)不能不提的話題，它涵蓋了4V面向，分別是處理時效、數據格式、數據量與真實性，通過快速的采集、發(fā)現和分析，從大量化、多類別的數據中提取價值。安防大數據時代最顯著的特征就是數據共享，提高數據處理能力。安防行業(yè)也不例外，天網工程就是最具代表性的案例，近年來天網工程已經在全國多個城市推廣。

 

 

 

　　近日，美國市場研究公司IDC發(fā)布報告稱，大數據技術和服務的不斷升級，拉動全球存儲市場將在2011至2016年間實現53%的復合年增長率。在可預見的未來，多數組織產生、處理、存儲的數據都將繼續(xù)保持快速增長。“在可預見的未來，存儲是大數據和分析領域最大的基礎設施開支之一。”IDC存儲系統研究總監(jiān)阿西什·納卡尼說，“大數據和分析領域所產生的存儲開支將從2011年的3.799億美元，激增至2016年的60億美元。”

 

 

　　在受訪企業(yè)中，有68.6%在選擇存儲架構時主要看重性能，有59.5%更加看重成本。接近31%的受訪企業(yè)表示，雖然尚未針對數據分析基礎架構部署企業(yè)存儲系統，但準備在今后6個月內部署。

 

 

　　在實際應用方面，63.7%的受訪企業(yè)主要借此分析運營數據，還有53.3%主要分析交易數據。IT是數據分析基礎架構的最大影響因素，遠高于排名第二的運營。有超過61%的受訪企業(yè)，將提升客戶滿意度作為數據分析方案所應解決的最大商業(yè)挑戰(zhàn)。

 

 

 

 

　　在大數據時代來臨之際，我們面臨的挑戰(zhàn)還有存儲問題。大數據中的大容量通常可達到PB級的數據規(guī)模，那么對于海量數據存儲系統擴展能力的要求也會很高。以國內某省為例，公共視頻監(jiān)控已經超過100多萬個攝像頭，總保有量近400萬，以此估計，全國攝像頭數量不少于4000萬，某投行的報告稱行業(yè)每年還在以20%加速增長，行業(yè)龍頭海康威視12年的年報披露的銷售量就達570萬套(含前后端)，增長37%。而另一個數據也很驚人，英國的攝像頭數量與人口數量之比已經達到1：15。

 

 

　　粗略計世界至少有1億個攝像頭在角落靜靜的看著，這樣的視頻監(jiān)控將是數據的大生成器。從攝像前端的海量數據和到有效數據之間的也存在矛盾，攝像頭不停歇的工作，如實記錄鏡頭覆蓋范圍發(fā)生的一切，但對于客戶來講大部分信息是無效，有效信息可能只分布在一個較短的時間段內，大量的數據存儲給數據庫帶來不小的壓力，而無效的數據更是對于資源的浪費。

 

 

　　與此同時，存儲系統的擴展一定要簡便，盡量能通過增加模塊或磁盤柜來增加容量，甚至不需要停機。基于這樣的需求，客戶現在越來越青睞Scale-out架構的存儲。Scale-out集群結構的特點是每個節(jié)點除了具有一定的存儲容量之外，內部還具備數據處理能力以及互聯設備，與傳統存儲系統的煙囪式架構完全不同，Scale-out架構可以實現無縫平滑的擴展，避免存儲孤島。

 

 

 

 

 

 

　　“大”是相對而言的概念。例如，對于像SAPHANA那樣的“內存數據庫”來說，2TB可能就已經是大容量了；而對于像谷歌這樣的搜索引擎，EB的數據量才能稱得上是大數據。

 

 

　　“大”也是一個迅速變化的概念。HDS在2004年發(fā)布的USP存儲虛擬化平臺具備管理32PB內外部附加存儲的能力。當時，大多數人認為，USP的存儲容量大得有些離譜。但是現在，大多數企業(yè)都已經擁有PB級的數據量，一些搜索引擎公司的數據存儲量甚至達到了EB級。由于許多家庭都保存了TB級的數據量，一些云計算公司正在推廣其文件共享或家庭數據備份服務。

 

 

 

 

　　由此看來，大數據存儲的首要需求存儲容量可擴展。大數據對存儲容量的需求已經超出目前用戶現有的存儲能力。我們現在正處于PB級時代，而EB級時代即將到來。過去，許多企業(yè)通常以五年作為IT系統規(guī)劃的一個周期。在這五年中，企業(yè)的存儲容量可能會增加一倍。現在，企業(yè)則需要制定存儲數據量級(比如從PB級到EB級)的增長計劃，只有這樣才能確保業(yè)務不受干擾地持續(xù)增長。這就要求實現存儲虛擬化。存儲虛擬化是目前為止提高存儲效率最重要、最有效的技術手段。它為現有存儲系統提供了自動分層和精簡配置等提高存儲效率的工具。

 

 

　　擁有了虛擬化存儲，用戶可以將來自內部和外部存儲系統中的結構化和非結構化數據全部整合到一個單一的存儲平臺上。當所有存儲資產變成一個單一的存儲資源池時，自動分層和精簡配置功能就可以擴展到整個存儲基礎設施層面。在這種情況下，用戶可以輕松實現容量回收和容量利用率的最大化，并延長現有存儲系統的壽命，顯著提高IT系統的靈活性和效率，以滿足非結構化數據增長的需求。

 

 

　　中型企業(yè)可以在不影響性能的情況下將HUS的容量擴展到近3PB，并可通過動態(tài)虛擬控制器實現系統的快速預配置。此外，通過HDSVSP的虛擬化功能，大型企業(yè)可以創(chuàng)建0.25EB容量的存儲池。隨著非結構化數據的快速增長，未來，文件與內容數據又該如何進行擴展呢？

 

 

 

 

　　與結構化數據不同，很多非結構化數據需要通過互聯網協議來訪問，并且存儲在文件或內容平臺之中。大多數文件與內容平臺的存儲容量過去只能達到TB級，現在則需要擴展到PB級，而未來將擴展到EB級。這些非結構化的數據必須以文件或對象的形式來訪問。基于Unix和Linux的傳統文件系統通常將文件、目錄或與其他文件系統對象有關的信息存儲在一個索引節(jié)點中。

 

 

　　索引節(jié)點不是數據本身，而是描述數據所有權、訪問模式、文件大小、時間戳、文件指針和文件類型等信息的元數據。傳統文件系統中的索引節(jié)點數量有限，導致文件系統可以容納的文件、目錄或對象的數量受到限制。HNAS和HCP使用基于對象的文件系統，使得其容量能夠擴展到PB級，可以容納數十億個文件或對象。

 

 

　　位于VSP或HUS之上的HNAS和HCP網關不僅可以充分利用模塊存儲的可擴展性，而且可以享受到通用管理平臺HitachiCommandSuite帶來的好處。HNAS和HCP為大數據的存儲提供了一個優(yōu)良的架構。大數據存儲平臺必須能夠不受干擾地持續(xù)擴展，并具有跨越不同時代技術的能力。數據遷移必須在最小范圍內進行，而且要在后臺完成。大數據只要復制一次，就能具有很好的可恢復性。

 

 

　　大數據存儲平臺可以通過版本控制來跟蹤數據的變更，而不會因為大數據發(fā)生一次變更，就重新備份一次所有的數據。HDS的所有產品均可以實現后臺的數據移動和分層，并可以增加VSP、HUS數據池、HNAS文件系統、HCP的容量，還能自動調整數據的布局。傳統文件系統與塊數據存儲設備不支持動態(tài)擴展。

 

 

　　大數據存儲平臺還必須具有彈性，不允許出現任何可能需要重建大數據的單點故障。HDS可以實現VSP和HUS的冗余配置，并能為HNAS和HCP節(jié)點提供相同的彈性。大數據存儲平臺需要將文件、塊數據和內容集成到一個統一的HitachiCommandSuite管理平臺之上，以滿足大數據處理和應用的需求。