云存儲應用的創(chuàng)新
視頻監(jiān)控隨著高清化、IT化的融合，大數據時代已經來臨，海量的視頻流媒體數據需要更大的存儲空間。但是由于目前行業(yè)市場上存儲設備的多樣性、可擴展、安全性、可靠性等現(xiàn)實問題需要促生出了云存儲技術。云存儲采用集群應用、網絡技術、分布式文件系統(tǒng)等技術，將網絡中大量各種不同類型的存儲設備通過應用軟件集合進行協(xié)同工作，共同對外提供數據存儲和業(yè)務訪問功能，實現(xiàn)高清視頻監(jiān)控的海量存儲與應用。
近些年來大數據、云計算、云存儲在IT界可謂炙手可熱，那其在視頻監(jiān)控行業(yè)的需求和應用又怎么樣呢？不同行業(yè)、規(guī)模、應用需求的視頻監(jiān)控系統(tǒng)是否需要建設云存儲呢？各行業(yè)的決策者們無疑還存在一些疑惑，但是隨著視頻監(jiān)控系統(tǒng)對視頻圖像清晰度的不斷追求、系統(tǒng)規(guī)模的不斷擴大、應用需求不斷趨向多樣化，云存儲應用是視頻監(jiān)控系統(tǒng)發(fā)展的必然需求。
云存儲的需求分析
首先是視頻圖像清晰度發(fā)展需求。視頻監(jiān)控對視頻圖像的清晰度需求是無止境的。視頻圖像的分辨率從QCIF、CIF、D1、720P、1080P、4K、8K一路走來，僅僅使用了不到十年的時間，現(xiàn)在已開始步入4K分辨率主流年代。隨著視頻圖像分辨率的不斷增大，相應的視頻圖像的存儲要求也越來越高。例如：1路D1圖像（1M碼率）存儲30天需要的存儲容量約為300GB左右，1路1080P圖像（4M碼率）存儲30天需要的存儲容量約為1.2TB左右，1路4K（8M碼率）存儲30天則達到了2.4TB左右，可見隨著視頻圖像清晰度的增加，存儲容量的需求也急劇增大。
其次是安防視頻監(jiān)控系統(tǒng)向著大規(guī)模、海量數據、智能化和融合應用的方向快速發(fā)展。近十幾年來國內外的各行各業(yè)，安防視頻監(jiān)控系統(tǒng)攝像機的數量規(guī)模急劇增加。在鐵路行業(yè)，隨著新增沿線入侵報警與視頻監(jiān)控需求的明晰，一條鐵路線的建設規(guī)模就從幾千到上萬路攝像機不等；而如一個中等規(guī)模城市的平安城市建設規(guī)模攝像機數量可能達幾萬路。1000路的1080P（4M碼率+24小時+30天）視頻圖像存儲容量就可以達到1PB，而1萬路的1080P視頻存儲容量超過了10個PB，安防視頻監(jiān)控系統(tǒng)的存儲應用已經進入了存儲PB級年代。
從性能和容量上看，單臺存儲設備的性能和擴展性基本可以滿足PB級以內的視頻接入和圖像存儲需求，但是要接入成千上萬路高清1080P，甚至是4K視頻，存儲幾十PB、甚至上百PB的數據，無論是性能還是容量都無法應對，因為單臺存儲設備無法實現(xiàn)其性能與容量的線性增長；如果采用多臺存儲設備疊加的方式來實現(xiàn)增加的視頻接入和圖像存儲需求，那么多臺存儲設備間相互獨立，缺乏有效的數據整合與協(xié)同處理能力，也會存在以下問題：
1、存儲設備統(tǒng)一管理問題。幾十上百臺的存儲設備的管理必須由存儲設備廠商提供專業(yè)的存儲管理軟件來完成設備的集中管理和維護，或者由安防視頻監(jiān)控平臺廠商來提供存儲集中管理服務軟件。但是由于不同存儲廠商的管理接口和協(xié)議各不相同，安防視頻監(jiān)控平臺廠商在應對第三方存儲設備管理時將變得異常困難；
2、存儲資源按需分配問題。視頻監(jiān)控圖像的存儲時間一般在設計初期必須規(guī)劃好，例如15天、30天、90天等甚至更長時間。后期需要對存儲天數進行調整時，單臺存儲設備的空間資源無論是擴容還是縮容將無法真正做到存儲空間的按需分配；
3、存儲資源融合問題。安防行業(yè)涵蓋門禁、報警、對講、出入口控制、視頻監(jiān)控、電警卡口等子系統(tǒng)，存儲信息包括視頻圖像、圖片、文本、告警信息等。各子系統(tǒng)建設不同的存儲用來保存信息，存儲資源難以有效融合和利用，形成了事實的信息孤島；
4、設備性能和存儲空間共享及利用問題。按多臺存儲設備疊加方式部署的視頻監(jiān)控系統(tǒng)，一般先期建設的存儲設備已經滿負荷運載，而后期建設的存儲設備在考慮系統(tǒng)擴展性后有一定的性能和存儲空間冗余，但這部分性能和存儲空間冗余就很難共享、也不便故障切換。
云存儲解決方案
云存儲技術則能夠很好的解決上述問題。云存儲是在云計算和存儲概念上延伸和發(fā)展出來的一個新的理念，是一種新興的網絡存儲技術，它通過集群應用、網絡技術、分布式文件系統(tǒng)等將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數據存儲和業(yè)務訪問功能。云存儲可對系統(tǒng)內的設備資源、帶寬資源、存儲空間資源等進行有效整合，可為用戶提供大容量、高性能、高可靠的透明存儲服務。相對于單臺存儲設備來說，云存儲系統(tǒng)具備如下優(yōu)勢：
1、線性擴展的高并發(fā)讀寫性能。單臺存儲設備的并發(fā)讀寫性能容易受到控制器的CPU、緩存及網絡接口的能力限制，讀寫帶寬一般在512MB/S~2GB/S之間。而云存儲系統(tǒng)可以利用集群技術將存儲節(jié)點間的帶寬和多臺存儲設備的處理能力進行聚合，隨著存儲節(jié)點數量的增加可以實現(xiàn)讀寫帶寬、處理能力的線性增長，從理論上來說讀寫帶寬可以是無限的。在實測中，已經達到整體讀寫帶寬超過200GB/S的性能指標；
2、海量存儲空間的彈性擴展。存儲空間彈性擴展采用的是虛擬化技術，把眾多存儲設備虛擬化成單一的便于管理的邏輯設備形態(tài)，物理磁盤分割成虛擬磁盤，將虛擬磁盤深化采用細粒度管理和虛擬磁盤操作技術，從而獲得更高更靈活的管理效率、性能和容量空間，通過虛擬化磁盤分配技術，提高磁盤利用率。存儲虛擬化技術可以很好地解決當前各種形態(tài)設備的存儲容量的統(tǒng)一管理和磁盤容量的動態(tài)分割，實現(xiàn)自動化管理，云存儲中的存儲設備數量龐大且基于網絡的異地分布?，F(xiàn)在的存儲設備類型非常豐富，包括傳統(tǒng)的存儲設備如IPSAN、FCSAN、NAS、FCIP等，不同類型和形態(tài)設備之間的容量管理、設備管理，對于龐大的存儲云來講都是一個巨大的挑戰(zhàn)，所有的存儲資源都必須得到有效的管理和利用。采用虛擬化和存儲池技術，可以把不同類型的存儲設備虛擬化成為存儲網絡上的一個節(jié)點，在邏輯結構上消除異構形態(tài)設備的差異，把容量匯聚成一個巨大的虛擬存儲池，并可以更容易地進行邏輯容量分割，大幅度提升存儲效率。
3、統(tǒng)一的設備管理與資源呈現(xiàn)。云存儲解決了多臺存儲設備疊加帶來的設備管理問題。通過集群技術，將幾十臺、幾百臺的存儲設備統(tǒng)一管理，通過統(tǒng)一的運維和管理界面，向用戶呈現(xiàn)整個云存儲系統(tǒng)的資源和設備使用情況：整體空間利用率、單設備空間利用率、讀寫帶寬、設備負載情況、設備運行狀態(tài)等。例如由二十臺云存儲設備構建的一個一千路視頻10PB的云存儲系統(tǒng)，用戶在使用過程中，不需關心前端10000路攝像機的視頻圖像究竟是存儲在哪一臺設備上，只需要選擇后端這個10PB大小的空間統(tǒng)一存儲資源池，就可以非常方便的完成存儲部署，可極大簡化用戶管理與維護的復雜度，有效提高工作效率；
4、提升設備資源處理和存儲空間共享能力。由于設備處理能力、存儲空間、帶寬無法實現(xiàn)聚合，單臺存儲設備的處理能力和存儲空間都無法與其他設備進行有效共享，而云存儲系統(tǒng)則可以靈活的進行統(tǒng)一管理和共享。云存儲采用統(tǒng)一的全局命名空間，可以提供多種數據訪問接口（SOAP、REST、HDFS、POSIX等），支持主流的文件與數據傳輸訪問協(xié)議（NFS/CIFS、iSCSI、HTTP、FTP等），可以與各種上層應用程序進行完美配合；
5、更高的數據安全性與可靠性。像pg科技這樣的行業(yè)優(yōu)秀存儲設備廠商已經通過？榛牟考冗余設計來實現(xiàn)單臺存儲設備的數據安全性和可靠性：雙控制器、雙電源、雙電池、雙風扇、雙BIOS等；數據安全性可以通過RAID、鏡像、快照、復制、CDP等技術實現(xiàn)。但是當存儲設備自身出現(xiàn)故障或數據中心機房斷電時，整個數據讀寫業(yè)務依然將無法交付。所以許多存儲系統(tǒng)，通過災備方案進行保障：同城/異地災備、兩地三中心、雙活等方案來保證業(yè)務的連續(xù)性和可用性，但是在應對視頻監(jiān)控領域的海量數據存儲，采用這些災備方案明顯難以實現(xiàn)（數據量過大，建設成本太高）。云存儲除了單機性能及災備之外，還通過N+M糾刪碼技術實現(xiàn)網絡RAID功能、多副本復制技術能夠實現(xiàn)跨存儲設備間的數據保護。如果某臺存儲設備故障，其上承載的數據寫入業(yè)務都會自動轉移到云存儲系統(tǒng)內的其他存儲設備上，對于數據讀取業(yè)務，則可以通過其他非故障存儲設備運算的方式或者訪問副本的方式完成；
6、總擁有成本(TCO)較低。云存儲系統(tǒng)采用高性價比的以太網絡和存儲節(jié)點構成，比傳統(tǒng)的中高端存儲設備具有更好的性價比優(yōu)勢。云存儲擴容相對比較靈活，可根據業(yè)務隨時隨地的進行彈性擴展，用戶不需要在建設初期一次性購買，當需要時可在線進行性能和容量的方便靈活的擴展，可以在建設、管理、運行、維護等上大大節(jié)省用戶的總擁有成本(TCO)。
為了充分展示云存儲的特性，以下參考pg科技的存儲產品技術來闡述云存儲的幾項技術：
1、高性能的端到端iSCSI塊直存技術。pg科技視頻監(jiān)控存儲產品，針對視頻監(jiān)控業(yè)務的特點，結合pg科技的IP全交換技術、iSCSI塊直存解決方案，從不同層面進行優(yōu)化，提高視頻監(jiān)控的性能，從而達到了業(yè)界領先的性能水平。它實現(xiàn)前端攝像頭將視頻數據通過iSCSI協(xié)議以塊直存的方式寫入存儲設備，無需經過媒體服務器，既縮短了I/O路徑，也不存在文件存儲的碎片問題，從解決方案層面進行優(yōu)化，極大地提高了視頻監(jiān)控的接入和寫入性能。
IP全交換技術和端到端iSCSI塊直存解決方案與傳統(tǒng)IP流媒體交換方案對比如下圖：
2、創(chuàng)新的磁盤數據保護技術和RAID改進技術的高可靠性。pg科技視頻監(jiān)控存儲產品提供全方位的數據保護，從磁盤級到系統(tǒng)間級，多重保護，為數據安全保駕護航，這里重點介紹其中幾種技術。
。1）磁盤壞塊替換。當磁盤出現(xiàn)介質寫錯誤之后，將I/O重新寫到保留的一塊區(qū)域，下次讀這個I/O的時候，就直接從這塊保留的區(qū)域讀出；
。2）創(chuàng)新的超級RAID多重重建方式?！盁o感知”局部重建，如磁盤短暫離線，或者被錯誤拔出后重新插入時只重建數據發(fā)生變化的條塊，不對整個硬盤進行重建；快速重建，當硬盤健康指數超標或者硬盤出現(xiàn)無法修復的讀寫錯誤時，通過快速拷貝方式來重建數據，無法拷貝的條塊，采用異或方式重建；重構重建，如硬盤無法識別，長時間拔出時，按照傳統(tǒng)的重建方式，將數據通過異或運算，將數據恢復到熱備盤上；
3、塊虛擬化RAID-NT。塊虛擬化RAID-NT技術是浙江pg科技根據傳統(tǒng)RAID技術跟未來存儲技術的發(fā)展趨勢，推出的新一代存儲設計技術，結合高速緩存智能排序技術大大提高了業(yè)務性能、重建性能，基本原理如下圖：
塊虛擬化RAID-NT最大的優(yōu)勢就是快速重建。隨著硬盤容量越來越大，RAID重建時間越來越長，導致陣列失效的風險大大增加。一旦在重建的過程中，其他硬盤發(fā)生故障，則會導致整個陣列數據的丟失。塊虛擬化RAID-NT主要就是為了解決這個問題而設計的，不像傳統(tǒng)RAID重建，只有RAID陣列中的硬盤參與重建，數據重構到熱備盤，受限于熱備盤的瓶頸。RAID-NT重建，整個磁盤池中所有的磁盤都會參與重建，磁盤池中的磁盤越多，參與重建的磁盤就越多，重建當然也就越快。重建的時間窗大大縮短了，陣列失效的風險也大大減少。
4、設備異常掉電后的數據保險箱技術。在設備異常掉電后，系統(tǒng)配置的電池會繼續(xù)給系統(tǒng)供電以保證寫緩存整個空間數據保存到內置的“數據保險箱”中。當設備恢復供電正常重啟后，系統(tǒng)會將“數據保險箱”的緩存數據加載到系統(tǒng)緩存中，并根據策略及時把緩存數據刷到RAID磁盤中，確保數據在任何情況下都不會丟失。
5、多重數據保護網絡RAID糾刪碼技術。pg云存儲通過支持N+M糾刪碼技術實現(xiàn)網絡RAID功能，支持節(jié)點間的數據保護。文件寫入的時候，會分成固定大小的數據塊，每個數據塊分成N片，通過糾刪碼算法，得到N+M個數據分片，離散寫入不同的存儲節(jié)點。取數據塊的時候，只需要讀取任意N個數據分片就可以了。相比3份復制33%的磁盤利用率，2份復制50%的硬盤利用率，N+M糾刪碼高達80%的硬盤利用率，大大節(jié)省了用戶成本。如下為4+2的糾刪圖。
源數據分片和冗余數據分片
結束語
安防視頻圖像的存儲特點是對實時的存儲性能要求較高，而云存儲的系統(tǒng)架構決定了它能夠以較低的總擁有成本滿足海量高清視頻的并發(fā)寫入/讀。⒛蓯迪摯燜倥渲煤圖床寮從謾Ｄ殼霸拼媧⒃諂槳渤鞘、智能交通等大行業(yè)市場以及基于公有云架構的民用市場已經得到應用，今后隨著網絡化更全面普及和海量視頻共享需求的快速增長，各行業(yè)的推廣應用前景將更加廣闊。
縱觀整個國內外安防視頻監(jiān)控市場云存儲廠商現(xiàn)狀，數據存儲廠商、安防存儲廠商云集、全力角逐：安防廠商基于對業(yè)務的理解順勢推出安防專用云存儲，數據存儲廠商力推通用云存儲以期滿足用戶多樣化需求，整個安防存儲市場競爭日趨激烈。但是不管數據存儲廠商還是安防存儲廠商要做好安防云存儲，都需要不斷自我提升：數據存儲廠商應該多了解安防視頻監(jiān)控業(yè)務，了解業(yè)務模型的差異，使通用云存儲更符合安防視頻監(jiān)控行業(yè)的實際需求；安防廠商則應該在提供多種數據訪問接口，滿足用戶多樣化業(yè)務需求上多下功夫，相互取長補短，滿足用戶實際使用需求才是產品獲得市場占有率的制勝法寶。而硬盤廠商也要針對安防視頻監(jiān)控存儲市場提供容量更大、穩(wěn)定性更高、具有更高性價比的硬盤產品，促使整個安防云存儲的價格更加具有市場競爭力。
可以預見，隨著越來越多基于海量數據的高清視頻監(jiān)控業(yè)務應用依托云存儲架構解決方案，云存儲在安防領域未來的市場應用將更加寬廣。
浙公網安備 33010802004032號
