作者:劉恕
U盤是個人日常使用的信息存儲設備,存儲量最多達到幾個GB。但是,當面對數十TB(1TB相當于1024GB)乃至數千TB級海量數據、多臺計算機聯網共同讀、寫信息時,數據存在哪里,又如何管理呢
?
在中科院計算所國家高性能計算機工程技術研究中心(以下簡稱“工程中心”)的機房,記者看到一排排嗡嗡作響的機柜和顯示著數據的屏幕正在高速地運轉。正是這些存儲數量達幾十個TB的“黑匣子”―――網絡存儲支持著遙感測算、石油勘探等行業對海量數據的大規模、分布式、并行訪問的需求。在863計劃的支持下,工程中心相繼研發出適合我國國情的藍鯨系列網絡存儲產品,并已廣泛應用于國防、軍隊、科研、教育等眾多領域。
推進我國信息化深度
網絡存儲系統到底是什么?中國科學院計算技術研究所總工程師徐志偉解釋說,網絡存儲就是將存儲設備直接連接到網絡上,網絡存儲技術就是對這種直接連接到網上的存儲設備進行組織與管理,形成網絡存儲系統,并管理和控制網絡硬盤的使用。
他介紹說,網絡計算機平臺有4類系統―――服務器、存儲系統、路由器等網絡設備以及微機等客戶端設備。其中,存儲系統不是通常所說的微機和服務器中的硬盤,而是盤陣和網絡存儲之類的系統。服務器和存儲系統通常又被稱為服務器端系統,它們通過網絡與微機等客戶端設備互聯起來。
存儲系統是近年來增長最快的網絡計算技術,其全球市場銷售額已經超過了服務器市場,尤其在北美和日本等發達地區更是如此。這種趨勢在今后還會繼續,因為不論是局域網還是廣域網系統中,數據量增長都還在提速。
“一個國家的信息化廣度可以粗略地用客戶端設備量來表示,客戶端設備越多,在一定程度上也反映了用戶越多;一個國家的信息化深度則可用服務器端設備量來表示,這是因為一個國家的信息化程度越深,聯網程度就越高,服務器端的應用數據和應用程序就越多,應用水平也就越先進。”
來自IDC的一組數據顯示,中國在信息化廣度方面已經有了長足的進步,微機市場銷售額已經超過了日本。但是,我國信息化的深度不僅與發達國家有較大的差距,甚至低于世界平均水平。我國在存儲系統的銷售額只占全球市場的1.5%,比近鄰韓國還低許多。“加快存儲市場的高速發展是推進信息化深度的前提和要求。”徐志偉如是說。
為此,2001年,計算所面向網絡計算的發展趨勢,通過中科院“百人計劃”引進了國外優秀人才許魯博士,開始了網絡存儲技術及其產品的研究工作,工程中心成為當時國內進行僅有的幾家國產存儲技術研究的機構之一。
力挺自主創新存儲產品
數據表明,今天我國的存儲市場,僅占全球的1.5%,而服務器市場占到了4%,網絡和通訊設備市場也在4%以上,存儲行業發展嚴重失衡。
徐志偉分析說,造成我國存儲系統落后的主要原因是國產化程度很低,因而成本仍然很高。過去幾年里,我國的微機產業和服務器產業有了很大的發展。但是,我國幾乎還沒有存儲系統的品牌產品,更缺乏自主創新的存儲系統技術。
深諳信息技術發展之道的許魯告訴記者,從歷史上來講,信息技術有三個大的技術發展階段,分別是計算技術浪潮,網絡技術浪潮和存儲技術浪潮。計算技術浪潮發生在上世紀80年代中期,以CPU為主要目標,包括PC和服務器方面的發展。在國際上,形成了英特爾和AMD兩大巨頭。同時,中國本土產業也形成了聯想和浪潮等廠商。網絡技術浪潮形成于90年代中期,它提供一般的PC機與服務器之間的通路。在國際上形成了思科等國際巨頭,與之相應國內形成了中興、華為等廠商。在2000年后形成的存儲技術浪潮,其主要目標是提供數據內容。在國際上造就了EMC等廠商,而在國內其產業幾乎還是一片空白。
目前,我國的存儲市場多數集中在IBM、惠普、EMC這些國際知名品牌手里。國內自主品牌在存儲領域,只占8.7%的市場份額。其中有80%以上為國外貼牌加工或生產瀕臨淘汰的低端產品。
“如果把8.7%與20%這兩個數字相乘的話,你可以發現真正的自有技術的產品,只占到不足2%的市場份額。在這不足2%的市場份額內,具有市場競爭力的核心存儲產品幾乎是少之又少。”許魯痛心地說,我們可以一輩子用國外的舶來品,但是不僅要為之付出高額的成本,更重要的是用戶在需求上沒有任何發言權。
許魯的觀點在市場上得到印證。據有關機構預測,5年內我國網絡存儲市場規模將達到近100億人民幣。從市場需求角度,對于國有品牌及自主技術,用戶需求強烈,渴望得到符合國情的產品、解決方案和專業化服務。這無疑為自主創新的存儲產品在中國的應用和發展提供了重要的契機。
藍鯨做到4個“最”
“存儲系統不是我們日常使用的U盤或電子盤,更不是人們常見的磁盤陣列,而是由多個網絡智能化的存儲控制器/設備和管理系統構成的。”許魯打比喻說,如果把U盤和電子盤作為PC,磁盤陣列則相當于我們計算角度上的服務器,那么存儲系統就是高性能的計算機。由此可見,存儲是計算機系統中比較難的領域,技術門檻高,屬于計算機的核心技術。
網絡存儲難在既要存儲數據,又要有效管理和調度數據的使用。幾年來,許魯帶領他的團隊開展了網絡存儲研究、開發和產品化等一系列的工作,解決了包括以存儲為核心的系統管理,計算資源、存儲資源和數據資源的按需部署,數據資源的備份、恢復、容災和共享等關鍵技術。
在863計劃“海量存儲系統技術與集成―――以海量存儲為核心的網絡服務器系統”和“虛擬化網絡存儲功能軟件”等課題的大力支持,工程中心已經設計并實現了四個以網絡存儲為核心的大型系統平臺。這四個系統包括藍鯨虛擬存儲系統、藍鯨服務部署系統、藍鯨集群存儲系統和藍鯨數據備份系統。其中,藍鯨虛擬存儲系統為資源的分離提供了基礎平臺;在分離的基礎上,藍鯨服務部署系統可以將計算資源和系統數據動態合成,按需構成用戶所需的計算環境;而多計算機間的數據共享則由藍鯨集群存儲系統支持。這幾個系統數據都可由藍鯨數據備份系統來提供數據備份支持,共同構成大型存儲系統。
在這四大系統的基礎上,工程中心成功開發出藍鯨網絡存儲系列產品。這些產品填補了國內在網絡存儲行業的產品空白,實現了具有自主特色的虛擬化和按需服務等先進技術,不僅在性能、可靠性、可擴展性、可管理性達到了國際同類產品的先進水平,而且成本降到了1/3。藍鯨存儲系統能夠有效地管理512TB的存儲資源,并能按照用戶的需求動態劃分資源,藍鯨服務部署系統能夠在1分鐘之內提供用戶所需要的操作系統和應用軟件服務。
更令人欣喜的是,藍鯨存儲產品投入應用到國防、軍隊、教育、政府、科研、能源、遙感、旅游、廣電、視頻監控等多個行業和領域使用后,得到了國內外同行和用戶的認可與好評,在大型存儲系統的應用中成為國內產品系統規模最大、產品技術成熟度最高、實際應用領域是最寬、潛在覆蓋領域最廣泛的國內網絡存儲產品。
2006年9月,全球最具權威的IT研究與咨詢機構Gartner對藍鯨集群存儲系統在石油物探領域的應用情況進行研究。這是該機構首次對中國國產存儲產品做出客觀的評價。報告稱,用戶非常滿意藍鯨集群存儲的使用,它支持4個主要的計算工作,甚至可支持4個工作同時運行。到目前為止,系統還未遇到任何系統性能瓶頸問題。
“明年我們將要研發出PB(1PB相當于1024TB)級存儲容量的產品,把相應的應用成功移植上去。”展望未來,許魯充滿希望地說。
數字863
藍鯨網絡存儲產品的應用
藍鯨部署系統應用在政府、科研和軍隊等領域,如肇慶市人民政府信息中心、深圳先進技術研究院、總裝某部、海軍某部等單位,主要用于普通和保密辦公環境,方便了辦公環境中的計算機系統維護,使系統管理員對計算機的管理能力由之前平均每人50―100臺計算機增長到200臺,另一方面是通過基于PCSAN的保密辦公環境解決方案,有效地防止了網絡泄密事件的發生。
藍鯨部署系統在能源領域里,如新疆油田公司勘探開發研究院,主要用于大型計算機集群的系統部署,目前最大支持計算節點達到260個。同時部署190個計算節點時,部署時間從之前使用傳統的網絡分發方式時所需的6―12小時縮短為不到1個小時,大大提高了集群系統的部署效率,也方便了計算資源的靈活調度。
藍鯨集群存儲系統在軍隊和國防領域,主要應用在核模擬、數字風洞、文獻檢索、遙感數據處理等應用中。在國防領域某研究所的數字風洞應用中,該系統已經穩定運行一年半,其表現出的性能是傳統網絡文件系統的10倍。
藍鯨集群存儲系統在科研和能源等領域,如深圳先進技術研究院、新疆油田公司等應用單位,主要應用在集群計算方面,最長應用時間已經超過兩年半。目前該系統在新疆油田的地震數據處理中,最大支持計算節點已達到289個,計算效率提高了1―3倍。