9月26日,烏鎮世界互聯網大會?互聯網發展論壇上,阿里云自主研發的分布式存儲系統“盤古”入選世界互聯網領先科技成果。不少用戶表示對這一2B級別的設備知之甚少,那么阿里云盤古到底是什么呢?
12306上購票告別火車站排隊、人工智能技術的全面普及和應用、疫情期間全社會快速組織起在線學習辦公……存儲一直是 IT 設施中最重要的一環,隨著數字經濟發展和云計算的普及,海量數據需要被安全保存和挖掘價值。盤古解決了超大規模下數據不丟不錯和高可用的難題,承載和保障了來自全球各行業的數十EB數據,可應對未來ZB級的存儲挑戰。
據介紹,盤古是國產飛天云操作系統的關鍵技術之一,通過一套分布式的存儲架構,支持規模無限擴展,可承載不同的應用負載, 覆蓋低延遲、高吞吐、高并發等多個復雜場景,在大幅降低企業IT成本的同時,可靠性遠超傳統存儲體系。今天的盤古系統廣泛部署在全球數十個大型數據中心,服務阿里云上百萬的政企客戶,提供穩定可靠的存儲能力。
什么是盤古?
盤古是阿里云自研的分布式存儲系統,是阿里云底層的統一存儲架構,采用了分布式系統先進的容錯架構和柔性平臺設計,具備彈性伸縮、自動負載均衡等能力,大幅提高了存儲系統的可靠性和安全性,可支持塊存儲、對象存儲、表格存儲、文件存儲、離線大數據處理等多種存儲模式。目前已經圍繞盤古系統獲得發明專利超過190件。
經過二十年的技術演進,阿里巴巴實現了統一存儲的目標,以“盤古“系統做為統一的底座,通過標準化、服務化和開放化的方式建立了完整的存儲產品和服務體系,統一服務內部和外部的客戶。
盤古團隊自2008年開始組建,2009年開始推出第一個版本,2013年完成上線單集群5K臺的規模的,隨后2015年突破了單集群上萬臺的技術門檻,2017年正式推出盤古2.0并成功支撐了此后的天貓雙11全球狂歡節。
2009年,國產云計算操作系統飛天寫下第一行代碼,就是一位阿里云存儲工程師寫的。此后盤古1.0正式發布,為彈性計算虛擬機、阿里金融、郵箱、搜索提供通用存儲服務。
2015年,盤古成功實現了單集群10000臺服務器規模的部署,擁有云計算產業中最齊全的存儲產品線,成長與效率躍居榜首。同年還打破了Sort Benchmark世界記錄,100TB排序完成時間僅需377秒。
2018年,面向人工智能、科學計算、深度學習等未來存儲場景,阿里云分布式存儲系統盤古2.0正式發布,相比上一代整體IOPS性能提升50%,同時推出基于盤古2.0的ESSD高性能云盤,IOPS從2萬提升到了100萬,高達50倍之多。
目前,盤古作為數據統一存儲底座在阿里巴巴得到了規模化應用,支持了所有數據存儲業務,包括阿里集團的所有電商核心交易系統、螞蟻關鍵業務、阿里云各類存儲產品等。
阿里云飛天操作系統代碼
哪些人在用盤古?
對數據存儲和安全有強烈需求的客戶都在使用盤古,包括大量線下的用戶。
阿里云存儲服務客戶包括:國家天文臺、華大基因、新浪微博等,覆蓋基因、渲染、教育、醫療、制造、生命科學、政府機構、廣電傳媒、金融、零售等多行業應用。
“天文學是一門基于觀測的科學,隨著一系列重大天文觀測計劃和大規模數值模擬計劃的實施,天文學已成為‘大數據’科學的領跑者。但海量的科學數據不僅是科學研究的必備品,也是寶貴的科學普及和教育資源,在‘互聯網+’和云計算時代更是如此。”國家天文臺研究院趙剛說。
小鵬汽車物聯與商業技術高小鵬汽車級總監譚蔚華說:“阿里云存儲解決方案幫助小鵬汽車在數據采集、數據運輸、數據上傳和數據計算全鏈條上進行時間、成本、安全和計算效率等方面的改善,整體車聯網技術協同研發效率提升 40% 。”(記者 溫婧)