云動(dòng)力高性能云存儲(chǔ)平臺(tái)
隨著近期互聯(lián)網(wǎng)、移動(dòng)手機(jī)、物聯(lián)網(wǎng)及種類繁多的傳感器的迅速發(fā)展,在全世界范圍內(nèi)產(chǎn)生了海量的數(shù)據(jù)信息,這些數(shù)據(jù)的容量不斷呈指數(shù)及增長(zhǎng)。盡管一些大型云模塊提供商如亞馬遜(Amazon S3)、谷歌(Google)的云存儲(chǔ)平臺(tái)已經(jīng)在這方面取得了巨大成功,但安全和隱私已成為企業(yè)用戶最為關(guān)切的問(wèn)題,出于對(duì)安全風(fēng)險(xiǎn)的憂慮,如難以克服的隱私、數(shù)據(jù)保護(hù)和供應(yīng)商鎖定等,使得近年來(lái)企業(yè)的IT部門更關(guān)注私有云,采用自建云存儲(chǔ)的方案,來(lái)提供滿足其個(gè)性化需求和商業(yè)化需求的可用模塊。 其次,由于大數(shù)據(jù)下的分析相比于傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用,具有數(shù)據(jù)量大、查詢分析復(fù)雜等特點(diǎn),目前市場(chǎng)主流云存儲(chǔ)系統(tǒng)的無(wú)法充分提供高效的大數(shù)據(jù)級(jí)別的元數(shù)據(jù)隨機(jī)讀取、搜索及排序。一份AFCOM (data centre trade organisation)的調(diào)查顯示超過(guò)63%的企業(yè)的IT主管已經(jīng)發(fā)現(xiàn)嚴(yán)重存儲(chǔ)成本的增加。據(jù)國(guó)際數(shù)據(jù)資訊公司(International Data Corporation)統(tǒng)計(jì),超過(guò)80%的企業(yè)在尋找并嘗試有效的重復(fù)數(shù)據(jù)刪除的解決方案來(lái)降低企業(yè)運(yùn)營(yíng)成本及增加效率。在這迅速增長(zhǎng)海量的大數(shù)據(jù)中含有大量的沒(méi)必要的重復(fù)數(shù)據(jù),降低了系統(tǒng)性能并大大增加了成本。 云動(dòng)力海量高性能云存儲(chǔ)平臺(tái)采用分布式跨域架構(gòu),實(shí)現(xiàn)存儲(chǔ)負(fù)載均衡,通過(guò)采用不同節(jié)點(diǎn)的多分冗余,實(shí)現(xiàn)存儲(chǔ)服務(wù)高可用性、高安全性,同時(shí)可提供多元化類型的無(wú)限量數(shù)據(jù)存儲(chǔ)。充分滿足用戶對(duì)海量數(shù)據(jù)存儲(chǔ)、下載、交互等各方面的需求。 
- 云存儲(chǔ)平臺(tái)重復(fù)數(shù)據(jù)管理功能:通過(guò)使用SHA-256對(duì)數(shù)據(jù)的檢驗(yàn)值進(jìn)行區(qū)分,若多個(gè)對(duì)象的松散數(shù)據(jù)SHA-256校驗(yàn)值相同,則所有這些對(duì)象的元數(shù)據(jù)中的松散數(shù)據(jù)地址指向全局共享數(shù)據(jù)空間內(nèi)的同一個(gè)存儲(chǔ)路徑位置;若用戶對(duì)于開啟重復(fù)數(shù)據(jù)共享功能的容器進(jìn)行數(shù)據(jù)刪除操作,系統(tǒng)將檢查對(duì)應(yīng)松散數(shù)據(jù)是否還被共享給其他容器,若無(wú)共享,那么刪除對(duì)應(yīng)數(shù)據(jù);若有共享,則仍然保留該數(shù)據(jù)。

- 云存儲(chǔ)平臺(tái)REST接口(API)實(shí)現(xiàn):用戶可以通過(guò)本平臺(tái)提供的REST接口,在任何時(shí)間、任何地點(diǎn)、任何互聯(lián)網(wǎng)設(shè)備上進(jìn)行上傳和下載數(shù)據(jù)。基于該存儲(chǔ)平臺(tái),用戶可以搭建出各種多媒體分享網(wǎng)站、網(wǎng)盤、個(gè)人和企業(yè)數(shù)據(jù)備份等基于大規(guī)模數(shù)據(jù)的服務(wù)。
- 云存儲(chǔ)平臺(tái)企業(yè)私有云安裝包:將環(huán)境和平臺(tái)的安裝和配置編輯成一套腳本文件,方便企業(yè)進(jìn)行安裝。
- 云存儲(chǔ)跨平臺(tái)數(shù)據(jù)同步客戶端:幫助用戶在多臺(tái)設(shè)備和不同操作系統(tǒng)平臺(tái)上自動(dòng)同步、安全備份和輕松共享文件。

云動(dòng)力云存儲(chǔ)平臺(tái)特性:
- 高擴(kuò)展性與高性能:存儲(chǔ)需求最近幾年呈指數(shù)級(jí)增長(zhǎng),針對(duì)文件內(nèi)容和文件元數(shù)據(jù)無(wú)縫且快速地伸縮是必要的。傳統(tǒng)儲(chǔ)存系統(tǒng)通常將文件數(shù)據(jù)及其元數(shù)據(jù)存儲(chǔ)在同一個(gè)文件系統(tǒng)中,并且大多數(shù)時(shí)候儲(chǔ)存在相同的物理設(shè)備上。現(xiàn)代一些分布式系統(tǒng),為了提升擴(kuò)展性和性能,將元數(shù)據(jù)分開存儲(chǔ)在一個(gè)或多個(gè)元數(shù)據(jù)服務(wù)器中。然而,其中的大多數(shù)系統(tǒng)在高并發(fā)訪問(wèn)率的情況下仍然遭遇瓶頸。云動(dòng)力云存儲(chǔ)平臺(tái)具備PB級(jí)文件管理能力,支持上十億條元數(shù)據(jù)記錄高效存寫讀取。
- 數(shù)據(jù)持久性:相對(duì)于硬件故障與無(wú)法預(yù)測(cè)的災(zāi)難,更為常見(jiàn)的是用戶人為的錯(cuò)誤,即數(shù)據(jù)無(wú)意地刪除或重寫。云動(dòng)力云存儲(chǔ)平臺(tái)具有冗余、版本控制、恢復(fù)機(jī)制等特性,以確保數(shù)據(jù)的持久性和可用性。
- 支持多種價(jià)格模型:傳統(tǒng)軟件價(jià)格模型是一次付費(fèi)終身使用。云動(dòng)力云存儲(chǔ)平臺(tái)具備一套高效的監(jiān)控框架,記錄所有資源的使用狀況,包括網(wǎng)絡(luò)數(shù)據(jù)傳輸、I/O請(qǐng)求、存儲(chǔ)數(shù)據(jù)量(文件內(nèi)容和文件元數(shù)據(jù))和用于計(jì)算的資源消耗。 本平臺(tái)支持按需付費(fèi)、按月租付費(fèi)等多種方式。
- 安全模型:云動(dòng)力云存儲(chǔ)平臺(tái)安全模型用于保證存儲(chǔ)的文件能夠在正確的時(shí)間、正確的地點(diǎn)被正確的人訪問(wèn),并且在保證性能的同時(shí)提供適當(dāng)且準(zhǔn)確的安全控制。

應(yīng)用場(chǎng)景:
不同用戶使用云存儲(chǔ)服務(wù)的目的不同,存儲(chǔ)文件的大小和格式也不同。一些用戶使用云來(lái)存儲(chǔ)大的音視頻文件,一些用戶則使用云來(lái)存儲(chǔ)大量相對(duì)較小的文件。不同的使用目的形成訪問(wèn)存儲(chǔ)文件方式的多樣性。文件本身的一些自然屬性,如大小、格式和訪問(wèn)方式等,也是影響云存儲(chǔ)服務(wù)質(zhì)量的主要因素。云動(dòng)力云存儲(chǔ)平臺(tái)可以靈活運(yùn)用在多種領(lǐng)域,例如:
- 計(jì)算存儲(chǔ):大量科學(xué)界和企業(yè)界的應(yīng)用對(duì)計(jì)算和數(shù)據(jù)的需求越來(lái)越多。數(shù)據(jù)密集型和IO 密集型的應(yīng)用,例如生物信息學(xué)分析和日志處理,需要TB級(jí)的存儲(chǔ)數(shù)據(jù)和頻繁的I/O操作。對(duì)于這類應(yīng)用,要想獲得全局的性能提升,通常需要云存儲(chǔ)系統(tǒng)提供與數(shù)據(jù)級(jí)規(guī)模相當(dāng)?shù)奶幚砟芰ΑT苿?dòng)力云存儲(chǔ)平臺(tái)支持MapReduce框架部署于平臺(tái)之上,該框架可以通過(guò)設(shè)置計(jì)算任務(wù)、處理存儲(chǔ)在存儲(chǔ)平臺(tái)上的數(shù)據(jù)來(lái)提供按需服務(wù)。
- 小文件存儲(chǔ):許多大型電子商業(yè)公司和社交網(wǎng)站存儲(chǔ)了大量的小文件,這些文件大多是圖像文件,并且數(shù)量在持續(xù)不斷增長(zhǎng)。每一秒鐘,都會(huì)有大量用戶請(qǐng)求這些文件。由于小文件的元數(shù)據(jù)相對(duì)于文件本身占用更多空間,因此對(duì)小文件的大量并發(fā)訪問(wèn)將導(dǎo)致對(duì)元數(shù)據(jù)的不斷查詢,進(jìn)而造成過(guò)度和冗余的I/O操作。這種情況最容易造成系統(tǒng)瓶頸。云動(dòng)力存儲(chǔ)平臺(tái)從設(shè)計(jì)上完全解決小文件存儲(chǔ)和讀寫可能造成的性能問(wèn)題,支持PB級(jí)海量大小文件操作。
- 元數(shù)據(jù)操作密集型存儲(chǔ):元數(shù)據(jù)是描述數(shù)據(jù)文件的數(shù)據(jù)。通常,元數(shù)據(jù)包括事件的時(shí)間、作者姓名、位置信息和標(biāo)題等。各種科學(xué)實(shí)驗(yàn)的相關(guān)信息,如溫度、濕度等其它一些數(shù)據(jù),都可以作為實(shí)驗(yàn)文件的元數(shù)據(jù),且已經(jīng)成為文件存儲(chǔ)中不可分割的一部分。對(duì)于元數(shù)據(jù)密集型存儲(chǔ)的應(yīng)用,元數(shù)據(jù)的精確標(biāo)識(shí)和對(duì)元數(shù)據(jù)查詢的支持將給存儲(chǔ)的原文件帶來(lái)較大的附加值,并確保分析和計(jì)算能夠正確高效地進(jìn)行。但是大多數(shù)存儲(chǔ)系統(tǒng)不具備對(duì)元數(shù)據(jù)進(jìn)行高效搜索的能力,特別是對(duì)用戶定義的元數(shù)據(jù)。云動(dòng)力云存儲(chǔ)平臺(tái)提供全面的對(duì)對(duì)象數(shù)據(jù)的存儲(chǔ)服務(wù)的同時(shí),并提供元數(shù)據(jù)的存儲(chǔ),索引和搜索服務(wù)。
