如果在百度谷歌去搜索“大數(shù)據(jù)”，你會發(fā)現(xiàn)，大數(shù)據(jù)包括三個V，第一個V數(shù)據(jù)量足夠大;第二個V是指數(shù)據(jù)的種類非常多、結構復雜;第三個V則是對于數(shù)據(jù)的實時性要求非常高。所以，擁有大量的數(shù)據(jù)，能夠快速將這些數(shù)據(jù)進行抽取，挖掘，分析，并且可供擁有者實時訪問，調用，能夠滿足其實際需求，這就是大數(shù)據(jù)。
大數(shù)據(jù)的出現(xiàn)與互聯(lián)網的發(fā)展息息相關，從搜索引擎、社交網站到移動終端，互聯(lián)網上的信息總量正以每年50%的增速不斷膨脹，其中90%的信息來自近三年，包括每個月Facebook上分享的30億條內容，每天12TB的Twitter信息，每天淘寶上超過30億條店鋪、商品瀏覽記錄以及上千萬的成交、收藏記錄等等。據(jù)IDC統(tǒng)計，2011年全球所產生的數(shù)據(jù)總量是1.8ZB(10的21次方)，如果把這些數(shù)據(jù)刻錄到CD此片中門起摞起來的高度等于地球到月球的距離!
大數(shù)據(jù)沒有限定的數(shù)量，比如多少TB，或者EB的數(shù)據(jù)。若是中小企業(yè)用戶，可能企業(yè)內部只有十幾、二十幾個人，那么十個TB對這個企業(yè)來說就是大數(shù)據(jù)了，所以大數(shù)據(jù)的概念因人而異。工信部十二五的物聯(lián)網規(guī)劃引人注意，其中包括海量級的數(shù)據(jù)存儲，數(shù)據(jù)挖掘，圖象視頻的智能分析，以及信息感知和信息傳輸，這些規(guī)劃提供了一個警示信號，即大數(shù)據(jù)是未來的發(fā)展方向，所以在此后的一段時間內，熱門話題會是大數(shù)據(jù)、云存儲、以及對象存儲。這些都是在存儲或者計算領域熱門的話題。
大數(shù)據(jù)——數(shù)據(jù)管理“令人不安”
“大數(shù)據(jù)”是大勢所趨。縱觀整個數(shù)據(jù)市場，甚至存儲市場，用戶的數(shù)據(jù)量正呈現(xiàn)出爆炸式的增長態(tài)勢。大概四、五年前，一個郵件系統(tǒng)用終端存儲就可以滿足一個中等規(guī)模企業(yè)的需要，數(shù)據(jù)量大概在30-50T。隨著企業(yè)員工數(shù)量逐年增長，郵件系統(tǒng)的空間也呈爆炸式增長，由于人員溝通之間郵件更容易成為溝通的橋梁，郵件的附件越來越大，郵件系統(tǒng)的數(shù)據(jù)量亦隨之水漲船高。現(xiàn)在該企業(yè)的數(shù)據(jù)量恐怕已增長到2.5PB甚至更多，需要添置一臺存儲設備或是幾臺儲備設備做郵件系統(tǒng)，可見存儲需求量增長之快。
盡管大數(shù)據(jù)的產生多半是因為企業(yè)發(fā)展及數(shù)據(jù)產生的種類多元化這個“大環(huán)境”所致，但是面對這些快速增長的大數(shù)據(jù)所暴露出的問題還是讓企業(yè)管理者們不安。到底該如何管理這些大數(shù)據(jù)？如何進行安全有效的保護？出現(xiàn)問題時怎樣進行恢復？這些都是企業(yè)待解的難題。
第一、在大數(shù)據(jù)愈演愈烈之時，對于企業(yè)來說，如何經濟、高效訪問數(shù)據(jù)值得探討。并非購買了最高端的存儲，更昂貴的備份存儲就可以高枕無憂，如何經濟、高效的訪問數(shù)據(jù)才是企業(yè)目前需要研究的課題之一。通常情況下，按照數(shù)據(jù)被訪問頻率的高低，可以將這些大數(shù)據(jù)分為熱數(shù)據(jù)和冷數(shù)據(jù)，熱點數(shù)據(jù)放在昂貴的介質上沒有任何異議，但是冷數(shù)據(jù)放在昂貴的介質上面則會導致IT建設成本上升，是一種浪費。所以如何將冷、熱數(shù)據(jù)進行分層存儲，既能優(yōu)化存儲系統(tǒng)的性能，又可以有效地降低存儲系統(tǒng)的整體擁有成本，實現(xiàn)一舉兩得是企業(yè)的突破方向。
第二，如何組織、檢索、存儲、處理分析這些大數(shù)據(jù)。最近開展的題為“大數(shù)據(jù)：商業(yè)領袖們的經驗”的全球調查發(fā)現(xiàn)，稿營收企業(yè)的成功與明確的數(shù)據(jù)戰(zhàn)略之間有著極強的關聯(lián)性。大數(shù)據(jù)的時代迎面襲來，企業(yè)重視大數(shù)據(jù)的潛在價值只是一個良好的開始，如何應對海量數(shù)據(jù)在管理方面的挑戰(zhàn)才是企業(yè)至關重要的策略之一。
第三，數(shù)據(jù)備份。數(shù)據(jù)備份可謂“老生常談”，大家一直在談數(shù)據(jù)需要備份，備份是企業(yè)最后的保障、最后的一個利器，可以保護企業(yè)的系統(tǒng)依然有數(shù)據(jù)可用。10年前的“9.11”事件，早給過我們慘痛的教訓：世貿中心中大約2/3企業(yè)因為未做數(shù)據(jù)備份而導致徹底倒閉。無獨有偶，就在前不久前，雅虎日本服務器系統(tǒng)發(fā)生故障，導致近5700家企業(yè)數(shù)據(jù)丟失，除了小林制藥這樣日常進行數(shù)據(jù)備份的用戶可以在幾天之內恢復數(shù)據(jù)外，其他用戶的數(shù)據(jù)絕無回復的可能，其損失可謂“慘重”。一個企業(yè)的數(shù)據(jù)信息決定著企業(yè)的生死存亡。但是今天，數(shù)據(jù)量的持續(xù)增長增加了備份和恢復的時間，是企業(yè)面臨著嚴重的合規(guī)和宕機風險，數(shù)據(jù)備份卻越來越困難。用戶數(shù)據(jù)量越來越大，備份時間窗口又那么小，設備又是有限的，怎樣快速把大數(shù)據(jù)中的核心數(shù)據(jù)抽取出來，保障企業(yè)數(shù)據(jù)信息能夠適時進行恢復，成為企業(yè)CIO們共同考量的當務之急。
第四、重復數(shù)據(jù)刪除。由于存儲經理們繼續(xù)降低備份數(shù)據(jù)量，重復數(shù)據(jù)刪除技術從而一度成為熱門的技術，但盡管這個話題已經“風靡”了多年，近三、五年的時間大家都在講重復數(shù)據(jù)的刪除。基本上主流的廠商和用戶能夠接受的還是把帶庫刪除。如周一到周五的數(shù)據(jù)一樣，就把重復的數(shù)據(jù)刪掉，以后每天把增量的數(shù)據(jù)保存。但是有一些廠家也提倡在線存儲刪除，這也可行。只是現(xiàn)在某些技術尚不完全成熟，所以現(xiàn)在的重復數(shù)據(jù)刪除重點還是在備份領域涉獵較多。
第五，如何節(jié)省電力、節(jié)約空間、節(jié)約成本等。面臨數(shù)據(jù)爆炸式增長帶來的問題，我們將怎么樣節(jié)省電力、空間、成本呢？近幾年企業(yè)在采購存儲時，會發(fā)現(xiàn)存儲硬件的成本在逐年走低。回顧過去，硬盤價格都是高高在上的，而現(xiàn)在不管是傳統(tǒng)的機械硬盤還是SSD(固態(tài)硬盤)都開始變得越發(fā)“親民”，而價格更低的同時容量卻更高了。但是，對于很多企業(yè)來說，整體的存儲成本卻不降反升，原因就是存儲的管理成本在逐年走高。因為大數(shù)據(jù)的接茬大漲需要大量的人力管理和維護，所以如何節(jié)約IT資源，減少IT人員的壓力等也是現(xiàn)在企業(yè)需要考慮的因素。
隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)信息日益重要，數(shù)據(jù)保護問題日漸突出，各種災難性事件給用戶敲醒很多警鐘。數(shù)據(jù)保護，數(shù)據(jù)的容災是非常重要的話題。以前的數(shù)據(jù)容災，都是拿盤陣來做，從A復制到B，A壞了到B上去，是一個“有甚于無”的方案，屬于一種保護機制。但是今天的企業(yè)要求更加完善的數(shù)據(jù)保護系統(tǒng)，很多企業(yè)已經開始完成了備份數(shù)據(jù)的容災。所以，在備份數(shù)據(jù)方面企業(yè)會面臨很多問題，比如生產系統(tǒng)一般都是在白天運行，或者高峰是在白天去運行，夜間可能有三、五個小時時間窗口，這些窗口怎樣在最短時間之內把盡可能做的數(shù)據(jù)備份出來，是用戶面臨的問題。
另外是災難恢復。當發(fā)生災難能否通過盤陣的方式、通過備份的方式恢復數(shù)據(jù)。現(xiàn)在很多企業(yè)非常關注的是，能否把分支機構也保護起來。例如，國美大中蘇寧，這種零售企業(yè)，在全國每一個省都會有很小的數(shù)據(jù)中心或是小型機房。里面有獨立的一些數(shù)據(jù)，這些數(shù)據(jù)能否集中備份到總部統(tǒng)一保護起來，以最低的成本保護這些“大數(shù)據(jù)”。
最后就是恢復的時間問題。很多企業(yè)在考慮備份時往往會忽略這點，從而導致發(fā)生災難或是意外事件時數(shù)據(jù)恢復時間過長，嚴重影響企業(yè)生產系統(tǒng)的正常運行。所以，大數(shù)據(jù)的挑戰(zhàn)就是備份的窗口。
大數(shù)據(jù)在給行業(yè)帶來巨大商業(yè)價值的同時也帶來了一系列的“疑難雜癥”，面對這些大困惑，我們又該如何應對呢？
談到大數(shù)據(jù)，現(xiàn)在很多企業(yè)都有若干個分支機構，以前用戶對分制機構進行保護的時候拿盤陣來做或者拿物理磁帶通過汽車搬運到其他地方，這樣做既增加人力又消費時間，而且效率很低，恢復起來效果也特別差。所以，大數(shù)據(jù)環(huán)境下的數(shù)據(jù)保護是一個非常完整的解決方案，譬如，企業(yè)擁有一個很小的分支機構，可能是一個分公司或者是其中一個站點。數(shù)據(jù)會很多，企業(yè)有可能各分機構也有一個虛擬帶庫設備，如果是很小的分支機構，有虛擬的帶庫設備，可以先備份當中，然后有這個設備自動的通過很窄的廣域網復制到虛擬帶庫里面去。如果企業(yè)的數(shù)據(jù)中心沒有這樣的虛擬帶庫設備，要減少成本，而只有服務器，也沒有任何問題，只要自動的把數(shù)據(jù)在源端進行重復數(shù)據(jù)的刪除，刪除完成以后，將這些重復數(shù)據(jù)刪除以后的數(shù)據(jù)遠端傳到總部的數(shù)據(jù)中心，這樣來實現(xiàn)數(shù)據(jù)保護，同時企業(yè)還可以再復制另外一份，從一個數(shù)據(jù)中心復制到另外一個數(shù)據(jù)中心，而且這個復制過程是不需要把數(shù)據(jù)做完整性恢復的。A到B傳遞數(shù)據(jù)的時候，已經把重復數(shù)據(jù)刪掉傳過去，但是對于重復數(shù)據(jù)刪除1.0的技術來說，要把這一份數(shù)據(jù)傳過去要恢復成完整的數(shù)據(jù)，以前需要有一個服務器，把所有的完整數(shù)據(jù)算出來以后才能夠傳到另外一個上面，現(xiàn)在企業(yè)需要做的只需要傳遞一份數(shù)據(jù)，而且是沒有重復的，這會大大降低企業(yè)在數(shù)據(jù)保護上的成本。
小結：
在大數(shù)據(jù)時代，盡管這些快速增長的海量數(shù)據(jù)所引發(fā)的一系列蹩腳問題，足以讓CIO們感到炙手可熱，但是管理這些數(shù)據(jù)所帶來的幾多挑戰(zhàn)并不能令人窒息。完整的數(shù)據(jù)保護解決方案或許能夠成為“成人之美”的一劑良藥。畢竟，實踐是檢驗真理的唯一標準，這的確是不易之論……
.