云計算下的大數(shù)據(jù)處理技術(shù)研究

伴隨科學(xué)技術(shù)的迅猛發(fā)展，進入21世紀信息時代以來，數(shù)據(jù)呈現(xiàn)出海量增長的趨勢，傳統(tǒng)數(shù)據(jù)存儲模式已然難以滿足現(xiàn)代社會大眾生活生產(chǎn)的需求。在該種背景下，大數(shù)據(jù)應(yīng)運而生，由此要求對原本的數(shù)據(jù)處理框架開展革新以滿足大數(shù)據(jù)應(yīng)用的需求。進而，云計算也應(yīng)運而生，云計算技術(shù)可有效優(yōu)化大數(shù)據(jù)存儲、處理等方面的問題。近年來，伴隨云計算的不斷發(fā)展，云計算下的大數(shù)據(jù)處理表現(xiàn)出大容量、便捷處理、多元化、信息準確等特點。如何依托云計算技術(shù)對大數(shù)據(jù)開展高效處理，已然轉(zhuǎn)變成信息技術(shù)發(fā)展亟待解決的一項重要課題。因而，對云計算基礎(chǔ)下的大數(shù)據(jù)處理技術(shù)應(yīng)用開展研究，有著至關(guān)重要的現(xiàn)實與理論價值。

1  大數(shù)據(jù)與云計算相互間的關(guān)系

云計算在當前社會發(fā)展中扮演著十分重要的角色。云計算可自根本上使人們的生活、工作、學(xué)習發(fā)生極大轉(zhuǎn)變，其已經(jīng)成為當前社會所不可或缺的一項新型技術(shù)。不論是哪一位終端用戶，均可獲取到由云計算所提供的計算服務(wù)，換言之，云計算可為各行各業(yè)的人們提供計算服務(wù)，并且其還具有效率高、成本低等優(yōu)點，無需用戶掌握專業(yè)技術(shù)便可直接使用，可實現(xiàn)對滿足用戶多種不同需求的有效滿足。云計算憑借其各式各樣的優(yōu)點，可有效解決大數(shù)據(jù)存儲、處理的需求，進而作為大數(shù)據(jù)發(fā)展的可靠載體。相對的，大數(shù)據(jù)發(fā)展的嚴苛要求也推動了云計算的不斷發(fā)展，大數(shù)據(jù)與云計算相互間具有相互促進、相互作用的關(guān)系。

2  云計算及其關(guān)鍵技術(shù)

2.1  數(shù)據(jù)存儲技術(shù)

為了實現(xiàn)對云計算的有效應(yīng)用，應(yīng)當確保信息數(shù)據(jù)讀寫存儲的安全可靠，在分布式存儲技術(shù)的支撐下，可將龐大的信息數(shù)據(jù)進行備份處理，進而為信息數(shù)據(jù)提供安全保障。除此之外，依托數(shù)據(jù)加密技術(shù)、冗余存儲技術(shù)等，可有效防止信息數(shù)據(jù)遭受泄漏或篡改。于此環(huán)節(jié)，諸多存儲系統(tǒng)在云計算系統(tǒng)中得到廣泛推廣，諸如Google研發(fā)的非開源GFS、Hadoop團隊研發(fā)的GFS等等。

2.2  數(shù)據(jù)管理技術(shù)

分布式處理與分析是云計算中的一項關(guān)鍵技術(shù)，其可為使用者提供高質(zhì)量的服務(wù)，但是需要開展好對數(shù)據(jù)管理技術(shù)的管理工作。于此環(huán)節(jié)，目前得到廣泛推廣的數(shù)據(jù)管理技術(shù)，包括有開源數(shù)據(jù)管理模塊HBase、BigTable數(shù)據(jù)管理技術(shù)等。云服務(wù)平臺管理，如圖1所示。 

圖1  云服務(wù)平臺管理示意圖

2.3  虛擬化技術(shù)

虛擬化技術(shù)也是云計算中的一項關(guān)鍵技術(shù)，其主要作用于借助相關(guān)方式方法將真實環(huán)境中的計算機系統(tǒng)、組件等轉(zhuǎn)移至虛擬環(huán)境中，然后結(jié)合計算機操作系統(tǒng)、軟件、硬件等構(gòu)建虛擬化層結(jié)構(gòu)。通常情況下，可將虛擬層劃分成上中下三層，上下層結(jié)構(gòu)通過中間層得以連接，可獲取多項類似功能，進而實現(xiàn)在虛擬化環(huán)境中的有序運行。

3  云計算下的大數(shù)據(jù)處理技術(shù)應(yīng)用

3.1  云計算下的大數(shù)據(jù)采集技術(shù)應(yīng)用

通常情況下，云計算下的大數(shù)據(jù)采集技術(shù)應(yīng)用，可將其劃分成兩種，即為分布式數(shù)據(jù)采集和集中式數(shù)據(jù)采集。其中，分布式數(shù)據(jù)采集相較于集中式數(shù)據(jù)采集表現(xiàn)出更好的靈活性，不過集中式數(shù)據(jù)采集則具備更好的全局性。而在大數(shù)據(jù)采集技術(shù)應(yīng)用實踐中，應(yīng)當結(jié)合對應(yīng)數(shù)據(jù)的特征來挑選適用的數(shù)據(jù)采集技術(shù)，即為倘若大數(shù)據(jù)表現(xiàn)出結(jié)構(gòu)式、半結(jié)構(gòu)等特征，則可依托云計算技術(shù)對數(shù)據(jù)開展分布式采集，從而確保池內(nèi)的數(shù)據(jù)趨于同構(gòu)化，幫助用戶進行數(shù)據(jù)分類；而倘若數(shù)據(jù)存在于不同組織對象相互間，且組織相互間還是彼此獨立的，則可應(yīng)用集中式、分布式有效相融的數(shù)據(jù)采集技術(shù)。

3.2  云計算下的大數(shù)據(jù)存儲技術(shù)應(yīng)用

對于當前時代背景下所需處理的海量數(shù)據(jù)，傳統(tǒng)計算方式已然難以滿足當前時代的計算存儲要求，而在云計算下，可實現(xiàn)對不同數(shù)據(jù)屬性的有效分類，對不同類型、不同資源屬性的數(shù)據(jù)均可予以單獨存儲。這是因為云計算技術(shù)的數(shù)據(jù)存儲可對數(shù)據(jù)屬性進行查詢分析，然后結(jié)合數(shù)據(jù)的屬性列便可實現(xiàn)對不同屬性數(shù)列的存儲，進一步極大水平提高云計算系統(tǒng)的數(shù)據(jù)處理工程量及數(shù)據(jù)處理效率，將采集的數(shù)據(jù)依據(jù)對應(yīng)數(shù)據(jù)屬性進行列式存儲，確保數(shù)據(jù)庫中處理系統(tǒng)鄰近數(shù)據(jù)相互間保持良好的同質(zhì)性，進一步提高對數(shù)據(jù)的壓縮效率，節(jié)省更多的存儲空間，達到存儲更多數(shù)據(jù)的目的。

3.3  云計算下的大數(shù)據(jù)聯(lián)機技術(shù)應(yīng)用

云計算下的大數(shù)據(jù)聯(lián)機技術(shù)，是指對數(shù)據(jù)開展不同維度的整合處理，這與大數(shù)據(jù)庫的組織形式存在一致性，即為依托互聯(lián)網(wǎng)聯(lián)機途徑，對云計算系統(tǒng)數(shù)據(jù)庫與大數(shù)據(jù)的數(shù)據(jù)處理技術(shù)及整合技術(shù)進行有機融合，進一步使計算機處理系統(tǒng)的運算功能得到進一步優(yōu)化，促使在對大數(shù)據(jù)進行分類及處理環(huán)節(jié)，便可完成對數(shù)據(jù)的實時運算，提高數(shù)據(jù)庫整理系統(tǒng)的運算效率。云計算下的大數(shù)據(jù)聯(lián)機技術(shù)應(yīng)用，尤為強調(diào)對數(shù)據(jù)的決策分析，并且為用戶提供更直觀的數(shù)據(jù)處理結(jié)果，依托分布式并行的計算手段，對大數(shù)據(jù)中綜合性數(shù)據(jù)開展處理，進一步建立起多維化的分析模型，在這一模型的支持下，進而可使數(shù)據(jù)處理的最終結(jié)果變得更為直觀。為用戶制定決策提供有力依據(jù)。

3.4  云計算下的大數(shù)據(jù)挖掘技術(shù)應(yīng)用

聯(lián)機分析對數(shù)據(jù)的處理只不過是表面的，其獲得的數(shù)據(jù)信息價值較為有限，無法獲取數(shù)據(jù)更深層次的含義及內(nèi)在關(guān)聯(lián)。云計算下的大數(shù)據(jù)挖掘技術(shù)，則是對聯(lián)機分析技術(shù)的有效延伸，進一步獲取更為深層次的數(shù)據(jù)信息，找到用戶的信息偏好，使用戶可找到自身需求的系想你，提高信息采集的深度、廣度，并將用戶需求的數(shù)據(jù)信息借助相關(guān)概念、規(guī)律或模型的方式予以呈現(xiàn)。云計算下的大數(shù)據(jù)挖掘技術(shù)，通常應(yīng)用的是分布式并行挖掘技術(shù)。相較于其他串行方式，云計算下并行數(shù)據(jù)挖掘可借助機器集群拆分分布式系統(tǒng)中的并行任務(wù)，并將拆分完畢的每一項任務(wù)逐一轉(zhuǎn)至對應(yīng)的機器開展處理，進一步實現(xiàn)大規(guī)模數(shù)據(jù)處理，極大水平降低時間成本。

3.5  云計算下的大數(shù)據(jù)可視化技術(shù)應(yīng)用

近年來，云計算下的大數(shù)據(jù)挖掘技術(shù)得到了越來越廣泛的推廣，在此基礎(chǔ)上，大數(shù)據(jù)可視化技術(shù)也逐漸進入人們視野，并推動了數(shù)據(jù)挖掘技術(shù)的有效創(chuàng)新。云計算下的大數(shù)據(jù)挖掘技術(shù)，是指通過圖形、圖像方式，將數(shù)據(jù)呈現(xiàn)在用戶面前，對數(shù)據(jù)開展可視化處理，使用戶可更為直觀地了解到數(shù)據(jù)與數(shù)據(jù)相互間的作用關(guān)系，依托圖形、圖像呈現(xiàn)的方式，使用戶可提高對數(shù)據(jù)信息的有效認識，使大數(shù)據(jù)挖掘技術(shù)變得進一步形象化，使用戶可更為便捷地獲取自身需求的信息，加快對信息數(shù)據(jù)的檢索速度，獲取數(shù)據(jù)更為形象、更為深層次的信息，如此一來，可便于用戶構(gòu)建立體化的多維模型，使大數(shù)據(jù)挖掘技術(shù)在云計算下發(fā)揮出更大的效能。

4  結(jié)語

總而言之，21世紀信息時代，云計算的推廣促進大數(shù)據(jù)實現(xiàn)了長足的發(fā)展，首先傳統(tǒng)信息數(shù)據(jù)存儲方式實現(xiàn)了有效創(chuàng)新，使大數(shù)據(jù)復(fù)雜繁多、存儲空間大等特征優(yōu)勢得到了滿足，其次為大數(shù)據(jù)存儲、處理創(chuàng)造了良好契機。伴隨云計算的不斷發(fā)展，大數(shù)據(jù)管理將更趨向于數(shù)據(jù)分析、挖掘及管理模式的創(chuàng)新?，F(xiàn)階段，云計算下的大數(shù)據(jù)處理技術(shù)日趨成熟，依托云計算進一步提升大數(shù)據(jù)存儲及處理方式，實現(xiàn)更可靠的數(shù)據(jù)挖掘及可視化技術(shù)，是今后有待解決的重要課題。鑒于此，大數(shù)據(jù)行業(yè)相關(guān)人員務(wù)必要不斷革新思想觀念，提高對大數(shù)據(jù)與云計算相互間關(guān)系的有效認識，加強對云計算及其關(guān)鍵技術(shù)的深入分析，積極促進大數(shù)據(jù)的有序健康發(fā)展。

本文來源：《企業(yè)科技與發(fā)展》：http://m.00559.cn/w/qk/21223.html