Da數(shù)據(jù)-3/現(xiàn)在越來越成熟，在系統(tǒng)研發(fā)、應(yīng)用開發(fā)、分析等方面的分類會(huì)更加準(zhǔn)確細(xì)致?？偟膩碚f，Da 數(shù)據(jù)有五個(gè)部分。數(shù)據(jù)采集，數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)清洗，數(shù)據(jù)挖掘，數(shù)據(jù)可視化。數(shù)據(jù)收藏包括硬件收藏，如OBD，軟件收藏，如滴滴、淘寶。數(shù)據(jù)存儲(chǔ)包括NOSQL、hadoop等。數(shù)據(jù)清洗包括話語分析、流媒體格式化等。數(shù)據(jù)挖掘包括相關(guān)性分析、相似性分析、距離分析、聚類分析等等。

大數(shù)據(jù) 技術(shù)指海量定量數(shù)據(jù)哪個(gè)對(duì)自己有用，分析處理。其現(xiàn)階段的主要特征主要有4個(gè)。品種數(shù)據(jù)種類繁多；低值密度；速度處理速度快；數(shù)據(jù)由系統(tǒng)或手動(dòng)捕獲，并進(jìn)行收集、整合和計(jì)數(shù)。這些數(shù)據(jù)的集中指向性很強(qiáng)，在反饋過程中已經(jīng)指向了明確的目標(biāo)。

當(dāng)前存儲(chǔ)海量數(shù)據(jù)技術(shù)主要包括NoSQL、分布式文件系統(tǒng)、傳統(tǒng)關(guān)系型數(shù)據(jù)庫。隨著互聯(lián)網(wǎng)行業(yè)的不斷發(fā)展，越來越多的數(shù)據(jù)產(chǎn)生，而這些數(shù)據(jù)是半結(jié)構(gòu)化和非結(jié)構(gòu)化的，數(shù)據(jù)很可能是不準(zhǔn)確和多變的。這樣，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫就無法充分發(fā)揮其優(yōu)勢(shì)。所以目前互聯(lián)網(wǎng)行業(yè)傾向于使用NoSQL和分布式文件系統(tǒng)來存儲(chǔ)海量 數(shù)據(jù)。以下是一些常見的NoSQL和分布式文件系統(tǒng)。

HBase是ApacheHadoop的子項(xiàng)目，其理論基礎(chǔ)是Google論文Bigtable:結(jié)構(gòu)化數(shù)據(jù)的AdistributedStorageSystem。HBase適合存儲(chǔ)半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。HBase的數(shù)據(jù)模型是一個(gè)稀疏的、分布式的、持久的多維映射。HBase也有行和列的概念，和RDBMS一樣，但是不同。

About 數(shù)據(jù)來源，互聯(lián)網(wǎng)和物聯(lián)網(wǎng)是產(chǎn)生和承載數(shù)據(jù)的基礎(chǔ)。互聯(lián)網(wǎng)公司自然是大數(shù)據(jù)公司，在各自的搜索、社交、媒體、交易等核心業(yè)務(wù)領(lǐng)域都有積累和持續(xù)產(chǎn)出海量-2/公司。比如阿里，百度，騰訊等等。物聯(lián)網(wǎng)設(shè)備無時(shí)無刻不在收集數(shù)據(jù)，設(shè)備數(shù)量和數(shù)據(jù)與日俱增。這兩類數(shù)據(jù)資源量大數(shù)據(jù)金礦，有些企業(yè)在業(yè)務(wù)中也積累了很多數(shù)據(jù)比如房產(chǎn)交易、商品價(jià)格、特定群體的消費(fèi)信息等等。

詳情:目前Hadoop架構(gòu)分析的業(yè)務(wù)，包括傳統(tǒng)架構(gòu)數(shù)據(jù)-2/，都沒有變化，但是由于數(shù)據(jù)數(shù)量和性能的問題，系統(tǒng)無法正常使用，需要升級(jí)。ETL的動(dòng)作依然保留，數(shù)據(jù)通過ETL動(dòng)作存儲(chǔ)在數(shù)據(jù)中。數(shù)據(jù)分析需求還是以BI場(chǎng)景為主，但是因?yàn)閿?shù)據(jù)數(shù)量、性能等問題無法滿足日常使用。

large數(shù)據(jù)(bigdata)是指在一定時(shí)間范圍內(nèi)，常規(guī)軟件工具無法捕捉、管理和處理的數(shù)據(jù) set，需要新的處理模式，以具備更強(qiáng)的決策力、洞察力和發(fā)現(xiàn)力以及流程優(yōu)化能力。魔方(big數(shù)據(jù)model platform)big數(shù)據(jù)model platform是基于服務(wù)總線和分布式云計(jì)算的a 數(shù)據(jù)分析挖掘工具平臺(tái)，采用分布式文件系統(tǒng)pair/123。

通過圖形模型構(gòu)建工具，它支持過程模型配置。通過第三方插件技術(shù)，很容易將其他工具和服務(wù)集成到平臺(tái)中。數(shù)據(jù)分析判斷平臺(tái)is 海量信息收集，數(shù)據(jù)模型建立，數(shù)據(jù)挖掘分析，最終形成知識(shí)服務(wù)于實(shí)戰(zhàn)和決策的過程。平臺(tái)主要有。

HTTP server推送(也稱為HTTPstreaming)是將數(shù)據(jù)從Web服務(wù)器發(fā)送到Web瀏覽器的機(jī)制。HTTP server 推送可以通過幾種機(jī)制來實(shí)現(xiàn)。一般來說，Web服務(wù)器響應(yīng)后，會(huì)終止與客戶端的數(shù)據(jù)連接。推送表示網(wǎng)站的服務(wù)器連接始終是打開的，這樣如果收到事件，可以立即將響應(yīng)發(fā)送到一個(gè)或多個(gè)客戶端?；蛘邔?shù)據(jù)放入隊(duì)列中，直到客戶端的下一個(gè)請(qǐng)求到來并且客戶端收到響應(yīng)。

另一種機(jī)制是混合替換，使用一種特殊的MIME類型multiple/X，它是由Netscape在1995年創(chuàng)建的。每當(dāng)服務(wù)器想把一個(gè)文件的新版本推給客戶機(jī)時(shí)，Web瀏覽器就把它解釋為改變這一點(diǎn)。今天它仍然受到Firefox、Opera和Safari的支持，但傳統(tǒng)上被微軟忽視?？蓱?yīng)用于HTML文件，也可用于流式傳輸圖像的相機(jī)。WHATWG提議的1.0Web應(yīng)用程序包括一個(gè)向客戶端發(fā)送推送 content的機(jī)制。

地理信息系統(tǒng)是采集、管理、分析和顯示空間對(duì)象的計(jì)算機(jī)系統(tǒng)數(shù)據(jù)。它以空間數(shù)據(jù)為研究對(duì)象，所以空間數(shù)據(jù)圖書館技術(shù)是地理學(xué)。Space 數(shù)據(jù)，尤其是grid 數(shù)據(jù)，一般存儲(chǔ)容量都比較大。所以學(xué)習(xí)海量Space數(shù)據(jù)Management技術(shù)就成了Space數(shù)據(jù)Library技術(shù)的重要內(nèi)容，也是其難點(diǎn)問題之一。海量Space數(shù)據(jù)Management技術(shù)，對(duì)數(shù)字流域、資源規(guī)劃、電子政務(wù)、軍事管理的信息化建設(shè)具有重要意義，是不可或缺的支撐技術(shù)。

分辨率高意味著數(shù)據(jù)的量大。對(duì)于同一地區(qū)不同分辨率的遙感圖像，分辨率越高，則數(shù)據(jù)的量越大，不是簡(jiǎn)單的線性增加，而是指數(shù)增加(方濤等，1997)，塔里木河流域生態(tài)環(huán)境動(dòng)態(tài)監(jiān)測(cè)系統(tǒng)中使用的base 數(shù)據(jù)是多分辨率的遙感影像，包括TM/ETM 、SPOT-5、QUICKBIRD等。原基數(shù)據(jù)也是融合拼接后的圖像。