隨著世界各大科技巨頭的競(jìng)爭(zhēng)，開(kāi)源軟件技術(shù)一直活躍在各個(gè)信息技術(shù)領(lǐng)域。其中Da 數(shù)據(jù) Ecology成為開(kāi)源技術(shù)的直接受益者。開(kāi)源技術(shù)適用于復(fù)雜的數(shù)據(jù)管理系統(tǒng)，帶來(lái)敏捷、高效、可擴(kuò)展、自控的管理能力，幫助企業(yè)降低IT建設(shè)和維護(hù)成本。2018年雙11當(dāng)天，阿里云Native 數(shù)據(jù) Library的PolarDB輕松應(yīng)對(duì)了數(shù)據(jù)在0: 00: 00瞬間增長(zhǎng)122倍的洪峰。

目前，國(guó)內(nèi)已經(jīng)有越來(lái)越多的企業(yè)和人才加入開(kāi)源社區(qū)，他們的貢獻(xiàn)也是后來(lái)居上，共同推動(dòng)開(kāi)源項(xiàng)目和開(kāi)源生態(tài)的繁榮和可持續(xù)發(fā)展。Big 數(shù)據(jù)生態(tài)成為開(kāi)源技術(shù)的一大“受益者”。近年來(lái)，在互聯(lián)網(wǎng)服務(wù)、多媒體、科研等多個(gè)領(lǐng)域都可以看到big 數(shù)據(jù)的身影。在大數(shù)據(jù)時(shí)代，日益增長(zhǎng)的數(shù)據(jù)數(shù)量需求、快速處理數(shù)據(jù)和數(shù)據(jù)類型、結(jié)構(gòu)和來(lái)源的多樣性賦予了數(shù)據(jù)庫(kù)敏捷性。

隨著服務(wù)器虛擬化越來(lái)越廣泛的部署，企業(yè)正在進(jìn)行重大創(chuàng)新，以提高IT靈活性和有效性能。企業(yè)面臨著以下四個(gè)挑戰(zhàn):1 .如何應(yīng)對(duì)管理層的快速成長(zhǎng)數(shù)據(jù)？企業(yè)在尋求進(jìn)一步降低成本，提高利潤(rùn)率的過(guò)程中，帶來(lái)了TB級(jí)別的數(shù)據(jù)的增長(zhǎng)率。如何方便快捷的管理大量的數(shù)據(jù)成為了最頭疼的問(wèn)題。企業(yè)最常見(jiàn)的做法是添加存儲(chǔ)設(shè)備或服務(wù)器進(jìn)行管理，但這種做法也帶來(lái)了更多的附帶問(wèn)題。

企業(yè)增加設(shè)備，必然需要增加人力、物力、財(cái)力的投入，同時(shí)增加了數(shù)據(jù) Center的能耗。這種情況與“綠色存儲(chǔ)”的概念背道而馳。3.如何做到快速備份和恢復(fù)？企業(yè)逐漸發(fā)現(xiàn)傳統(tǒng)的備份和恢復(fù)已經(jīng)不能滿足要求。磁帶可以用來(lái)備份很多永久性的數(shù)據(jù)也能起到一些作用，但是用它來(lái)恢復(fù)的速度數(shù)據(jù)是企業(yè)無(wú)法承受的。4.如何提高IT人員的工作效率？

真的感興趣，不請(qǐng)自來(lái)，在國(guó)內(nèi)，剛下...算了，在辦公室。凡軟，其實(shí)大家都不知道他是國(guó)內(nèi)做數(shù)據(jù)分析產(chǎn)品最好的公司。在企業(yè)數(shù)據(jù)分析領(lǐng)域低調(diào)工作十余年，入選Gartner市場(chǎng)指南。一開(kāi)始做的是報(bào)表工具finereport，后來(lái)開(kāi)發(fā)了BI商業(yè)智能finebi。產(chǎn)品經(jīng)過(guò)多年打磨。后來(lái)又為工業(yè)數(shù)據(jù)管理解決方案增值，包括阿米巴經(jīng)營(yíng)和數(shù)字化運(yùn)營(yíng)體系建設(shè)項(xiàng)目，都是非常成熟的老牌廠商。

目前常用的解決方案有以下幾類:1。Hadoop。Hadoop是一個(gè)可以分發(fā)大量數(shù)據(jù)的軟件框架。但是Hadoop是以一種可靠、高效和可擴(kuò)展的方式處理的。另外，Hadoop依賴于社區(qū)服務(wù)器，所以成本相對(duì)較低，任何人都可以使用。第二，HPCC。HPCC，高性能計(jì)算和通信的縮寫(xiě)。

第三，風(fēng)暴。Storm是一個(gè)免費(fèi)的開(kāi)源軟件，一個(gè)分布式和容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)。Storm可以非?？煽康靥幚砭薮蟮臄?shù)據(jù) stream，用于處理Hadoop 數(shù)據(jù)的批處理。Storm支持許多編程語(yǔ)言，使用起來(lái)非常有趣。Storm是來(lái)自Twitter的開(kāi)源。第四，ApacheDrill。

星環(huán)科技星環(huán)信息科技主要從事big數(shù)據(jù)Time Core平臺(tái)-2/library軟件的研發(fā)和服務(wù)，被Gartner列為全球主流Hadoop發(fā)行廠商。其產(chǎn)品TranswarpDataHub提供了高速SQL引擎TranswarpInceptor、NoSQL搜索引擎TranswarpHyperbase、流處理引擎TranswarpStream和數(shù)據(jù) mining組件TranswarpDiscover。

稍后發(fā)布的商業(yè)智能自助BI工具FineBI，提供包括Hadoop在內(nèi)的大型數(shù)據(jù)可視化分析，分布式數(shù)據(jù)庫(kù)和多維數(shù)據(jù)庫(kù)；提供PC端、移動(dòng)端、大屏可視化解決方案，廣泛應(yīng)用于銀行、電商、地產(chǎn)、醫(yī)藥、制造、電信、制造、化工等行業(yè)，擁有成熟的行業(yè)解決方案。數(shù)據(jù)可視化數(shù)字冰雹數(shù)字冰雹主要從事大型數(shù)據(jù)可視化業(yè)務(wù)，提供集設(shè)計(jì)、程序開(kāi)發(fā)、硬件集成于一體的解決方案，廣泛應(yīng)用于航天戰(zhàn)場(chǎng)、智慧城市、網(wǎng)絡(luò)安全、企業(yè)管理、工業(yè)監(jiān)控等領(lǐng)域。

介紹幾個(gè)代表數(shù)據(jù)Analysis平臺(tái):1。ClouderaCloudera提供了一個(gè)可擴(kuò)展的、靈活的、集成的平臺(tái)，可以用來(lái)方便地管理您企業(yè)的快速增長(zhǎng)。ClouderaManager是一個(gè)復(fù)雜的應(yīng)用程序，用于部署、管理、監(jiān)控CDH部署和診斷問(wèn)題。ClouderaManager提供了AdminConsole，這是一個(gè)基于web的用戶界面，對(duì)于您的企業(yè)來(lái)說(shuō)簡(jiǎn)單而直接。它還包括ClouderaManagerAPI，可用于獲取集群健康信息和指標(biāo)以及配置ClouderaManager。

CommVault，美國(guó)康福系統(tǒng)公司，產(chǎn)品叫SimpanaEMC公司的Networker，加上數(shù)據(jù) DataDomain，一個(gè)減重產(chǎn)品，AvamaIBM公司的TSM(2011年排名第三，2012年排名第四)，賽門鐵克公司的NBU(2011年排名第四，2012年排名第三)。