但它必須依靠云計(jì)算分布式處理、分布式 數(shù)據(jù)庫(kù)以及云存儲(chǔ)和虛擬化技術(shù)。2.數(shù)據(jù)存儲(chǔ)和管理對(duì)于不同的數(shù)據(jù)集，可能有不同的結(jié)構(gòu)和模式，比如文件和關(guān)系表，需要使用分布式文件系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)和云數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)和管理半結(jié)構(gòu)化、結(jié)構(gòu)化和非結(jié)構(gòu)化的海量數(shù)據(jù)，有哪些大數(shù)據(jù)技術(shù)？主要包括數(shù)據(jù)采集和預(yù)處理、數(shù)據(jù)存儲(chǔ)和管理、數(shù)據(jù)處理和分析以及數(shù)據(jù)結(jié)果展示。

阿里云致力于以在線公共服務(wù)的形式提供安全可靠的計(jì)算和數(shù)據(jù)處理能力，使計(jì)算和人工智能成為一種包容性的技術(shù)。阿里云服務(wù)于制造業(yè)、金融、政務(wù)、交通、醫(yī)療、電信、能源等諸多領(lǐng)域的龍頭企業(yè)，包括中國(guó)聯(lián)通、12306、中石化、中石油、飛利浦、華大基因等以及微博、知乎、錘子科技等明星互聯(lián)網(wǎng)公司。阿里云在天貓雙11全球狂歡節(jié)、12306春運(yùn)搶票等挑戰(zhàn)性應(yīng)用場(chǎng)景中，一直保持著良好的運(yùn)行記錄。

在我看來(lái)，一個(gè)完整的大數(shù)據(jù)平臺(tái)應(yīng)該提供離線計(jì)算、即席查詢、實(shí)時(shí)計(jì)算和實(shí)時(shí)查詢。Hadoop、spark和storm無(wú)法單獨(dú)完成上述所有功能。Hadoop spark hive是非常不錯(cuò)的選擇。hadoop的HDFS無(wú)疑是分布式 file system解決存儲(chǔ)問(wèn)題的方案。Hadoopmapreduce、hive、sparkapplication、sparkSQL解決了離線計(jì)算和即席查詢的問(wèn)題。

另外還需要HBase或Redis等NOSQL技術(shù)來(lái)解決實(shí)時(shí)查詢的問(wèn)題；除了這些，大數(shù)據(jù)平臺(tái)中任務(wù)調(diào)度系統(tǒng)和數(shù)據(jù)交換工具也是不可或缺的；任務(wù)調(diào)度系統(tǒng)解決了所有大數(shù)據(jù)平臺(tái)中的任務(wù)調(diào)度和監(jiān)控；數(shù)據(jù)交換工具用于在其他數(shù)據(jù)源和HDFS之間傳輸數(shù)據(jù)，例如:數(shù)據(jù)庫(kù)到HDFS，HDFS到數(shù)據(jù)庫(kù)等等。關(guān)于大數(shù)據(jù)平臺(tái)架構(gòu)的技術(shù)文章，可以搜索lxw的大數(shù)據(jù)領(lǐng)域，里面有很多。

關(guān)系是IT技術(shù)的不斷細(xì)分，相輔相成，提高技術(shù)水平。云計(jì)算(臺(tái)灣省譯為云計(jì)算)是一種分布式計(jì)算技術(shù)。它最基本的概念是通過(guò)網(wǎng)絡(luò)將一個(gè)龐大的計(jì)算程序自動(dòng)拆分成無(wú)數(shù)個(gè)更小的子程序，然后提交給由多個(gè)服務(wù)器組成的龐大系統(tǒng)進(jìn)行搜索、計(jì)算和分析。通過(guò)這項(xiàng)技術(shù)，網(wǎng)絡(luò)服務(wù)提供商可以實(shí)現(xiàn)在幾秒鐘內(nèi)處理數(shù)千萬(wàn)甚至上億條信息的網(wǎng)絡(luò)服務(wù)，實(shí)現(xiàn)與“超級(jí)計(jì)算機(jī)”一樣強(qiáng)大的性能。