現(xiàn)在幾乎所有人都在說Da 數(shù)據(jù)。那么，你知道Da 數(shù)據(jù)？你知道Da 數(shù)據(jù)包括什么嗎？過程管理中的決策者對收緊組織的命脈和獲得實(shí)時(shí)結(jié)果感興趣。他們需要的是一個(gè)能夠處理隨時(shí)可能發(fā)生的數(shù)據(jù) stream的結(jié)構(gòu)。當(dāng)前的數(shù)據(jù)庫技術(shù)不適合數(shù)據(jù)流處理。比如計(jì)算一組-2。有更高效的算法計(jì)算數(shù)據(jù)的平均值，無論是到達(dá)、增長還是細(xì)胞。如果你想創(chuàng)建一個(gè)數(shù)據(jù) 倉庫并執(zhí)行任何數(shù)據(jù)分析和統(tǒng)計(jì)，/123。你要做的是數(shù)據(jù)流量統(tǒng)計(jì)集，逐步增刪數(shù)據(jù)塊計(jì)算移動(dòng)平均。數(shù)據(jù)庫不存在或不成熟。數(shù)據(jù)流量周邊生態(tài)系統(tǒng)不發(fā)達(dá)。換句話說，如果你必須知道數(shù)據(jù) process處理對你的項(xiàng)目是否重要，供應(yīng)商是否有能力提供。并行大數(shù)據(jù)的定義有很多，下面比較有用。小數(shù)據(jù)的情況和桌面環(huán)境差不多，磁盤的存儲容量在1GB到10GB之間。中型數(shù)據(jù) 數(shù)據(jù)在100GB到1TB之間，大型數(shù)據(jù)分布在多臺機(jī)器中，其中1TB到多個(gè)PB 數(shù)據(jù)。如果你是分布式，

Da 數(shù)據(jù)開發(fā)工程師需要的技能如下:簡而言之，Da 數(shù)據(jù)工程師需要負(fù)責(zé)創(chuàng)建和維護(hù)數(shù)據(jù)分析基礎(chǔ)架構(gòu)，包括Da 數(shù)據(jù)架構(gòu)的開發(fā)和構(gòu)建。此外，他還負(fù)責(zé)數(shù)據(jù)工程師還負(fù)責(zé)創(chuàng)建建模、挖掘、采集和驗(yàn)證的流程數(shù)據(jù)收集。1.數(shù)據(jù)架構(gòu)工具和組件企業(yè)數(shù)據(jù)的框架大部分是基于開源技術(shù)框架構(gòu)建的，它包括一系列基于Hadoop、Spark、Storm和Flink的組件框架，以及它們的生態(tài)系統(tǒng)組件。

同樣，其他的數(shù)據(jù) library解決方案，比如Cassandra或者M(jìn)angoDB，也一定很熟悉，因?yàn)椴⒉皇敲總€(gè)數(shù)據(jù) library都是按照可識別的標(biāo)準(zhǔn)構(gòu)建的。3.-2倉庫和ETL工具數(shù)據(jù) 倉庫和ETL能力對于工程師來說非常重要。Redshift或Panoply數(shù)據(jù)倉庫等解決方案以及StitchData或Segment等ETL工具都非常有用。

oracle有很多優(yōu)點(diǎn)。大多數(shù)銀行保險(xiǎn)電信都是由oracle處理的。優(yōu)點(diǎn)主要包括:1。處理速度快，非常快2。高安全級別。支持flash和完美恢復(fù)，即使硬件壞了也能恢復(fù)到故障前的1s3，幾個(gè)數(shù)據(jù) libraries集群數(shù)據(jù) libraries，幾秒鐘內(nèi)就能故障切換，和數(shù)據(jù) physics完全一致?，F(xiàn)在集群一直是最好的解決方案。銀行保險(xiǎn)其他選擇不多{數(shù)據(jù)無損耗，切換快，負(fù)載均衡}4。格控，還有數(shù)據(jù) 倉庫也很厲害。關(guān)于免費(fèi)和開源的言論都是錯(cuò)誤的。

Hive是臉書開源用來解決海量結(jié)構(gòu)化日志數(shù)據(jù)的統(tǒng)計(jì)工具。Hive是Hadoop的一個(gè)數(shù)據(jù)工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射到表中，提供類似SQL的查詢功能，Hive的本質(zhì)是將HQL轉(zhuǎn)化為MapReduce程序。