1 Application遷移(有些公司需要從Oracle、MySQL等的傳統(tǒng)數(shù)據(jù) library中更改應(yīng)用。數(shù)據(jù)存儲(chǔ)過程程序或SQL腳本庫遷移 to large。高度重復(fù)且麻煩，吃力不討好)2為集群搭建一個(gè)大型數(shù)據(jù)環(huán)境(一般公司招大型數(shù)據(jù)工程師環(huán)境已經(jīng)搭建好了，公司內(nèi)部會(huì)有現(xiàn)成的大型數(shù)據(jù)平臺(tái)，但我們會(huì)私下搭建一個(gè)測(cè)試環(huán)境，畢竟公司內(nèi)部的大型數(shù)據(jù)平臺(tái)。嚴(yán)重影響開發(fā)效率)3 數(shù)據(jù)中間站開發(fā)(中間站需要支持訪問各種數(shù)據(jù)源，清洗各種數(shù)據(jù)源并轉(zhuǎn)換成可用的數(shù)據(jù)，然后在原有/的基礎(chǔ)上，都是基于寬表層來找出業(yè)務(wù)數(shù)據(jù))4數(shù)據(jù)遷移(有些公司需要將數(shù)據(jù)從傳統(tǒng)的數(shù)據(jù)數(shù)據(jù)庫Oracle、MySQL等/113.-1/集群，這是個(gè)繁瑣的工作，吃力不討好)5寫SQL(很多入職一兩年的大工程師數(shù)據(jù)工程師的主要工作就是寫SQL)6 數(shù)據(jù)收集(收集日志數(shù)據(jù)，文件。這涉及到各種格式的轉(zhuǎn)換，常用的有Flume和log stash)7數(shù)據(jù)Processing 7.1 Offline數(shù)據(jù)Processing(這一般是寫作。

數(shù)據(jù)遷移是一個(gè)非常復(fù)雜細(xì)致的過程，需要設(shè)計(jì)者和實(shí)施者具備多元化的知識(shí)結(jié)構(gòu)，否則將不得不陷入顧此失彼的境地。一個(gè)完整成功的-1 遷移解決方案由六部分組成:1。具有專業(yè)技能的人員，2。成熟的解決方案，3。穩(wěn)健可靠的流程和方法，4。交付前實(shí)驗(yàn)室模擬驗(yàn)證，5。高效遷移。缺少任何一個(gè)條件都可能導(dǎo)致-1遷移失敗。

試想一下，如果社保局的數(shù)據(jù)丟了，多少人的生活會(huì)受到困擾，政府部門的業(yè)務(wù)系統(tǒng)會(huì)關(guān)閉，不會(huì)帶來直接的經(jīng)濟(jì)損失，但會(huì)影響企業(yè)的業(yè)務(wù)和市民的生活。目前隨著智慧城市的建設(shè)，很多政府部門都做了-1遷移和容災(zāi)備份。比如鄂爾多斯市目前在做數(shù)據(jù)備份容災(zāi)系統(tǒng)及應(yīng)用業(yè)務(wù)遷移。據(jù)悉，該項(xiàng)目依托鄂爾多斯大學(xué)數(shù)據(jù) Center強(qiáng)大的運(yùn)營能力，按照嘉華(鄂爾多斯市)科技有限公司提出的嘉華融合數(shù)據(jù)遷移解決方案實(shí)施，項(xiàng)目進(jìn)展順利，為政務(wù)系統(tǒng)提供。

1。分布式存儲(chǔ)傳統(tǒng)的集中式存儲(chǔ)已經(jīng)存在了一段時(shí)間。但是Da 數(shù)據(jù)并不真正適合集中式存儲(chǔ)架構(gòu)。Hadoop旨在讓計(jì)算更接近數(shù)據(jù) node，同時(shí)也采用了HDFS文件系統(tǒng)的大規(guī)模水平擴(kuò)展功能。雖然，通常解決Hadoop管理本身效率低下的方法數(shù)據(jù)是將Hadoop 數(shù)據(jù)存儲(chǔ)在SAN上。但也造成了自身性能和規(guī)模的瓶頸?，F(xiàn)在如果通過集中式的SAN處理器處理所有數(shù)據(jù)，與Hadoop的分布式、并行特性相悖。

但是Hadoop是一個(gè)分布式應(yīng)用，所以它應(yīng)該運(yùn)行在分布式存儲(chǔ)上，這樣存儲(chǔ)就保留了和Hadoop本身一樣的靈活性，但是也需要擁抱一個(gè)軟件定義的存儲(chǔ)方案，并在商業(yè)服務(wù)器上運(yùn)行，這自然比瓶頸Hadoop更高效。2.超收斂VS分布式注意，不要混淆超收斂和分布式。一些超融合解決方案是分布式存儲(chǔ)，但通常這一術(shù)語意味著您的應(yīng)用程序和存儲(chǔ)存儲(chǔ)在同一計(jì)算節(jié)點(diǎn)上。