存儲技能large數(shù)據(jù)可以抽象地分為大型數(shù)據(jù)存儲和大型數(shù)據(jù)分析,它們之間的關(guān)系是大型數(shù)據(jù)存儲的意圖是支持大型。大數(shù)據(jù)分為大數(shù)據(jù)開發(fā),大數(shù)據(jù)分析,數(shù)據(jù)倉庫開發(fā),每個(gè)細(xì)分的崗位要求都不一樣技能,大型數(shù)據(jù)需求云技能,如虛擬化技能,分布式處理技能,海量的存儲和管理數(shù)據(jù)。
Da 數(shù)據(jù)學(xué)習(xí)路線有八個(gè)階段??梢园错樞?qū)W習(xí)。祝你早日成功!大數(shù)據(jù)學(xué)習(xí)路線。一般開發(fā)分為兩個(gè)方向:開發(fā)和分析,即掌握J(rèn)ava,做數(shù)據(jù) collection級別的技術(shù)開發(fā),在很多組件上做二次開發(fā),比如hadoopflume analysis,即做數(shù)據(jù) mining,使用hive編程,知道hiveql。大數(shù)據(jù)分為大數(shù)據(jù)開發(fā),大數(shù)據(jù)分析,數(shù)據(jù)倉庫開發(fā),每個(gè)細(xì)分的崗位要求都不一樣技能。
看你想從哪方面改變,我通常在工作中最常使用這些技術(shù)。1.Java用的不深,吃透Javase部分就行了。2、Hadoop生態(tài),Yarn,Zookeeper,HDFS,這些底層原理要懂。3、Mapreduce和Spark開發(fā)。4、Hbase和HIve,做大數(shù)據(jù)不懂真的沒意義。5.Mysql,Oracle和Postgres 數(shù)據(jù)庫操作要返回,sql要會寫。
1,機(jī)器學(xué)習(xí):機(jī)器學(xué)習(xí)是一個(gè)大數(shù)據(jù)處理連接環(huán)節(jié)的關(guān)鍵技能,機(jī)器學(xué)習(xí)上到深度學(xué)習(xí)和人工智能,機(jī)器學(xué)習(xí)下到數(shù)據(jù)挖掘和計(jì)算學(xué)習(xí)。中心方針是通過函數(shù)映射、數(shù)據(jù)訓(xùn)練、最優(yōu)解、模型評估等一系列算法,使計(jì)算機(jī)具備自動分類猜測數(shù)據(jù)的功能。大數(shù)據(jù)處理要智能化,機(jī)器學(xué)習(xí)是中心的中心。2.數(shù)據(jù)挖掘:數(shù)據(jù)挖掘中心技能從機(jī)器學(xué)習(xí)領(lǐng)域來說,數(shù)據(jù)挖掘的提法比機(jī)器學(xué)習(xí)的提法更早,應(yīng)用范圍更廣。數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)是Da 數(shù)據(jù)Analysis技能的中心,兩者相互支持,為Da 數(shù)據(jù)處理提供相關(guān)的模型和算法,模型和算法為Da-1。
3、大 數(shù)據(jù)相關(guān)的技術(shù)都有哪些?Cloud技能Da數(shù)據(jù)經(jīng)常與云計(jì)算聯(lián)系在一起,因?yàn)閷?shí)時(shí)大規(guī)模數(shù)據(jù) set分析需要一個(gè)分布式處理框架,將工作分配到幾十臺、幾百臺甚至上萬臺計(jì)算機(jī)上??梢哉f云計(jì)算在工業(yè)革命時(shí)期扮演了發(fā)動機(jī)的角色,而大數(shù)據(jù)則是電。大型數(shù)據(jù)需求云技能,如虛擬化技能,分布式處理技能,海量的存儲和管理數(shù)據(jù)。