總結(jié)一下就是寫SQL(很多入職一兩年的大數(shù)據(jù)工程師主要寫SQL)另外兩個(gè)是搭建大集群數(shù)據(jù)環(huán)境(一般公司招大數(shù)據(jù)工程師的環(huán)境已經(jīng)搭建好了,會(huì)有現(xiàn)成的大公司)。不過(guò),我會(huì)私下搭建一個(gè)測(cè)試環(huán)境,畢竟公司內(nèi)部對(duì)big 數(shù)據(jù)系統(tǒng)的權(quán)限有很多限制,嚴(yán)重影響開發(fā)效率,3維護(hù)大數(shù)據(jù)平臺(tái)(這應(yīng)該是每個(gè)大數(shù)據(jù)工程師都做過(guò)的工作,或多或少會(huì)承擔(dān)“運(yùn)維”的工作)4 數(shù)據(jù)遷移(有些公司需要將數(shù)據(jù)從傳統(tǒng)的數(shù)據(jù)遷移到大型數(shù)據(jù)數(shù)據(jù)庫(kù)Oracle、MySQL等。5應(yīng)用程序遷移(有些公司需要從數(shù)據(jù) library Oracle、MySQL等的傳統(tǒng)存儲(chǔ)過(guò)程程序或SQL腳本中遷移應(yīng)用程序,數(shù)據(jù)庫(kù)到大數(shù)據(jù)平臺(tái),這個(gè)過(guò)程也非常繁瑣,枯燥,重復(fù)性高,麻煩,6數(shù)據(jù)acquisition(acquisition log數(shù)據(jù),Hive 數(shù)據(jù),interface 數(shù)據(jù),其中涉及到各種格式的轉(zhuǎn)換,常用的有fluent和logstash。
不同的崗位有不同的工作內(nèi)容:1。大數(shù)據(jù)項(xiàng)目經(jīng)理工作內(nèi)容:項(xiàng)目需求、進(jìn)度、質(zhì)量、成本管理。2、big 數(shù)據(jù)開發(fā)工程師的工作內(nèi)容:主要基于Hadoop、Spark等平臺(tái),開源技術(shù)框架平臺(tái)有很多,看企業(yè)實(shí)際選擇,但目前Hadoop和Spark仍然占據(jù)著廣闊的市場(chǎng)。3.Major 數(shù)據(jù)產(chǎn)品經(jīng)理職位描述:Major 數(shù)據(jù)相關(guān)產(chǎn)品規(guī)劃設(shè)計(jì)需要與需求部門、技術(shù)部門溝通協(xié)調(diào)。
利用工具提取、分析、呈現(xiàn)數(shù)據(jù)并實(shí)現(xiàn)數(shù)據(jù)的商業(yè)意義,需要業(yè)務(wù)理解和工具應(yīng)用能力。根據(jù)數(shù)據(jù)發(fā)展前景,大數(shù)據(jù)行業(yè)的工作崗位每年都在以20%以上的速度增長(zhǎng),所以自然有大量的工作機(jī)會(huì),相信隨著行業(yè)的快速發(fā)展,隨著企業(yè)的業(yè)務(wù)增長(zhǎng),工作崗位的數(shù)量也在不斷增加。
據(jù)我所知Da 數(shù)據(jù)是IT行業(yè)。具體來(lái)說(shuō)就是從事互聯(lián)網(wǎng)。比如淘寶微信屬于Da 數(shù)據(jù)中的行業(yè)。望采納。簡(jiǎn)單來(lái)說(shuō)就是讓大量數(shù)據(jù)發(fā)揮巨大威力的行業(yè)。分類很多,具體是什么沒(méi)有具體問(wèn)題。大數(shù)據(jù)是數(shù)據(jù)it行業(yè)。目前big 數(shù)據(jù)主要體現(xiàn)兩塊價(jià)值,一個(gè)是BI方向,即通過(guò)企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的建設(shè),在其上實(shí)現(xiàn)各種。
3、大 數(shù)據(jù)就業(yè)方向Da 數(shù)據(jù)的就業(yè)方向分別是:互聯(lián)網(wǎng)電子商務(wù);零售金融的方向;電子政務(wù)服務(wù)方向。1.互聯(lián)網(wǎng)電子商務(wù)的方向?;ヂ?lián)網(wǎng)電商作為目前最火的風(fēng)口,是互聯(lián)網(wǎng)領(lǐng)域?qū)嵺`運(yùn)用最多的地方,也是技術(shù)資源最豐富、資金最雄厚、人才需求最大的部分。技術(shù)與應(yīng)用專業(yè)畢業(yè)生可從事互聯(lián)網(wǎng)電子商務(wù)運(yùn)維、日常管理、大消費(fèi)、分析、財(cái)務(wù)、風(fēng)控管理等相關(guān)技術(shù)工作。
2.零售金融的方向。雖然零售金融和互聯(lián)網(wǎng)電商屬于同一個(gè)消費(fèi)范疇,但具體來(lái)說(shuō),零售電商的范圍比互聯(lián)網(wǎng)電商小,比互聯(lián)網(wǎng)電商更需要精準(zhǔn)匹配消費(fèi)群體的興趣愛好、收入等特征。技術(shù)與應(yīng)用專業(yè)畢業(yè)生可從事數(shù)據(jù)分布式程序開發(fā)和數(shù)據(jù)基于計(jì)算機(jī)、移動(dòng)互聯(lián)網(wǎng)、電子信息、電子商務(wù)技術(shù)、電子金融的集成平臺(tái)應(yīng)用與開發(fā)。
4、大 數(shù)據(jù)專業(yè)的就業(yè)方向Da 數(shù)據(jù)專業(yè)就業(yè)方向有:Da 數(shù)據(jù)系統(tǒng)R