大數(shù)據(jù)開發(fā)工程師其實(shí)包括很多具體崗位，包括:大數(shù)據(jù)開發(fā)工程師、大數(shù)據(jù)架構(gòu)工程師、大數(shù)據(jù)運(yùn)維工程師、數(shù)據(jù)可視化工程師、數(shù)據(jù)采集工程師、數(shù)據(jù)挖掘工程師、機(jī)器學(xué)習(xí)工程師、深度學(xué)習(xí)工程師、算法工程師等。，都可以算是大數(shù)據(jù)開發(fā)工程師的范疇，大數(shù)據(jù)開發(fā)工程師的職責(zé)是什么。

未來幾年IT行業(yè)熱門工作:1。體現(xiàn)大數(shù)據(jù)發(fā)展方向的算法工程師數(shù)據(jù)挖掘和互聯(lián)網(wǎng)搜索算法近年來越來越熱門，算法工程師也逐漸向人工智能方向發(fā)展。2.網(wǎng)絡(luò)工程師網(wǎng)絡(luò)工程師可以說是一個“青蔥常青”的職業(yè)。近年來，在政府上網(wǎng)工程的帶動下，需要大量的網(wǎng)絡(luò)應(yīng)用和網(wǎng)絡(luò)管理人才，對網(wǎng)絡(luò)人才的需求大幅增加。據(jù)業(yè)內(nèi)分析，我國每年缺口在20萬左右。

截至2017年12月，我國手機(jī)網(wǎng)民規(guī)模達(dá)到7.53億，網(wǎng)民使用手機(jī)的比例從2016年的95.1%上升到97.5%。移動支付、移動購物、移動旅游、移動社交等領(lǐng)域涌現(xiàn)出大量移動互聯(lián)網(wǎng)游戲、應(yīng)用和創(chuàng)業(yè)公司。4.數(shù)據(jù)庫開發(fā)與管理數(shù)據(jù)庫開發(fā)與管理在大數(shù)據(jù)時代尤為重要，相關(guān)的數(shù)據(jù)庫管理、運(yùn)維、開發(fā)技術(shù)將成為BI、大型企業(yè)、咨詢分析機(jī)構(gòu)特別重視的技能。

IT專業(yè)的入職門檻低，而且現(xiàn)在薪資待遇越來越好，而且IT行業(yè)的就業(yè)市場目前還沒有飽和，所以員工找工作相對容易?，F(xiàn)在選IT專業(yè)不會錯。如果不想繼續(xù)讀書，選擇職業(yè)技術(shù)學(xué)校也不錯。只要學(xué)好IT技術(shù)，有能力，就能找到一份好工作，來這里了解中國的動漫游戲產(chǎn)業(yè)，中國的動漫游戲產(chǎn)業(yè)正處于蓬勃發(fā)展的階段，對動漫游戲?qū)I(yè)人才的需求極高。

據(jù)權(quán)威機(jī)構(gòu)統(tǒng)計(jì)，我國動漫游戲人才缺口高達(dá)百萬，創(chuàng)意型、技術(shù)型動漫游戲人才月薪依然難求。前景好，零基礎(chǔ)學(xué)習(xí)，就業(yè)機(jī)會多，工作體面，工資高。電子商務(wù)是借助信息網(wǎng)絡(luò)技術(shù)，以商品交換為中心的商務(wù)活動。也可以理解為互聯(lián)網(wǎng)上的電子商務(wù)可以提供網(wǎng)上交易和管理全過程的服務(wù)。因此，它具有廣告、咨詢和談判、在線訂購、在線支付、電子賬戶、服務(wù)交付、咨詢和交易管理等各種功能。

簡單來說，大數(shù)據(jù)工程師需要負(fù)責(zé)創(chuàng)建和維護(hù)數(shù)據(jù)分析基礎(chǔ)設(shè)施，包括大數(shù)據(jù)架構(gòu)的開發(fā)、構(gòu)建、維護(hù)和測試，比如數(shù)據(jù)庫和大數(shù)據(jù)處理系統(tǒng)。此外，大數(shù)據(jù)工程師還負(fù)責(zé)創(chuàng)建建模、挖掘、獲取和驗(yàn)證數(shù)據(jù)集的流程。是國家重點(diǎn)扶持的戰(zhàn)略性新興產(chǎn)業(yè)。大數(shù)據(jù)產(chǎn)業(yè)逐漸從概念走向落地?！按髷?shù)據(jù)”和“虛擬化”這兩個熱門領(lǐng)域受到了廣泛的關(guān)注和重視。90%的企業(yè)都在使用大數(shù)據(jù)，所以行業(yè)需求大，這方面的人才需求也很旺盛。

大數(shù)據(jù)開發(fā)工程師其實(shí)包括很多具體的崗位，包括:大數(shù)據(jù)開發(fā)工程師、大數(shù)據(jù)架構(gòu)工程師、大數(shù)據(jù)運(yùn)維工程師、數(shù)據(jù)可視化工程師、數(shù)據(jù)采集工程師、數(shù)據(jù)挖掘工程師、機(jī)器學(xué)習(xí)工程師、深度學(xué)習(xí)工程師、算法工程師等。，都可以算是大數(shù)據(jù)開發(fā)工程師的范疇。在分析軟件開發(fā)的就業(yè)前景之前，我們可以了解一下學(xué)習(xí)軟件開發(fā)專業(yè)需要哪些知識，可以從事哪些IT崗位。

總結(jié)起來就是寫SQL(很多入職一兩年的大數(shù)據(jù)工程師的主要工作就是寫SQL)還有另外兩個集群的大數(shù)據(jù)環(huán)境(一般公司都已經(jīng)設(shè)置好招聘大數(shù)據(jù)工程師的環(huán)境了)。公司內(nèi)部會有現(xiàn)成的大數(shù)據(jù)平臺，但我會在這里私下搭建一個測試環(huán)境。畢竟公司內(nèi)部對大數(shù)據(jù)系統(tǒng)的權(quán)限有很多限制。嚴(yán)重影響開發(fā)效率)3維護(hù)大數(shù)據(jù)平臺(這應(yīng)該是每個大數(shù)據(jù)工程師都做過的工作，或多或少會承擔(dān)“運(yùn)維”的工作)4數(shù)據(jù)遷移(有些公司需要將數(shù)據(jù)從傳統(tǒng)數(shù)據(jù)庫，如Oracle、MySQL遷移到大數(shù)據(jù)集群，這是一項(xiàng)復(fù)雜的工作。忘恩負(fù)義)5應(yīng)用遷移(有些公司需要將應(yīng)用從Oracle、MySQL等傳統(tǒng)數(shù)據(jù)庫的存儲過程或SQL腳本遷移到大數(shù)據(jù)平臺。這個過程也非常繁瑣，枯燥，重復(fù)性高，麻煩。忘恩負(fù)義)6數(shù)據(jù)收集(收集日志數(shù)據(jù)、文件數(shù)據(jù)和接口數(shù)據(jù)，這涉及到各種格式的轉(zhuǎn)換，F(xiàn)lume和Logstash)7常用)7數(shù)據(jù)處理7.1離線數(shù)據(jù)處理(這一般是寫SQL然后扔進(jìn)Hive，其實(shí)和第一點(diǎn)有點(diǎn)重復(fù))7.2實(shí)時數(shù)。

1。大數(shù)據(jù)工程師在工作中是做什么的？集群運(yùn)維:各種大數(shù)據(jù)組件的安裝、測試、運(yùn)維的數(shù)據(jù)開發(fā):細(xì)分的話，會有ETL工程師、數(shù)據(jù)倉庫工程師等數(shù)據(jù)系統(tǒng)開發(fā)。:重點(diǎn)將放在Web系統(tǒng)開發(fā)上，如報表系統(tǒng)、推薦系統(tǒng)等。有很多內(nèi)容其實(shí)是重疊的。先簡單說一下每一段內(nèi)容需要學(xué)習(xí)的內(nèi)容和重點(diǎn)。2.集群運(yùn)維數(shù)據(jù)工程師基本離不開集群建設(shè)，比如hadoop、Spark、Kafka。不要指望專門的運(yùn)維來幫你。新組件的引入一般都是自己完成的。

因?yàn)樾枰惭b各種開源組件，所以要求數(shù)據(jù)工程師具備的能力:Linux。要熟悉Linux，要自己會玩。既然現(xiàn)在的大數(shù)據(jù)生態(tài)系統(tǒng)基本都是基于JVM的，那就不要在語言上猶豫了?；贘VM的Java和Scala基本跑不掉，Java基本需要深入學(xué)習(xí)。Scala視情況而定。3.ETLETL主要體現(xiàn)在大數(shù)據(jù)領(lǐng)域?qū)Ω鞣N數(shù)據(jù)流的處理。

1。大數(shù)據(jù)基礎(chǔ)平臺、大數(shù)據(jù)能力開放平臺、大數(shù)據(jù)交易平臺的建設(shè)和優(yōu)化；2.基于Hadoop的數(shù)據(jù)倉庫工具Hive/Spark/HBase、ETL調(diào)度工具和數(shù)據(jù)同步工具的開發(fā)、使用、集成和自動運(yùn)維，以及多租戶和訪問控制策略的實(shí)現(xiàn)；3.基于大數(shù)據(jù)平臺開發(fā)數(shù)據(jù)倉庫平臺產(chǎn)品；4.參與大數(shù)據(jù)平臺的容量規(guī)劃、持續(xù)投放、業(yè)務(wù)監(jiān)控和應(yīng)急響應(yīng)，確保平臺正常運(yùn)行；

大數(shù)據(jù)開發(fā)工程師做的是:1。參與大數(shù)據(jù)平臺的數(shù)據(jù)架構(gòu)設(shè)計(jì)，完成從業(yè)務(wù)模型到數(shù)據(jù)模型的設(shè)計(jì)；2.基于海量數(shù)據(jù)的數(shù)據(jù)倉庫，為業(yè)務(wù)構(gòu)建通用的查詢分析解決方案；3.根據(jù)工作安排，高效、高質(zhì)量地完成代碼編寫，確保符合前端代碼規(guī)范。以上是大數(shù)據(jù)開發(fā)工程師目前在行業(yè)或公司負(fù)責(zé)的工作。簡單粗略的說，就是利用工具實(shí)現(xiàn)大數(shù)據(jù)分析后需要得到的結(jié)果。

大數(shù)據(jù)發(fā)展其實(shí)有兩種。第一種是寫一些Hadoop和Spark的應(yīng)用，第二種是自己開發(fā)大數(shù)據(jù)處理系統(tǒng)，第一種工作感覺更適合dataanalyst這個職位，現(xiàn)在HiveSparkSQL也提供SQL接口。第二種工作通常只有大公司才有，一般他們會自己開發(fā)系統(tǒng)或者做一些開源的二次開發(fā)。這類工作需要更深的理論和實(shí)踐，也更有技術(shù)含量。