1。Big 數(shù)據(jù)架構東西與組件企業(yè)Big 數(shù)據(jù)結構多按照開源的技能結構搭建，包括基于Hadoop、Spark、Storm、Flink的一系列組件結構，以及它們的生態(tài)系統(tǒng)組件。2.加深對SQL等的理解數(shù)據(jù)大型圖書館解決方案數(shù)據(jù)工程師需要了解數(shù)據(jù)圖書館管理系統(tǒng)，加深對SQL的理解。同樣的其他數(shù)據(jù)庫解決方案，如Cassandra或MangoDB，也應該理解，因為并不是每個數(shù)據(jù)庫都是按照可識別的標準構建的。

數(shù)據(jù)像Redshift或Panoply這樣的倉庫解決方案，以及像StitchData或Segment這樣的ETL東西都非常有用。4.根據(jù)Hadoop的分析，需要對ApacheHadoop的數(shù)據(jù)處理結構有深入的了解，至少需要HBase、Hive、MapReduce的知識存儲。5.編碼和開發(fā)的能力是一個big 數(shù)據(jù)工程師的重要要求，主要掌握Java、Scala和Python，這在一個big 數(shù)據(jù)中非常重要。

要成為一名合格的分析師，你需要精通至少一門數(shù)據(jù)挖掘(比如R語言)或者機器學習語言(比如Matlab)。有正規(guī)的算法研究，熟悉Hadoop架構，包括Hive、Hbase、MapReduce等組件，精通HadoopMapReduce和YARN計算框架，能夠解決Hadoop/YARN復雜問題；精通Spring，Hibernate，Junit等Java 技術。

隨著互聯(lián)網(wǎng)的不斷發(fā)展，越來越多的人希望通過學習實現(xiàn)轉(zhuǎn)型發(fā)展數(shù)據(jù) 技術。如今，java課程走到了一起。成為一名數(shù)據(jù)運維老師需要掌握什么？大數(shù)據(jù)本質(zhì)是:數(shù)據(jù)挖掘深度和應用廣度的結合。對海量的數(shù)據(jù)進行有效的分析和處理，而不僅僅是數(shù)據(jù)即所謂的大數(shù)據(jù)。大數(shù)據(jù)三個學習方向:大數(shù)據(jù)開發(fā)者、大數(shù)據(jù)架構師、大數(shù)據(jù)運維師范大學數(shù)據(jù)開發(fā)者和大/123。

1、Da 數(shù)據(jù)工程師需要學習JAVA、Scala、Python等編程語言，但這些語言都是相通的，所以掌握一門編程語言就很容易學習其他語言。數(shù)據(jù)的學習需要掌握以下技術: Hadoop、spark、storm等內(nèi)核技術。2.基礎技術集合包括數(shù)據(jù)預處理、分布式存儲、NOSQL 數(shù)據(jù)庫、數(shù)據(jù)倉庫、機器學習。

1，至少掌握一門數(shù)據(jù)庫開發(fā)技術:Oracle、Teradata、DB2、Mysql等。，并靈活運用SQL實現(xiàn)海量數(shù)據(jù)ETL處理。2.熟悉Linux系統(tǒng)的常規(guī)shell處理命令，靈活使用shell進行文本處理和系統(tǒng)操作。3.有分布式數(shù)據(jù)存儲和計算平臺應用開發(fā)經(jīng)驗，熟悉Hadoop生態(tài)技術并有相關實踐經(jīng)驗者優(yōu)先，重點關注Hdfs、Mapreduce、Hive和Hbase。

Da 數(shù)據(jù) java、Scala、Python等。是開發(fā)所必需的技術，首先，在學習真正的大數(shù)據(jù) 技術之前，你要掌握一門編程語言，比如java等。在big 數(shù)據(jù)的學習過程中，你還會接觸到其他的編程語言，比如Scala、Python等，但這些語言都是相通的，都掌握了一門編程語言，數(shù)據(jù)的學習需要掌握以下技術: Hadoop、spark、storm等內(nèi)核技術。如果在培訓機構學習，一定要注意學習周期的分布，有一部分不是真的大數(shù)據(jù)課程真的大數(shù)據(jù)課程專門講了2030%的編程語言，剩下的都是學大的數(shù)據(jù)-2/，所以學之前要對大有所了解。