離線數(shù)據(jù)倉(cāng)庫(kù):Java、MySQL、Maven、Git、OpenResty、Linux、Shell、HDFS、YARN、Zookeeper、MapReduce、Scala、Python、SparkCore、Hive、SparkSQL、Presto、Sqoop、DataX、Flume、CDH、數(shù)據(jù)倉(cāng)庫(kù)。
4、大 數(shù)據(jù)開發(fā)工程師需掌握哪些技能?1。幾個(gè)倉(cāng)庫(kù)的開發(fā)。Java是必須的，但是提問不夠深入，Javase部分理解透徹，對(duì)于Java部分的面試來說足夠了。2，Hadoop生態(tài)，Yarn，Zookeeper，HDFS，這些底層原理要懂，面試也經(jīng)常被問到。3，Mapreduce的洗牌過程也是面試中經(jīng)常被問到的。4、Hbase和HIve，做大數(shù)據(jù)這些東西真的沒有意義。5.Mysql，Oracle和Postgres 數(shù)據(jù) Library操作要返回，sql要會(huì)寫。
7.必須至少有一個(gè)數(shù)據(jù)Kettle或Sqoop等處理工具。8、數(shù)據(jù) 倉(cāng)庫(kù)建模、數(shù)據(jù)模型問題。二、技術(shù)方面1、SparkSql和SparkStreaming，底層原理、內(nèi)核、提交任務(wù)的流程等。，盡量深入內(nèi)幕，經(jīng)常和MapReduce比較。當(dāng)然，你也應(yīng)該了解風(fēng)暴和弗林克。Flink是一個(gè)你應(yīng)該學(xué)習(xí)的建議，以后會(huì)越來越有用。
5、什么是 數(shù)據(jù) 倉(cāng)庫(kù), 數(shù)據(jù) 倉(cāng)庫(kù)在哪里保存 數(shù)據(jù)。BI項(xiàng)目需要用到哪些技術(shù)數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù) Library，數(shù)據(jù)它還在數(shù)據(jù)Library中。但是架構(gòu)是按照-2倉(cāng)庫(kù)/庫(kù)的概念設(shè)計(jì)開發(fā)的。BI項(xiàng)目主要使用數(shù)據(jù) 倉(cāng)庫(kù)、OLAP和。如Oracle、DB2、SQL Server、Java、Cognos、Bo、Biee、SAS、SPSS、克萊曼婷、WEKA等等。
6、sparkSQL和hive到底什么關(guān)系歷史上，數(shù)據(jù) 倉(cāng)庫(kù)是由hive構(gòu)建的，所以對(duì)hive管理的數(shù)據(jù)查詢有很大的需求。Hive，shark，sparlSQL都可以查詢hive的數(shù)據(jù)。Shark是一個(gè)sql解析器和優(yōu)化器，它使用hive，并修改executor使其運(yùn)行在spark上。SparkSQL使用了自己的語法解析器、優(yōu)化器和執(zhí)行器，同時(shí)sparkSQL還擴(kuò)展了接口，不僅支持hive 數(shù)據(jù)的查詢，還可以查詢各種數(shù)據(jù)sources數(shù)據(jù)。
7、2分鐘讀懂大 數(shù)據(jù)框架Hadoop和Spark的異同Hadoop和Spark都是集群并行計(jì)算框架，可以做分布式計(jì)算，都是基于MapReduce并行模型。Hadoop基于磁盤計(jì)算，只有兩個(gè)操作符，map和reduce。在計(jì)算過程中，會(huì)有大量的中間結(jié)果文件登陸到磁盤上，會(huì)顯著降低運(yùn)行效率。Spark基于內(nèi)存計(jì)算(一個(gè)任務(wù)會(huì)以流水線的形式在一個(gè)片上執(zhí)行，中間不分配內(nèi)存，避免很快耗盡內(nèi)存)，非常適合機(jī)器學(xué)習(xí)中的迭代計(jì)算(通過在內(nèi)存中緩存RDD)；
8、spark可以取代hadoop中的哪個(gè)組件MapReduce .Spark是一個(gè)基于內(nèi)存的迭代計(jì)算框架，適用于需要多次操作特定數(shù)據(jù) set的應(yīng)用。pageRank、KMeans等算法非常適合內(nèi)存迭代計(jì)算。Spark的整個(gè)生態(tài)系統(tǒng)也在逐漸完善，比如GraphX，SparkSQL，SparkStreaming，MLlib。當(dāng)Spark有了自己的-2倉(cāng)庫(kù)，就完全可以媲美Hadoop的生態(tài)系統(tǒng)了。
9、科普Spark,Spark是什么,如何使用Spark科普Spark，什么是Spark，如何使用Spark 1。Spark基于什么算法進(jìn)行分布式計(jì)算(很簡(jiǎn)單)2。Spark和MapReduce 3有什么區(qū)別？為什么Spark比Hadoop 4更靈活。Spark 5有哪些局限性。Spark1是什么？火花？它是UCBerkeleyAMPlab的開源HadoopMapRed類。Uce的通用并行計(jì)算框架，Spark的基于mapreduce算法的分布式計(jì)算，具有HadoopMapReduce的優(yōu)點(diǎn)；但與mapreduce不同的是，Job的中間輸出和結(jié)果可以存儲(chǔ)在內(nèi)存中，不需要讀寫HDFS，所以Spark可以更好地應(yīng)用于需要迭代的MapReduce算法，比如數(shù)據(jù) mining和machine learning。
10、spark從hive 數(shù)據(jù) 倉(cāng)庫(kù)中讀取的 數(shù)據(jù)可以使用 sparksql進(jìn)行查詢嗎1。為了讓Spark連接到Hive的原數(shù)據(jù) 倉(cāng)庫(kù)因?yàn)槲业腟park是自動(dòng)安裝部署在這里的，所以經(jīng)過摸索，我需要知道CDH把hivesite.xml .放在哪里，這個(gè)文件的默認(rèn)路徑是:/etc/hive/conf。
