元數(shù)據(jù)大致分為元數(shù)據(jù)關(guān)于來(lái)源、應(yīng)用上的分析元數(shù)據(jù) in 數(shù)據(jù)倉(cāng)庫(kù):Da 數(shù)據(jù)倉(cāng)庫(kù)摘要:元數(shù)據(jù)作為存儲(chǔ)數(shù)據(jù)of9代碼數(shù)據(jù):在大號(hào)數(shù)據(jù)，非數(shù)字?jǐn)?shù)據(jù)經(jīng)常出現(xiàn)，如性別，城市等。這些非數(shù)字?jǐn)?shù)據(jù)需要轉(zhuǎn)換成數(shù)字，倉(cāng)庫(kù)映射的數(shù)據(jù) Meta數(shù)據(jù)和數(shù)據(jù)Meta所使用的倉(cāng)庫(kù)數(shù)據(jù)四種類(lèi)型。

離線數(shù)據(jù)倉(cāng)庫(kù):Java、MySQL、Maven、Git、OpenResty、Linux、Shell、HDFS、YARN、Zookeeper、MapReduce、Scala、Python、SparkCore、Hive、SparkSQL、Presto、Sqoop、DataX、Flume、CDH、數(shù)據(jù)倉(cāng)庫(kù)。

1。需求分析是大型數(shù)據(jù)可視化項(xiàng)目的前提。需要描述項(xiàng)目背景和目的、業(yè)務(wù)目標(biāo)、業(yè)務(wù)范圍、業(yè)務(wù)需求和功能需求，明確實(shí)施單位對(duì)可視化的期望和要求。包括要分析的話(huà)題，每個(gè)話(huà)題可能的視角，企業(yè)各方面需要宣泄的規(guī)律，用戶(hù)的需求等等。2.建筑數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)市場(chǎng)模型數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)市場(chǎng)模型是在需求分析的基礎(chǔ)上建立的。

三。數(shù)據(jù)提取、清理、轉(zhuǎn)換和加載(ETL) 數(shù)據(jù)提取是指?jìng)}庫(kù)/集市所需的數(shù)據(jù)從各種業(yè)務(wù)系統(tǒng)中分離出來(lái)，因?yàn)橐虼耍獮槊總€(gè)數(shù)據(jù)源建立不同的提取程序，每個(gè)數(shù)據(jù)提取流程都需要使用接口來(lái)傳遞meta 數(shù)據(jù) cleaning的目的是保證提取的原數(shù)據(jù)的質(zhì)量符合數(shù)據(jù)倉(cāng)庫(kù)/市場(chǎng)的要求，保持?jǐn)?shù)據(jù)的一致性。數(shù)據(jù)的轉(zhuǎn)換是整個(gè)ETL過(guò)程的核心部分，主要是對(duì)原始的數(shù)據(jù)進(jìn)行計(jì)算和放大。

隨著全球信息化的浪潮，信息化產(chǎn)業(yè)不斷發(fā)展和延伸，已經(jīng)滲透到很多企業(yè)和個(gè)人。SOA體系架構(gòu)的出現(xiàn)將給信息化帶來(lái)一場(chǎng)新的革命。在整個(gè)信息化建設(shè)和應(yīng)用過(guò)程中，雖然已經(jīng)出現(xiàn)了XML(標(biāo)準(zhǔn)通用標(biāo)記語(yǔ)言的子集)、Unicode、UML等多種信息標(biāo)準(zhǔn)，但是很多異構(gòu)系統(tǒng)仍然使用各自獨(dú)立的數(shù)據(jù)格式、meta 數(shù)據(jù)和元模型，這些都是信息產(chǎn)品提供商已經(jīng)形成的。

存在大量信息孤島的事實(shí)大大降低了信息建設(shè)的ROI(投資回報(bào)率), ETL成為集中這些異構(gòu)的有效工具數(shù)據(jù)。ETL常用于將提取 數(shù)據(jù)從源系統(tǒng)轉(zhuǎn)換成與目標(biāo)系統(tǒng)兼容的格式，然后加載到目標(biāo)系統(tǒng)中。數(shù)據(jù)被獲取、轉(zhuǎn)換、加載后，需要另一個(gè)數(shù)據(jù) presentation工具來(lái)實(shí)現(xiàn)應(yīng)用價(jià)值。如此復(fù)雜的申請(qǐng)過(guò)程必然會(huì)產(chǎn)生很高的申請(qǐng)成本。