元數據大致分為元數據關于來源、應用上的分析元數據 in 數據倉庫:Da 數據倉庫摘要:元數據作為存儲數據of9代碼數據:在大號數據，非數字數據經常出現(xiàn)，如性別，城市等。這些非數字數據需要轉換成數字，倉庫映射的數據 Meta數據和數據Meta所使用的倉庫數據四種類型。

離線數據倉庫:Java、MySQL、Maven、Git、OpenResty、Linux、Shell、HDFS、YARN、Zookeeper、MapReduce、Scala、Python、SparkCore、Hive、SparkSQL、Presto、Sqoop、DataX、Flume、CDH、數據倉庫。

1。需求分析是大型數據可視化項目的前提。需要描述項目背景和目的、業(yè)務目標、業(yè)務范圍、業(yè)務需求和功能需求，明確實施單位對可視化的期望和要求。包括要分析的話題，每個話題可能的視角，企業(yè)各方面需要宣泄的規(guī)律，用戶的需求等等。2.建筑數據倉庫/數據市場模型數據倉庫/數據市場模型是在需求分析的基礎上建立的。

三。數據提取、清理、轉換和加載(ETL) 數據提取是指倉庫/集市所需的數據從各種業(yè)務系統(tǒng)中分離出來，因為因此，要為每個數據源建立不同的提取程序，每個數據提取流程都需要使用接口來傳遞meta 數據 cleaning的目的是保證提取的原數據的質量符合數據倉庫/市場的要求，保持數據的一致性。數據的轉換是整個ETL過程的核心部分，主要是對原始的數據進行計算和放大。

隨著全球信息化的浪潮，信息化產業(yè)不斷發(fā)展和延伸，已經滲透到很多企業(yè)和個人。SOA體系架構的出現(xiàn)將給信息化帶來一場新的革命。在整個信息化建設和應用過程中，雖然已經出現(xiàn)了XML(標準通用標記語言的子集)、Unicode、UML等多種信息標準，但是很多異構系統(tǒng)仍然使用各自獨立的數據格式、meta 數據和元模型，這些都是信息產品提供商已經形成的。

存在大量信息孤島的事實大大降低了信息建設的ROI(投資回報率), ETL成為集中這些異構的有效工具數據。ETL常用于將提取 數據從源系統(tǒng)轉換成與目標系統(tǒng)兼容的格式，然后加載到目標系統(tǒng)中。數據被獲取、轉換、加載后，需要另一個數據 presentation工具來實現(xiàn)應用價值。如此復雜的申請過程必然會產生很高的申請成本。