數(shù)據(jù)可視化是如何創(chuàng)建的我曾多次被眼花繚亂的數(shù)據(jù)可視化或信息可視化所震驚，在知道這些圖片背后的數(shù)據(jù)來(lái)源和創(chuàng)建過(guò)程后，我更加驚訝。從狹義上講，數(shù)字可視化是指以統(tǒng)計(jì)圖表的形式呈現(xiàn)數(shù)據(jù)，而信息圖形(information visualization)是將非數(shù)字信息可視化，第5章數(shù)據(jù)和可視化可視化是監(jiān)控的目標(biāo)之一，沒(méi)有好的展示，我們很難分析更多的數(shù)據(jù)。

一般對(duì)于大數(shù)據(jù)分析，會(huì)首先使用大數(shù)據(jù)數(shù)據(jù)庫(kù)，比如MongoDB、GBase等。其次，我們將使用數(shù)據(jù)倉(cāng)庫(kù)工具對(duì)數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換和處理，以獲得有價(jià)值的數(shù)據(jù)。然后用數(shù)據(jù)建模工具建模。最后，利用大數(shù)據(jù)工具進(jìn)行可視化分析。根據(jù)上面的描述，我們討論根據(jù)流程使用的工具。1.大數(shù)據(jù)工具:數(shù)據(jù)存儲(chǔ)和管理工具大數(shù)據(jù)完全從數(shù)據(jù)存儲(chǔ)開(kāi)始，也就是說(shuō)從Hadoop這種大數(shù)據(jù)框架開(kāi)始。

因?yàn)榇髷?shù)據(jù)需要大量的信息，所以存儲(chǔ)非常重要。但是除了存儲(chǔ)之外，我們還需要某種方式將所有這些數(shù)據(jù)聚合到某種格式/治理結(jié)構(gòu)中，以獲得洞察力。2.大數(shù)據(jù)工具:數(shù)據(jù)清理工具使用數(shù)據(jù)倉(cāng)庫(kù)工具Hive。Hive基于Hadoop分布式文件系統(tǒng)，其數(shù)據(jù)存儲(chǔ)在HDFS。Hive本身沒(méi)有特殊的數(shù)據(jù)存儲(chǔ)格式，也沒(méi)有數(shù)據(jù)的索引。Hive只有在創(chuàng)建表時(shí)告知Hive數(shù)據(jù)中的列分隔符和行分隔符，才能解析數(shù)據(jù)。

經(jīng)過(guò)30年的信息化建設(shè)，企業(yè)會(huì)有幾十個(gè)甚至上百個(gè)業(yè)務(wù)系統(tǒng)。通過(guò)提煉業(yè)務(wù)系統(tǒng)中最有價(jià)值和最關(guān)鍵的數(shù)據(jù)，他們可以最終收集并呈現(xiàn)這些數(shù)據(jù)，這可以在支持決策中發(fā)揮作用。對(duì)于掌握全局的決策者來(lái)說(shuō)，前期的數(shù)據(jù)采集、傳輸、存儲(chǔ)、分析、運(yùn)算等工作是基礎(chǔ)性工作。需要通過(guò)可視化的手段將各種數(shù)據(jù)之間的規(guī)律和聯(lián)系展現(xiàn)在決策者面前，使數(shù)據(jù)能夠有效地支持最終的決策過(guò)程。

作者|網(wǎng)絡(luò)大數(shù)據(jù)如今，城市交通擁堵越來(lái)越嚴(yán)重。雖然智能交通的布局在不斷完善，但交通管理依然收效甚微。存在很多問(wèn)題，比如數(shù)據(jù)獨(dú)立存儲(chǔ)難以集成應(yīng)用，數(shù)據(jù)內(nèi)在規(guī)律難以發(fā)現(xiàn)，數(shù)據(jù)缺乏深度挖掘等等。如何解決它們？再來(lái)看看城市交通大數(shù)據(jù)可視化解決方案！交通動(dòng)態(tài)可見(jiàn)，交通管理更簡(jiǎn)單?！按髷?shù)據(jù)可視化”可以直觀呈現(xiàn)城市運(yùn)營(yíng)核心系統(tǒng)的關(guān)鍵數(shù)據(jù)，從感官、運(yùn)營(yíng)、應(yīng)用、數(shù)據(jù)四個(gè)維度解決交警的個(gè)性化需求，構(gòu)建業(yè)務(wù)場(chǎng)景的深度應(yīng)用，從而打通從數(shù)據(jù)到?jīng)Q策的最短路徑。

所謂的數(shù)據(jù)可視化web的前端，其實(shí)廣義上和傳統(tǒng)的web開(kāi)發(fā)沒(méi)什么區(qū)別。都是數(shù)據(jù)模板，組件的模塊化也差不多。前后端的分離和傳統(tǒng)的web開(kāi)發(fā)沒(méi)什么區(qū)別。目前有很多以節(jié)點(diǎn)為中間層的分離方案(天貓的蟲(chóng)洞，淘寶的中途)。數(shù)據(jù)處理交給java或者其他更合適的，node用于密集型IO和模板展現(xiàn)。

如果程序類似于GoogleAnalytics，并不是直接應(yīng)用于全站，而是要看場(chǎng)景。因?yàn)榫W(wǎng)頁(yè)中單個(gè)應(yīng)用的形式往往要復(fù)雜得多，要處理的問(wèn)題也會(huì)疊加在一起。圖表的性能問(wèn)題，內(nèi)存問(wèn)題，持久性問(wèn)題，傳遞問(wèn)題等等都是需要考慮的。之前做了一個(gè)項(xiàng)目，實(shí)際上沒(méi)用組件庫(kù)(當(dāng)然后面會(huì)有很多維護(hù)問(wèn)題，不夠優(yōu)雅)。

我曾多次被眼花繚亂的數(shù)據(jù)可視化或信息可視化所震撼，而在了解了這些圖片背后的數(shù)據(jù)來(lái)源和創(chuàng)作過(guò)程后，我更加驚訝。涉及地圖學(xué)、平面圖設(shè)計(jì)、計(jì)算機(jī)視覺(jué)、數(shù)據(jù)采集、統(tǒng)計(jì)學(xué)、圖形技術(shù)、數(shù)模結(jié)合、動(dòng)畫(huà)、三維渲染、用戶交互等。相關(guān)領(lǐng)域包括成像和視覺(jué)感知?？臻g分析、科學(xué)建模等。這是創(chuàng)意設(shè)計(jì)美學(xué)和嚴(yán)謹(jǐn)工程科學(xué)的杰出產(chǎn)物。把可能非?？菰锓ξ兜臄?shù)據(jù)以非常優(yōu)美的形式呈現(xiàn)出來(lái)，其表現(xiàn)和創(chuàng)作過(guò)程堪稱藝術(shù)。

我盡力尋找每一張數(shù)據(jù)圖表背后的背景，加上注解和解釋，希望能幫助讀者更深入地理解這些圖表的含義，而不僅僅是贊嘆“好看”。這些圖片不會(huì)說(shuō)話，但比文字和語(yǔ)言更有力量。數(shù)據(jù)可視化數(shù)據(jù)可視化和信息可視化信息圖是兩個(gè)相似的專業(yè)術(shù)語(yǔ)。從狹義上講，數(shù)字可視化是指以統(tǒng)計(jì)圖表的形式呈現(xiàn)數(shù)據(jù)，而信息圖形(information visualization)是將非數(shù)字信息可視化。

數(shù)據(jù)可視化軟件包括:1 .ECharts相信稍微了解數(shù)據(jù)可視化的人都會(huì)知道ECharts這款數(shù)據(jù)可視化軟件。ECharts是一款可以兼容pc和移動(dòng)終端的軟件，兼容目前大多數(shù)瀏覽器(IE9/10/11、Chrome、Firefox、Safari等。).底層依靠矢量圖形庫(kù)ZRender，提供直觀、交互、高層。

可以幫助你使用HTML，CSS，SVG和Canvas來(lái)顯示數(shù)據(jù)。D3遵循現(xiàn)有的Web標(biāo)準(zhǔn)，可以在現(xiàn)代瀏覽器中獨(dú)立運(yùn)行，不需要任何其他框架。它結(jié)合了強(qiáng)大的可視化組件來(lái)驅(qū)動(dòng)DOM操作。3.山海鯨可視化山海鯨可視化是一款專注于數(shù)字雙胞胎的軟件。通過(guò)自研的CSaaS架構(gòu)大大降低了本地私有化部署的成本，并完美兼容BS模式的Web屬性。

可視化是監(jiān)控的目標(biāo)之一。沒(méi)有好的展示，我們很難分析更多的數(shù)據(jù)。本文主要介紹Grafana。雖然我們也展示了Grafana數(shù)據(jù)可視化的界面，但并沒(méi)有深入介紹。該書(shū)介紹了Prometheus自帶的控制臺(tái)界面。要啟動(dòng)該功能，只需要在啟動(dòng)命令中添加相關(guān)參數(shù)即可。但是用這種方法畫(huà)圖效率太低。在實(shí)際使用中，都是和Grafana一起使用。

ConsoleTeam可以滿足一定的可視化需求，但只是普羅米修斯基礎(chǔ)能力的補(bǔ)充。同時(shí)也會(huì)出現(xiàn)很多問(wèn)題，首先，用戶需要學(xué)習(xí)和理解GoTemplate模板語(yǔ)言，它支持的其他類型的可視化圖表也非常有限。最后，它的管理也有一定的成本，在第1章“了解Prometheus”中，我們?cè)噲D通過(guò)Grafana快速構(gòu)建一個(gè)主機(jī)監(jiān)控儀表板。在本章中，讀者將學(xué)習(xí)如何使用Grafana創(chuàng)建更漂亮的可視化報(bào)告。