大數(shù)據(jù)技術(shù)架構(gòu)的分析層提供基于統(tǒng)計(jì)的數(shù)據(jù)。大數(shù)據(jù)的四層堆疊技術(shù)架構(gòu): 1?；A(chǔ)層第一層是整個(gè)大數(shù)據(jù)技術(shù)的最底層架構(gòu)也是基礎(chǔ)層。要實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的應(yīng)用，企業(yè)需要高度自動(dòng)化和可擴(kuò)展的存儲(chǔ)和計(jì)算平臺(tái)。這個(gè)基礎(chǔ)設(shè)施需要從以前的存儲(chǔ)孤島發(fā)展到具有共享能力的大容量存儲(chǔ)池。容量、性能和吞吐量必須能夠線性擴(kuò)展。云模型鼓勵(lì)數(shù)據(jù)訪問(wèn)，并提供了處理大規(guī)模問(wèn)題的彈性資源池，解決了如何存儲(chǔ)大量數(shù)據(jù)以及如何積累操作數(shù)據(jù)所需的計(jì)算資源的問(wèn)題。

2.管理層要支持對(duì)多源數(shù)據(jù)的深入分析，大數(shù)據(jù)技術(shù)架構(gòu)需要一個(gè)管理層平臺(tái)將結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)管理與實(shí)時(shí)傳輸、查詢(xún)和計(jì)算功能集成。這一層不僅包括數(shù)據(jù)存儲(chǔ)和管理，還涉及數(shù)據(jù)計(jì)算。并行化和分布式是大數(shù)據(jù)管理的基本要素平臺(tái)。3.大數(shù)據(jù)在分析層的應(yīng)用需要大數(shù)據(jù)分析。

現(xiàn)階段應(yīng)用最廣泛的是hadoop、spark和flinnk。這三個(gè)都是apache軟件基金會(huì)的頂級(jí)開(kāi)源項(xiàng)目。在我看來(lái)，一個(gè)完整的大數(shù)據(jù)平臺(tái)應(yīng)該提供離線計(jì)算、即席查詢(xún)、實(shí)時(shí)計(jì)算和實(shí)時(shí)查詢(xún)功能。Hadoop、spark和storm無(wú)法獨(dú)自完成以上全部功能。Hadoop spark hive是非常不錯(cuò)的選擇。hadoop的HDFS無(wú)疑是分布式文件系統(tǒng)解決存儲(chǔ)問(wèn)題的解決方案。Hadoopmapreduce、hive、sparkapplication、sparkSQL解決了離線計(jì)算和即席查詢(xún)的問(wèn)題。Sparkstreaming解決了實(shí)時(shí)計(jì)算的問(wèn)題；另外還需要HBase或Redis等NOSQL技術(shù)來(lái)解決實(shí)時(shí)查詢(xún)的問(wèn)題；除了這些，大數(shù)據(jù)平臺(tái)需要任務(wù)調(diào)度系統(tǒng)和數(shù)據(jù)交換工具。任務(wù)調(diào)度系統(tǒng)解決所有大數(shù)據(jù)中的任務(wù)調(diào)度和監(jiān)控平臺(tái)；數(shù)據(jù)交換工具解決了其他數(shù)據(jù)源與HDFS之間的數(shù)據(jù)傳輸，如:數(shù)據(jù)庫(kù)到HDFS，HDFS到數(shù)據(jù)庫(kù)等等。

【簡(jiǎn)介】作為一名大數(shù)據(jù)工程師，不可能手動(dòng)進(jìn)行數(shù)據(jù)分析，而是借助一定的工具，即大數(shù)據(jù)技術(shù)工具。近幾年大數(shù)據(jù)分析技術(shù)興起，但是將大數(shù)據(jù)分析技術(shù)應(yīng)用到企業(yè)品牌的營(yíng)銷(xiāo)上，并沒(méi)有實(shí)施很久。大數(shù)據(jù)技術(shù)對(duì)各行業(yè)的發(fā)展產(chǎn)生了巨大的影響。那么大數(shù)據(jù)工程師使用的大數(shù)據(jù)技術(shù)架構(gòu)發(fā)生了哪些變化？讓我們互相了解一下。

2.從批處理到實(shí)時(shí)數(shù)據(jù)處理，實(shí)時(shí)數(shù)據(jù)通信和流媒體功能的成本大大降低，為其主流使用鋪平了道路。這些技術(shù)實(shí)現(xiàn)了一系列新的商業(yè)應(yīng)用:例如，運(yùn)輸公司可以在出租車(chē)到達(dá)時(shí)為客戶提供精確的秒到秒到達(dá)時(shí)間預(yù)測(cè)；保險(xiǎn)公司可以從智能設(shè)備上分析實(shí)時(shí)行為數(shù)據(jù)，從而定制費(fèi)率；此外，制造商可以根據(jù)實(shí)時(shí)傳感器數(shù)據(jù)預(yù)測(cè)基礎(chǔ)設(shè)施中的各種問(wèn)題。

最基礎(chǔ)的兩個(gè)功能是:一個(gè)是數(shù)據(jù)收集；II 數(shù)據(jù)分析誘導(dǎo)。擴(kuò)展:首先，它必須容納海量數(shù)據(jù)。如果數(shù)據(jù)分析 平臺(tái)無(wú)法擴(kuò)展存儲(chǔ)或管理海量數(shù)據(jù)，單純提高速度的效果相當(dāng)有限。大數(shù)據(jù)分析 平臺(tái)必須能夠容納海量數(shù)據(jù)。大規(guī)模并行處理是擴(kuò)展分析處理的理想技術(shù)，因?yàn)樗瑫r(shí)使用計(jì)算機(jī)集群的存儲(chǔ)和計(jì)算能力。它不僅擴(kuò)展了性能，還提高了處理大量傳入數(shù)據(jù)流的能力。

結(jié)構(gòu)化數(shù)據(jù)庫(kù)能更好地理解數(shù)據(jù)在數(shù)據(jù)海洋中的位置，并能準(zhǔn)確地訪問(wèn)數(shù)據(jù)。一般來(lái)說(shuō)，非結(jié)構(gòu)化數(shù)據(jù)庫(kù)很難擴(kuò)展到采用列設(shè)計(jì)的結(jié)構(gòu)化數(shù)據(jù)庫(kù)所能達(dá)到的程度。但大數(shù)據(jù)分析 平臺(tái)可能與功能集成，可以提高非結(jié)構(gòu)化數(shù)據(jù)庫(kù)的可伸縮性和性能。第二，必須非常快。簡(jiǎn)單來(lái)說(shuō)，在數(shù)字時(shí)代，用戶在運(yùn)行查詢(xún)時(shí)不希望長(zhǎng)時(shí)間等待結(jié)果。他們希望在不影響其他工作負(fù)載的情況下，立即獲得滿足感和結(jié)果。

PetaBaseV作為Vertica基于宜信的分析產(chǎn)品定制版，提供大數(shù)據(jù)實(shí)時(shí)分析服務(wù)，采用無(wú)共享大規(guī)模并行架構(gòu)(MPP)，可以線性擴(kuò)展集群的計(jì)算能力和數(shù)據(jù)處理能力。PetaBaseV基于列數(shù)據(jù)庫(kù)技術(shù)，具有高性能、高擴(kuò)展性、高壓縮比和高健壯性的特點(diǎn)。大數(shù)據(jù)實(shí)時(shí)分析平臺(tái)(以下簡(jiǎn)稱(chēng)PBS)旨在提供端到端的實(shí)時(shí)數(shù)據(jù)處理能力(毫秒/秒/分鐘延遲)，能夠從多個(gè)數(shù)據(jù)源提取實(shí)時(shí)數(shù)據(jù)，為多數(shù)據(jù)應(yīng)用場(chǎng)景提供實(shí)時(shí)數(shù)據(jù)消費(fèi)。

作為一名大數(shù)據(jù)技術(shù)人員，我可以和題主分享一些經(jīng)驗(yàn):其實(shí)題主需要了解以下幾個(gè)問(wèn)題，問(wèn)題的答案其實(shí)是有的:1。我想從個(gè)人學(xué)習(xí)成長(zhǎng)的角度來(lái)構(gòu)建平臺(tái)自學(xué)？還是現(xiàn)在的公司需要大數(shù)據(jù)技術(shù)進(jìn)行分析？從個(gè)人學(xué)習(xí)成長(zhǎng)的角度，建議根據(jù)Hadoop或者Spark的官網(wǎng)教程直接安裝，建議看官網(wǎng)(英文)。在大數(shù)據(jù)技術(shù)領(lǐng)域，掌握英語(yǔ)是非常重要的，因?yàn)樯婕暗浇M件選型、未來(lái)的安裝、部署和運(yùn)維，所有的任務(wù)操作信息和錯(cuò)誤信息都是英文，包括回答遇到的問(wèn)題，所以還是很重要的。

要解決什么業(yè)務(wù)問(wèn)題？需要什么樣的分析？有多少數(shù)據(jù)？是否需要實(shí)時(shí)分析？對(duì)BI報(bào)告有需求嗎？這里有一個(gè)典型的場(chǎng)景:公司用Oracle或者M(jìn)ySQL搭建業(yè)務(wù)數(shù)據(jù)庫(kù)，有一個(gè)簡(jiǎn)單的數(shù)據(jù)分析，也可能購(gòu)買(mǎi)了一個(gè)BI系統(tǒng)，由業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)直接支持。現(xiàn)在數(shù)據(jù)量越來(lái)越大，需要采用大數(shù)據(jù)技術(shù)進(jìn)行擴(kuò)展。

在一次線上分享會(huì)上獲得挖數(shù)字科技大數(shù)據(jù)運(yùn)營(yíng)的試用機(jī)會(huì)平臺(tái)等?；鸺龜?shù)據(jù)紅皮書(shū)版(以下簡(jiǎn)稱(chēng)“平臺(tái)”)。這個(gè)平臺(tái)主要是對(duì)小紅書(shū)上的筆記流量數(shù)據(jù)進(jìn)行抓取和分析，意在給用戶在渠道投放或者賬號(hào)推廣方面的指導(dǎo)。本文結(jié)構(gòu)按邏輯順序分析，包括:寫(xiě)作背景，平臺(tái)用戶及其需求分析，平臺(tái) 功能分析、優(yōu)化與建議，結(jié)論。有興趣的同學(xué)可以選擇閱讀。由于作者不是內(nèi)部員工，無(wú)法了解技術(shù)可行性、數(shù)據(jù)可行性和外部協(xié)同資源，所以只在建議模塊大膽提出想法，供系統(tǒng)設(shè)計(jì)人員參考。

在本文中，用戶被定義為三個(gè)維度，但它們之間略有重疊。普通用戶:主要指瀏覽小紅書(shū)筆記的C端用戶，與內(nèi)容創(chuàng)作者有包容關(guān)系，核心需求:期望從小紅書(shū)上獲得可靠且有價(jià)值的產(chǎn)品/服務(wù)信息；志趣相投的戀人社交；以更優(yōu)惠的價(jià)格購(gòu)買(mǎi)正品。核心需求:希望通過(guò)自己的流量/KOL身份為品牌引流，從而獲得收入；品牌方:將小紅書(shū)作為自己產(chǎn)品推廣渠道之一的B端用戶。