大數(shù)據(jù)技術(shù)架構(gòu)的分析層提供基于統(tǒng)計(jì)的數(shù)據(jù)。大數(shù)據(jù)的四層堆疊技術(shù)架構(gòu): 1。基礎(chǔ)層第一層是整個(gè)大數(shù)據(jù)技術(shù)的最底層架構(gòu)也是基礎(chǔ)層。要實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的應(yīng)用，企業(yè)需要高度自動(dòng)化和可擴(kuò)展的存儲(chǔ)和計(jì)算平臺(tái)。這個(gè)基礎(chǔ)設(shè)施需要從以前的存儲(chǔ)孤島發(fā)展到具有共享能力的大容量存儲(chǔ)池。容量、性能和吞吐量必須能夠線性擴(kuò)展。云模型鼓勵(lì)數(shù)據(jù)訪問，并提供了處理大規(guī)模問題的彈性資源池，解決了如何存儲(chǔ)大量數(shù)據(jù)以及如何積累操作數(shù)據(jù)所需的計(jì)算資源的問題。

2.管理層要支持對(duì)多源數(shù)據(jù)的深入分析，大數(shù)據(jù)技術(shù)架構(gòu)需要一個(gè)管理層平臺(tái)將結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)管理與實(shí)時(shí)傳輸、查詢和計(jì)算功能集成。這一層不僅包括數(shù)據(jù)存儲(chǔ)和管理，還涉及數(shù)據(jù)計(jì)算。并行化和分布式是大數(shù)據(jù)管理的基本要素平臺(tái)。3.大數(shù)據(jù)在分析層的應(yīng)用需要大數(shù)據(jù)分析。

現(xiàn)階段應(yīng)用最廣泛的是hadoop、spark和flinnk。這三個(gè)都是apache軟件基金會(huì)的頂級(jí)開源項(xiàng)目。在我看來，一個(gè)完整的大數(shù)據(jù)平臺(tái)應(yīng)該提供離線計(jì)算、即席查詢、實(shí)時(shí)計(jì)算和實(shí)時(shí)查詢功能。Hadoop、spark和storm無法獨(dú)自完成以上全部功能。Hadoop spark hive是非常不錯(cuò)的選擇。hadoop的HDFS無疑是分布式文件系統(tǒng)解決存儲(chǔ)問題的解決方案。Hadoopmapreduce、hive、sparkapplication、sparkSQL解決了離線計(jì)算和即席查詢的問題。Sparkstreaming解決了實(shí)時(shí)計(jì)算的問題；另外還需要HBase或Redis等NOSQL技術(shù)來解決實(shí)時(shí)查詢的問題；除了這些，大數(shù)據(jù)平臺(tái)需要任務(wù)調(diào)度系統(tǒng)和數(shù)據(jù)交換工具。任務(wù)調(diào)度系統(tǒng)解決所有大數(shù)據(jù)中的任務(wù)調(diào)度和監(jiān)控平臺(tái)；數(shù)據(jù)交換工具解決了其他數(shù)據(jù)源與HDFS之間的數(shù)據(jù)傳輸，如:數(shù)據(jù)庫到HDFS，HDFS到數(shù)據(jù)庫等等。

【簡介】作為一名大數(shù)據(jù)工程師，不可能手動(dòng)進(jìn)行數(shù)據(jù)分析，而是借助一定的工具，即大數(shù)據(jù)技術(shù)工具。近幾年大數(shù)據(jù)分析技術(shù)興起，但是將大數(shù)據(jù)分析技術(shù)應(yīng)用到企業(yè)品牌的營銷上，并沒有實(shí)施很久。大數(shù)據(jù)技術(shù)對(duì)各行業(yè)的發(fā)展產(chǎn)生了巨大的影響。那么大數(shù)據(jù)工程師使用的大數(shù)據(jù)技術(shù)架構(gòu)發(fā)生了哪些變化？讓我們互相了解一下。

2.從批處理到實(shí)時(shí)數(shù)據(jù)處理，實(shí)時(shí)數(shù)據(jù)通信和流媒體功能的成本大大降低，為其主流使用鋪平了道路。這些技術(shù)實(shí)現(xiàn)了一系列新的商業(yè)應(yīng)用:例如，運(yùn)輸公司可以在出租車到達(dá)時(shí)為客戶提供精確的秒到秒到達(dá)時(shí)間預(yù)測；保險(xiǎn)公司可以從智能設(shè)備上分析實(shí)時(shí)行為數(shù)據(jù)，從而定制費(fèi)率；此外，制造商可以根據(jù)實(shí)時(shí)傳感器數(shù)據(jù)預(yù)測基礎(chǔ)設(shè)施中的各種問題。

最基礎(chǔ)的兩個(gè)功能是:一個(gè)是數(shù)據(jù)收集；II 數(shù)據(jù)分析誘導(dǎo)。擴(kuò)展:首先，它必須容納海量數(shù)據(jù)。如果數(shù)據(jù)分析 平臺(tái)無法擴(kuò)展存儲(chǔ)或管理海量數(shù)據(jù)，單純提高速度的效果相當(dāng)有限。大數(shù)據(jù)分析 平臺(tái)必須能夠容納海量數(shù)據(jù)。大規(guī)模并行處理是擴(kuò)展分析處理的理想技術(shù)，因?yàn)樗瑫r(shí)使用計(jì)算機(jī)集群的存儲(chǔ)和計(jì)算能力。它不僅擴(kuò)展了性能，還提高了處理大量傳入數(shù)據(jù)流的能力。

結(jié)構(gòu)化數(shù)據(jù)庫能更好地理解數(shù)據(jù)在數(shù)據(jù)海洋中的位置，并能準(zhǔn)確地訪問數(shù)據(jù)。一般來說，非結(jié)構(gòu)化數(shù)據(jù)庫很難擴(kuò)展到采用列設(shè)計(jì)的結(jié)構(gòu)化數(shù)據(jù)庫所能達(dá)到的程度。但大數(shù)據(jù)分析 平臺(tái)可能與功能集成，可以提高非結(jié)構(gòu)化數(shù)據(jù)庫的可伸縮性和性能。第二，必須非?？?。簡單來說，在數(shù)字時(shí)代，用戶在運(yùn)行查詢時(shí)不希望長時(shí)間等待結(jié)果。他們希望在不影響其他工作負(fù)載的情況下，立即獲得滿足感和結(jié)果。

PetaBaseV作為Vertica基于宜信的分析產(chǎn)品定制版，提供大數(shù)據(jù)實(shí)時(shí)分析服務(wù)，采用無共享大規(guī)模并行架構(gòu)(MPP)，可以線性擴(kuò)展集群的計(jì)算能力和數(shù)據(jù)處理能力。PetaBaseV基于列數(shù)據(jù)庫技術(shù)，具有高性能、高擴(kuò)展性、高壓縮比和高健壯性的特點(diǎn)。大數(shù)據(jù)實(shí)時(shí)分析平臺(tái)(以下簡稱PBS)旨在提供端到端的實(shí)時(shí)數(shù)據(jù)處理能力(毫秒/秒/分鐘延遲)，能夠從多個(gè)數(shù)據(jù)源提取實(shí)時(shí)數(shù)據(jù)，為多數(shù)據(jù)應(yīng)用場景提供實(shí)時(shí)數(shù)據(jù)消費(fèi)。

作為一名大數(shù)據(jù)技術(shù)人員，我可以和題主分享一些經(jīng)驗(yàn):其實(shí)題主需要了解以下幾個(gè)問題，問題的答案其實(shí)是有的:1。我想從個(gè)人學(xué)習(xí)成長的角度來構(gòu)建平臺(tái)自學(xué)？還是現(xiàn)在的公司需要大數(shù)據(jù)技術(shù)進(jìn)行分析？從個(gè)人學(xué)習(xí)成長的角度，建議根據(jù)Hadoop或者Spark的官網(wǎng)教程直接安裝，建議看官網(wǎng)(英文)。在大數(shù)據(jù)技術(shù)領(lǐng)域，掌握英語是非常重要的，因?yàn)樯婕暗浇M件選型、未來的安裝、部署和運(yùn)維，所有的任務(wù)操作信息和錯(cuò)誤信息都是英文，包括回答遇到的問題，所以還是很重要的。

要解決什么業(yè)務(wù)問題？需要什么樣的分析？有多少數(shù)據(jù)？是否需要實(shí)時(shí)分析？對(duì)BI報(bào)告有需求嗎？這里有一個(gè)典型的場景:公司用Oracle或者M(jìn)ySQL搭建業(yè)務(wù)數(shù)據(jù)庫，有一個(gè)簡單的數(shù)據(jù)分析，也可能購買了一個(gè)BI系統(tǒng)，由業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫直接支持。現(xiàn)在數(shù)據(jù)量越來越大，需要采用大數(shù)據(jù)技術(shù)進(jìn)行擴(kuò)展。

在一次線上分享會(huì)上獲得挖數(shù)字科技大數(shù)據(jù)運(yùn)營的試用機(jī)會(huì)平臺(tái)等?；鸺龜?shù)據(jù)紅皮書版(以下簡稱“平臺(tái)”)。這個(gè)平臺(tái)主要是對(duì)小紅書上的筆記流量數(shù)據(jù)進(jìn)行抓取和分析，意在給用戶在渠道投放或者賬號(hào)推廣方面的指導(dǎo)。本文結(jié)構(gòu)按邏輯順序分析，包括:寫作背景，平臺(tái)用戶及其需求分析，平臺(tái) 功能分析、優(yōu)化與建議，結(jié)論。有興趣的同學(xué)可以選擇閱讀。由于作者不是內(nèi)部員工，無法了解技術(shù)可行性、數(shù)據(jù)可行性和外部協(xié)同資源，所以只在建議模塊大膽提出想法，供系統(tǒng)設(shè)計(jì)人員參考。

在本文中，用戶被定義為三個(gè)維度，但它們之間略有重疊。普通用戶:主要指瀏覽小紅書筆記的C端用戶，與內(nèi)容創(chuàng)作者有包容關(guān)系，核心需求:期望從小紅書上獲得可靠且有價(jià)值的產(chǎn)品/服務(wù)信息；志趣相投的戀人社交；以更優(yōu)惠的價(jià)格購買正品。核心需求:希望通過自己的流量/KOL身份為品牌引流，從而獲得收入；品牌方:將小紅書作為自己產(chǎn)品推廣渠道之一的B端用戶。