在某些方面使用別人成熟的框架相當于請別人幫你完成一些基礎(chǔ)工作。你只需要專注于系統(tǒng)的業(yè)務邏輯設計。這樣就不用每次開發(fā)都從零開始，而是可以在這個基礎(chǔ)上開始構(gòu)建。使用框架最大的好處是減少重復開發(fā)的工作量，縮短開發(fā)時間，降低開發(fā)成本。同時還有其他好處，比如讓程序設計更合理，程序運行更穩(wěn)定。基于這些原因，基本上會選擇一些合適的開發(fā)框架來幫助快速高效的開發(fā)應用系統(tǒng)。

從GitHub 框架整理出來的15個最流行的Python開源。這些框架包括事件I/O、OLAP、Web開發(fā)、高性能網(wǎng)絡通信、測試、爬蟲等等。Django:PythonWeb應用開發(fā)框架Django應該是最著名的Python 框架，GAE甚至Erlang都受其影響。Django走的是大而全的方向，最出名的是全自動管理后臺:只需要使用ORM，做簡單的對象定義，就可以自動生成數(shù)據(jù)庫結(jié)構(gòu)和全功能管理后臺。

支持TCP和UDP。Flask:用Python 框架Flask編寫的輕量級Web應用是用Python 框架編寫的輕量級Web應用。基于WerkzeugWSGI工具箱和Jinja2模板引擎。Flask又被稱為“微框架”，因為它使用了一個簡單的核心，并使用擴展來添加其他功能。Flask沒有默認的數(shù)據(jù)庫和表單驗證工具。

數(shù)據(jù)來源:所有大型數(shù)據(jù)架構(gòu)都是從源代碼開始的。這可以包括來自數(shù)據(jù) library的數(shù)據(jù)來自物聯(lián)網(wǎng)設備等實時源的數(shù)據(jù)以及從Windows日志等應用程序生成的靜態(tài)文件。實時消息接收:如果有實時源，需要在架構(gòu)中建立一個機制來攝取數(shù)據(jù)。數(shù)據(jù)存儲:公司需要存儲數(shù)據(jù)它將通過大數(shù)據(jù)架構(gòu)進行處理。一般來說，數(shù)據(jù)會存儲在數(shù)據(jù) Lake中，這是一個很大的非結(jié)構(gòu)化的數(shù)據(jù)庫，很容易擴展。

這是因為批處理可以用來有效處理大批量數(shù)據(jù)，而實時數(shù)據(jù)需要即時處理才能帶來價值。批處理涉及長時間運行的作業(yè)，用于篩選、聚合和制備/分析。分析數(shù)據(jù)存儲:準備好要分析的數(shù)據(jù)后，需要把它們放在一個地方，方便對整個數(shù)據(jù)集的分析。分析數(shù)據(jù) storage的必要性在于公司所有的數(shù)據(jù)都聚集在一個地方，所以它的分析會比較全面，針對分析而不是交易進行優(yōu)化。

large 數(shù)據(jù)技術(shù)龐大復雜，基礎(chǔ)技術(shù)包括數(shù)據(jù)采集、數(shù)據(jù)預處理、分布式存儲、NoSQL 數(shù)據(jù)庫、。大型數(shù)據(jù)主要技術(shù)組件:Hadoop、HBase、kafka、Hive、MongoDB、Redis、Spark、Storm、Flink等。大數(shù)據(jù)技術(shù)包括數(shù)據(jù)收購，數(shù)據(jù)管理，數(shù)據(jù)分析，數(shù)據(jù)可視化，-1。

目前無論是歷史數(shù)據(jù)在系統(tǒng)中還是實時數(shù)據(jù)持續(xù)訪問系統(tǒng)，只要數(shù)據(jù)是可訪問的，我們都可以處理這些數(shù)據(jù)。根據(jù)數(shù)據(jù)的處理形式和獲得結(jié)果的時效性，數(shù)據(jù)processing框架可以分為批處理系統(tǒng)和流處理系統(tǒng)兩大類。數(shù)據(jù)Processing框架中的批處理是計算大規(guī)模數(shù)據(jù) sets的方法。批處理的過程包括將任務分解成更小的任務，分別在每臺計算機上運行，根據(jù)數(shù)據(jù)的分析結(jié)果重新組合數(shù)據(jù)，然后由計算機計算組合數(shù)據(jù)的最終結(jié)果。

流處理是計算由連續(xù)單數(shù)據(jù) item組成的數(shù)據(jù) stream，注意處理結(jié)果的時效性。1.批處理系統(tǒng)批處理系統(tǒng)在Da 數(shù)據(jù)中歷史悠久。批處理系統(tǒng)主要操作大量的static 數(shù)據(jù)，只有在所有處理完成后才能得到返回的結(jié)果。批處理系統(tǒng)中的數(shù)據(jù) set一般滿足以下特征:1 .限量:數(shù)據(jù)集中式數(shù)據(jù)必須限量。2.由批處理系統(tǒng)處理的持久性:數(shù)據(jù)一般存儲在存儲器中。

/image-9 9、大 數(shù)據(jù)開發(fā)必用的分布式 框架有哪些

SparkSpark用較少的Scala代碼實現(xiàn)，不同于Hadoop基于分布式文件的IO操作。Spark盡可能使用內(nèi)存進行迭代計算，使用mesos管理機器資源分配。Hadoop是由Apache基金會開發(fā)的分布式系統(tǒng)基礎(chǔ)設施。用戶可以開發(fā)分布式程序，而無需了解發(fā)行版的底層細節(jié)。充分利用集群的力量進行高速操作和存儲。

HDFS具有高容錯性的特點，設計用于部署在低成本的硬件上。而且提供了訪問數(shù)據(jù) of應用的高吞吐量，適用于那些數(shù)據(jù) dataset較大的應用。HDFS放松)POSIX POSIX的要求，以便您可以在文件系統(tǒng)中流式訪問數(shù)據(jù)

1。交易用途:實際指數(shù)據(jù)收款。你是怎么收集數(shù)據(jù)？互聯(lián)網(wǎng)收藏數(shù)據(jù)比較簡單，通過網(wǎng)頁、app都可以收藏。比如現(xiàn)在很多銀行都有自己的app。在更深層次上，我們還可以收集用戶的行為數(shù)據(jù)，我們可以細分很多維度，做一個詳細的分析。但是對于線下行業(yè)來說數(shù)據(jù)的收款需要各種交易系統(tǒng)的幫助。2.數(shù)據(jù) Integration:實際上指的是ETL，即用戶從源碼中提取所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，

這里的Kettle只是ETL中的一個。三，數(shù)據(jù)倉儲:是指數(shù)據(jù)倉庫的構(gòu)建，分為事務數(shù)據(jù)層(DW)、指標層、維度層、匯總層(DWA)。4.數(shù)據(jù)共享層:表示在倉庫和交易系統(tǒng)數(shù)據(jù)之間提供共享服務，WebService和WebAPI代表數(shù)據(jù)之間的一種連接方式，還有一些其他的連接方式可以根據(jù)自己的情況來確定。