1，Apache基金會開發(fā)的大數(shù)據(jù)生態(tài)技術系統(tǒng)Hadoop分布式系統(tǒng)基礎設施。Hadoop框架的核心設計是HDFS和MapReduce。HDFS提供海量數(shù)據(jù)的存儲，MapReduce提供海量數(shù)據(jù)的計算。Hadoop是一個基礎框架，可以托管很多其他東西，比如Hive。不想用編程語言開發(fā)MapReduce的人可以使用Hive進行離線數(shù)據(jù)處理和分析。

2.大數(shù)據(jù)生態(tài)技術系統(tǒng)spark也是一個開源項目，是Apache基金會和加州大學伯克利分校實驗室共同開發(fā)的另一個重要的分布式計算系統(tǒng)。Spark和Hadoop最大的區(qū)別是Hadoop用硬盤存儲數(shù)據(jù)，Spark用內存存儲數(shù)據(jù)，所以Spark可以提供100次以上的計算。Spark可以通過YARN(另一個資源協(xié)調器)在Hadoop集群中運行，但是Spark現(xiàn)在正在進化成一個生態(tài)進程，希望通過一個技術棧實現(xiàn)上下游的融合。

所謂的大數(shù)據(jù)平臺并不是獨立存在的。比如百度依靠搜索引擎獲取大數(shù)據(jù)并開展業(yè)務，阿里通過電子商務交易獲取大數(shù)據(jù)并開展業(yè)務，騰訊通過社交獲取大數(shù)據(jù)并開展業(yè)務。所以大數(shù)據(jù)平臺不是獨立存在的，重點是如何收集和沉淀數(shù)據(jù)，如何分析數(shù)據(jù)，如何挖掘數(shù)據(jù)的價值。我可能沒有資格回答這個問題，也沒有經歷過一個公司大數(shù)據(jù)平臺從無到有再到復雜的過程。

這是一個需求驅動的過程。曾經聽過spotify的分享，印象非常深刻。他們分享說，他們的hadoop集群第一次失敗是因為機器放在窗邊，太陽曬壞了(笑)。從一個自己窗口前沒有機房的簡單集群，到一個復雜的數(shù)據(jù)平臺，這是一個進化的過程。對于小公司來說，找一兩臺機器搭建一個集群，大概就是一個大數(shù)據(jù)平臺。在初始階段，數(shù)據(jù)量會很小，不需要多大規(guī)模。

有以下三項倡議。1.專注于保護數(shù)據(jù)安全和隱私。一是構建完善安全的政府大數(shù)據(jù)管理平臺，建立數(shù)據(jù)防泄露、安全審計、安全事件追溯取證、大數(shù)據(jù)安全態(tài)勢分析等多維度的技術防護體系和運維管理體系，形成互聯(lián)互通的大數(shù)據(jù)安全防御體系。二是加強數(shù)據(jù)安全的監(jiān)管和保護，提高數(shù)據(jù)所有者和使用者的數(shù)據(jù)安全意識。2.建立和完善安全可靠的防護技術產品體系。

二是開發(fā)具有行業(yè)特色的基于大數(shù)據(jù)的信息安全新產品；三是加強大數(shù)據(jù)通用安全技術產品的研發(fā)；四是積極推進大數(shù)據(jù)安全和開源生態(tài)建設。3.構建新型網(wǎng)絡安全公共服務平臺。一是構建網(wǎng)絡信息安全態(tài)勢感知大數(shù)據(jù)平臺，綜合利用多源數(shù)據(jù)，加強大數(shù)據(jù)挖掘分析，提升網(wǎng)絡信息安全態(tài)勢感知、風險評估、通報預警、應急處置等能力。

(1)內部控制組織是系統(tǒng)運行的基本保證。其中，是否設立專職內控部門是企業(yè)界關注的焦點，通常有三種設置方式:方法一:單獨設立內控部門。方法二:內部控制由內部審計部門牽頭。模式三:在內控建設集中期成立內控建設辦公室，辦公室抽調各大部門人員專職從事內控體系建設工作。當系統(tǒng)正式投入運行后，辦公室將被解散，人員將回到所有管理部門，牽頭職能也將回到內部審計部門。

二、管理機構及職責。第三，授權審批矩陣，第四，控制活動要求。第五，根據(jù)以上部分，各業(yè)務管理部門應重組和完善業(yè)務流程，強化關鍵風險點的控制措施，確保組織職責、授權審批和內部控制要求落實到業(yè)務流程中，確保管理目標的實現(xiàn)，(5)信息與溝通貫穿始終(6)內部監(jiān)督手段。