1，Apache基金會(huì)開發(fā)的大數(shù)據(jù)生態(tài)技術(shù)系統(tǒng)Hadoop分布式系統(tǒng)基礎(chǔ)設(shè)施。Hadoop框架的核心設(shè)計(jì)是HDFS和MapReduce。HDFS提供海量數(shù)據(jù)的存儲(chǔ)，MapReduce提供海量數(shù)據(jù)的計(jì)算。Hadoop是一個(gè)基礎(chǔ)框架，可以托管很多其他東西，比如Hive。不想用編程語(yǔ)言開發(fā)MapReduce的人可以使用Hive進(jìn)行離線數(shù)據(jù)處理和分析。

2.大數(shù)據(jù)生態(tài)技術(shù)系統(tǒng)spark也是一個(gè)開源項(xiàng)目，是Apache基金會(huì)和加州大學(xué)伯克利分校實(shí)驗(yàn)室共同開發(fā)的另一個(gè)重要的分布式計(jì)算系統(tǒng)。Spark和Hadoop最大的區(qū)別是Hadoop用硬盤存儲(chǔ)數(shù)據(jù)，Spark用內(nèi)存存儲(chǔ)數(shù)據(jù)，所以Spark可以提供100次以上的計(jì)算。Spark可以通過YARN(另一個(gè)資源協(xié)調(diào)器)在Hadoop集群中運(yùn)行，但是Spark現(xiàn)在正在進(jìn)化成一個(gè)生態(tài)進(jìn)程，希望通過一個(gè)技術(shù)棧實(shí)現(xiàn)上下游的融合。

所謂的大數(shù)據(jù)平臺(tái)并不是獨(dú)立存在的。比如百度依靠搜索引擎獲取大數(shù)據(jù)并開展業(yè)務(wù)，阿里通過電子商務(wù)交易獲取大數(shù)據(jù)并開展業(yè)務(wù)，騰訊通過社交獲取大數(shù)據(jù)并開展業(yè)務(wù)。所以大數(shù)據(jù)平臺(tái)不是獨(dú)立存在的，重點(diǎn)是如何收集和沉淀數(shù)據(jù)，如何分析數(shù)據(jù)，如何挖掘數(shù)據(jù)的價(jià)值。我可能沒有資格回答這個(gè)問題，也沒有經(jīng)歷過一個(gè)公司大數(shù)據(jù)平臺(tái)從無(wú)到有再到復(fù)雜的過程。

這是一個(gè)需求驅(qū)動(dòng)的過程。曾經(jīng)聽過spotify的分享，印象非常深刻。他們分享說，他們的hadoop集群第一次失敗是因?yàn)闄C(jī)器放在窗邊，太陽(yáng)曬壞了(笑)。從一個(gè)自己窗口前沒有機(jī)房的簡(jiǎn)單集群，到一個(gè)復(fù)雜的數(shù)據(jù)平臺(tái)，這是一個(gè)進(jìn)化的過程。對(duì)于小公司來說，找一兩臺(tái)機(jī)器搭建一個(gè)集群，大概就是一個(gè)大數(shù)據(jù)平臺(tái)。在初始階段，數(shù)據(jù)量會(huì)很小，不需要多大規(guī)模。

有以下三項(xiàng)倡議。1.專注于保護(hù)數(shù)據(jù)安全和隱私。一是構(gòu)建完善安全的政府大數(shù)據(jù)管理平臺(tái)，建立數(shù)據(jù)防泄露、安全審計(jì)、安全事件追溯取證、大數(shù)據(jù)安全態(tài)勢(shì)分析等多維度的技術(shù)防護(hù)體系和運(yùn)維管理體系，形成互聯(lián)互通的大數(shù)據(jù)安全防御體系。二是加強(qiáng)數(shù)據(jù)安全的監(jiān)管和保護(hù)，提高數(shù)據(jù)所有者和使用者的數(shù)據(jù)安全意識(shí)。2.建立和完善安全可靠的防護(hù)技術(shù)產(chǎn)品體系。

二是開發(fā)具有行業(yè)特色的基于大數(shù)據(jù)的信息安全新產(chǎn)品；三是加強(qiáng)大數(shù)據(jù)通用安全技術(shù)產(chǎn)品的研發(fā)；四是積極推進(jìn)大數(shù)據(jù)安全和開源生態(tài)建設(shè)。3.構(gòu)建新型網(wǎng)絡(luò)安全公共服務(wù)平臺(tái)。一是構(gòu)建網(wǎng)絡(luò)信息安全態(tài)勢(shì)感知大數(shù)據(jù)平臺(tái)，綜合利用多源數(shù)據(jù)，加強(qiáng)大數(shù)據(jù)挖掘分析，提升網(wǎng)絡(luò)信息安全態(tài)勢(shì)感知、風(fēng)險(xiǎn)評(píng)估、通報(bào)預(yù)警、應(yīng)急處置等能力。

(1)內(nèi)部控制組織是系統(tǒng)運(yùn)行的基本保證。其中，是否設(shè)立專職內(nèi)控部門是企業(yè)界關(guān)注的焦點(diǎn)，通常有三種設(shè)置方式:方法一:單獨(dú)設(shè)立內(nèi)控部門。方法二:內(nèi)部控制由內(nèi)部審計(jì)部門牽頭。模式三:在內(nèi)控建設(shè)集中期成立內(nèi)控建設(shè)辦公室，辦公室抽調(diào)各大部門人員專職從事內(nèi)控體系建設(shè)工作。當(dāng)系統(tǒng)正式投入運(yùn)行后，辦公室將被解散，人員將回到所有管理部門，牽頭職能也將回到內(nèi)部審計(jì)部門。

二、管理機(jī)構(gòu)及職責(zé)。第三，授權(quán)審批矩陣，第四，控制活動(dòng)要求。第五，根據(jù)以上部分，各業(yè)務(wù)管理部門應(yīng)重組和完善業(yè)務(wù)流程，強(qiáng)化關(guān)鍵風(fēng)險(xiǎn)點(diǎn)的控制措施，確保組織職責(zé)、授權(quán)審批和內(nèi)部控制要求落實(shí)到業(yè)務(wù)流程中，確保管理目標(biāo)的實(shí)現(xiàn)，(5)信息與溝通貫穿始終(6)內(nèi)部監(jiān)督手段。