電子數(shù)據(jù)存證是及時(shí)收集和存儲(chǔ)互聯(lián)網(wǎng)數(shù)據(jù),即時(shí)證明和固化數(shù)據(jù)的真實(shí)性、有效性和完整性,為日后可能出現(xiàn)的糾紛提供證據(jù)。加密存儲(chǔ)區(qū)塊鏈證據(jù)并不是存儲(chǔ)電子數(shù)據(jù)本身,而是將電子數(shù)據(jù)對(duì)應(yīng)的哈希值存儲(chǔ)在區(qū)塊鏈,也稱為哈希值卷繞,大數(shù)據(jù)的七大特征:海量、多樣、高速、多變、真實(shí)、復(fù)雜、價(jià)值,隨著大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展,它逐漸從一個(gè)高端的、理論性的概念演變?yōu)橐粋€(gè)具體的、實(shí)踐性的概念。
區(qū)塊鏈證據(jù)存儲(chǔ)與驗(yàn)證電子數(shù)據(jù)存儲(chǔ)的技術(shù)原理簡(jiǎn)單來說就是保存一個(gè)電子數(shù)據(jù),以證明其在某個(gè)時(shí)間點(diǎn)的存在。區(qū)塊鏈存儲(chǔ)方式是對(duì)原始數(shù)據(jù)進(jìn)行哈希值運(yùn)算后,將形成的哈希值匯總上傳到區(qū)塊鏈進(jìn)行加密保存,不上傳原始數(shù)據(jù)本身。原始數(shù)據(jù)仍存儲(chǔ)在本地,并可能被修改。法官如何確認(rèn)當(dāng)事人提交的證據(jù)與原始數(shù)據(jù)一致,沒有被篡改?
這要從區(qū)塊鏈存單的技術(shù)原理說起。加密存儲(chǔ)區(qū)塊鏈證據(jù)并不是存儲(chǔ)電子數(shù)據(jù)本身,而是將電子數(shù)據(jù)對(duì)應(yīng)的哈希值存儲(chǔ)在區(qū)塊鏈,也稱為哈希值卷繞。哈希算法是一種單向加密函數(shù),在現(xiàn)有技術(shù)條件下很難破譯。任何原始數(shù)據(jù)(及其完全等價(jià)的副本)都只有一個(gè)哈希值,因此哈希值也稱為“數(shù)據(jù)指紋”。對(duì)原始數(shù)據(jù)的任何修改都會(huì)導(dǎo)致其哈希值的改變,無法通過后續(xù)的驗(yàn)證和比較。
1應(yīng)用遷移(有些公司需要將其應(yīng)用從Oracle、MySQL等傳統(tǒng)數(shù)據(jù)庫(kù)的存儲(chǔ)過程或SQL腳本遷移到大數(shù)據(jù)平臺(tái)。這個(gè)過程也是非常繁瑣、枯燥、高度重復(fù)且麻煩、吃力不討好)2為集群搭建大數(shù)據(jù)環(huán)境(一般公司招聘大數(shù)據(jù)工程師的環(huán)境已經(jīng)搭建好了,公司內(nèi)部會(huì)有現(xiàn)成的大數(shù)據(jù)平臺(tái)。不過,我會(huì)私下搭建一個(gè)測(cè)試環(huán)境。畢竟公司內(nèi)部對(duì)大數(shù)據(jù)系統(tǒng)的權(quán)限有很多限制,嚴(yán)重影響開發(fā)效率。3中間平臺(tái)的數(shù)據(jù)開發(fā)(中間平臺(tái)需要支持對(duì)各種數(shù)據(jù)源的訪問,將各種數(shù)據(jù)源進(jìn)行清洗并轉(zhuǎn)換成可用的數(shù)據(jù),然后在原始數(shù)據(jù)的基礎(chǔ)上構(gòu)建一個(gè)寬面,一般是為了節(jié)省開發(fā)成本和服務(wù)器資源, 都是基于寬表層來查詢業(yè)務(wù)數(shù)據(jù))4數(shù)據(jù)遷移(有些公司需要將Oracle、MySQL等傳統(tǒng)數(shù)據(jù)庫(kù)的數(shù)據(jù)遷移到大數(shù)據(jù)集群,這是一項(xiàng)繁瑣的工作,吃力不討好)5寫SQL(很多入職一兩年的大數(shù)據(jù)工程師的主要工作就是寫SQL)6數(shù)據(jù)收集(收集日志數(shù)據(jù)、文件數(shù)據(jù)、接口數(shù)據(jù),涉及到各種格式的轉(zhuǎn)換,常用的有fluent和log。
3、大數(shù)據(jù)的內(nèi)容和基本含義?大數(shù)據(jù)是指在一定時(shí)間內(nèi),常規(guī)軟件工具無法捕捉、管理和處理的數(shù)據(jù)集合。它是一種海量、高增長(zhǎng)、多元化的信息資產(chǎn),需要新的處理模式來擁有更強(qiáng)的決策力、洞察力和發(fā)現(xiàn)力以及流程優(yōu)化能力。簡(jiǎn)單來說,大數(shù)據(jù)就是海量數(shù)據(jù),即數(shù)據(jù)量大、來源廣、類型多(日志、視頻、音頻),最高可達(dá)PB級(jí)別。大數(shù)據(jù)的七大特征:海量、多樣、高速、多變、真實(shí)、復(fù)雜、價(jià)值。隨著大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展,它逐漸從一個(gè)高端的、理論性的概念演變?yōu)橐粋€(gè)具體的、實(shí)踐性的概念。
4、什么是大數(shù)據(jù)時(shí)代?大數(shù)據(jù)是指在一定時(shí)期內(nèi),其內(nèi)容無法被常規(guī)軟件工具抓取、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)技術(shù)是指從各類數(shù)據(jù)中快速獲取有價(jià)值信息的能力?!按髷?shù)據(jù)”時(shí)代正在從全球知名咨詢公司麥肯錫走來。麥肯錫表示:“數(shù)據(jù)已經(jīng)滲透到當(dāng)今每個(gè)行業(yè)和商業(yè)功能領(lǐng)域,成為重要的生產(chǎn)要素。人們對(duì)海量數(shù)據(jù)的挖掘和應(yīng)用,預(yù)示著新一波生產(chǎn)力增長(zhǎng)和消費(fèi)者剩余的到來。
5、什么是大數(shù)據(jù)分析大數(shù)據(jù)是指在一定時(shí)間范圍內(nèi),常規(guī)軟件工具無法捕捉、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)是指在一定時(shí)期內(nèi),其內(nèi)容無法被常規(guī)軟件工具抓取、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)技術(shù)是指從各類數(shù)據(jù)中快速獲取有價(jià)值信息的能力。大數(shù)據(jù)分析是指對(duì)海量數(shù)據(jù)的分析。Bigdata,megadata),或稱巨量數(shù)據(jù),是指海量、高增長(zhǎng)、多樣化的信息資產(chǎn),需要新的處理模式,以具備更強(qiáng)的決策、洞察和流程優(yōu)化能力。
6、電子數(shù)據(jù)存證有意義嗎?當(dāng)然有道理。電子數(shù)據(jù)存證是及時(shí)收集和存儲(chǔ)互聯(lián)網(wǎng)數(shù)據(jù),即時(shí)證明和固化數(shù)據(jù)的真實(shí)性、有效性和完整性,為日后可能出現(xiàn)的糾紛提供證據(jù),其重點(diǎn)是“存款”和“憑證”?!氨4妗苯鉀Q的是電子數(shù)據(jù)容易丟失和被篡改的問題,重點(diǎn)是安全性,公證處辦理電子數(shù)據(jù)存證,利用其專業(yè)技術(shù)手段,對(duì)數(shù)據(jù)進(jìn)行固定、留存、采集、提取和傳輸,并存儲(chǔ)在那里的數(shù)據(jù)存儲(chǔ)平臺(tái)。全程無縫銜接,保證數(shù)據(jù)不會(huì)丟失,無法更改。