電子數(shù)據(jù)存證是及時收集和存儲互聯(lián)網(wǎng)數(shù)據(jù),即時證明和固化數(shù)據(jù)的真實性、有效性和完整性,為日后可能出現(xiàn)的糾紛提供證據(jù)。加密存儲區(qū)塊鏈證據(jù)并不是存儲電子數(shù)據(jù)本身,而是將電子數(shù)據(jù)對應的哈希值存儲在區(qū)塊鏈,也稱為哈希值卷繞,大數(shù)據(jù)的七大特征:海量、多樣、高速、多變、真實、復雜、價值,隨著大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展,它逐漸從一個高端的、理論性的概念演變?yōu)橐粋€具體的、實踐性的概念。
區(qū)塊鏈證據(jù)存儲與驗證電子數(shù)據(jù)存儲的技術(shù)原理簡單來說就是保存一個電子數(shù)據(jù),以證明其在某個時間點的存在。區(qū)塊鏈存儲方式是對原始數(shù)據(jù)進行哈希值運算后,將形成的哈希值匯總上傳到區(qū)塊鏈進行加密保存,不上傳原始數(shù)據(jù)本身。原始數(shù)據(jù)仍存儲在本地,并可能被修改。法官如何確認當事人提交的證據(jù)與原始數(shù)據(jù)一致,沒有被篡改?
這要從區(qū)塊鏈存單的技術(shù)原理說起。加密存儲區(qū)塊鏈證據(jù)并不是存儲電子數(shù)據(jù)本身,而是將電子數(shù)據(jù)對應的哈希值存儲在區(qū)塊鏈,也稱為哈希值卷繞。哈希算法是一種單向加密函數(shù),在現(xiàn)有技術(shù)條件下很難破譯。任何原始數(shù)據(jù)(及其完全等價的副本)都只有一個哈希值,因此哈希值也稱為“數(shù)據(jù)指紋”。對原始數(shù)據(jù)的任何修改都會導致其哈希值的改變,無法通過后續(xù)的驗證和比較。
1應用遷移(有些公司需要將其應用從Oracle、MySQL等傳統(tǒng)數(shù)據(jù)庫的存儲過程或SQL腳本遷移到大數(shù)據(jù)平臺。這個過程也是非常繁瑣、枯燥、高度重復且麻煩、吃力不討好)2為集群搭建大數(shù)據(jù)環(huán)境(一般公司招聘大數(shù)據(jù)工程師的環(huán)境已經(jīng)搭建好了,公司內(nèi)部會有現(xiàn)成的大數(shù)據(jù)平臺。不過,我會私下搭建一個測試環(huán)境。畢竟公司內(nèi)部對大數(shù)據(jù)系統(tǒng)的權(quán)限有很多限制,嚴重影響開發(fā)效率。3中間平臺的數(shù)據(jù)開發(fā)(中間平臺需要支持對各種數(shù)據(jù)源的訪問,將各種數(shù)據(jù)源進行清洗并轉(zhuǎn)換成可用的數(shù)據(jù),然后在原始數(shù)據(jù)的基礎(chǔ)上構(gòu)建一個寬面,一般是為了節(jié)省開發(fā)成本和服務器資源, 都是基于寬表層來查詢業(yè)務數(shù)據(jù))4數(shù)據(jù)遷移(有些公司需要將Oracle、MySQL等傳統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)遷移到大數(shù)據(jù)集群,這是一項繁瑣的工作,吃力不討好)5寫SQL(很多入職一兩年的大數(shù)據(jù)工程師的主要工作就是寫SQL)6數(shù)據(jù)收集(收集日志數(shù)據(jù)、文件數(shù)據(jù)、接口數(shù)據(jù),涉及到各種格式的轉(zhuǎn)換,常用的有fluent和log。
3、大數(shù)據(jù)的內(nèi)容和基本含義?大數(shù)據(jù)是指在一定時間內(nèi),常規(guī)軟件工具無法捕捉、管理和處理的數(shù)據(jù)集合。它是一種海量、高增長、多元化的信息資產(chǎn),需要新的處理模式來擁有更強的決策力、洞察力和發(fā)現(xiàn)力以及流程優(yōu)化能力。簡單來說,大數(shù)據(jù)就是海量數(shù)據(jù),即數(shù)據(jù)量大、來源廣、類型多(日志、視頻、音頻),最高可達PB級別。大數(shù)據(jù)的七大特征:海量、多樣、高速、多變、真實、復雜、價值。隨著大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展,它逐漸從一個高端的、理論性的概念演變?yōu)橐粋€具體的、實踐性的概念。
4、什么是大數(shù)據(jù)時代?大數(shù)據(jù)是指在一定時期內(nèi),其內(nèi)容無法被常規(guī)軟件工具抓取、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)技術(shù)是指從各類數(shù)據(jù)中快速獲取有價值信息的能力?!按髷?shù)據(jù)”時代正在從全球知名咨詢公司麥肯錫走來。麥肯錫表示:“數(shù)據(jù)已經(jīng)滲透到當今每個行業(yè)和商業(yè)功能領(lǐng)域,成為重要的生產(chǎn)要素。人們對海量數(shù)據(jù)的挖掘和應用,預示著新一波生產(chǎn)力增長和消費者剩余的到來。
5、什么是大數(shù)據(jù)分析大數(shù)據(jù)是指在一定時間范圍內(nèi),常規(guī)軟件工具無法捕捉、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)是指在一定時期內(nèi),其內(nèi)容無法被常規(guī)軟件工具抓取、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)技術(shù)是指從各類數(shù)據(jù)中快速獲取有價值信息的能力。大數(shù)據(jù)分析是指對海量數(shù)據(jù)的分析。Bigdata,megadata),或稱巨量數(shù)據(jù),是指海量、高增長、多樣化的信息資產(chǎn),需要新的處理模式,以具備更強的決策、洞察和流程優(yōu)化能力。
6、電子數(shù)據(jù)存證有意義嗎?當然有道理。電子數(shù)據(jù)存證是及時收集和存儲互聯(lián)網(wǎng)數(shù)據(jù),即時證明和固化數(shù)據(jù)的真實性、有效性和完整性,為日后可能出現(xiàn)的糾紛提供證據(jù),其重點是“存款”和“憑證”。“保存”解決的是電子數(shù)據(jù)容易丟失和被篡改的問題,重點是安全性,公證處辦理電子數(shù)據(jù)存證,利用其專業(yè)技術(shù)手段,對數(shù)據(jù)進行固定、留存、采集、提取和傳輸,并存儲在那里的數(shù)據(jù)存儲平臺。全程無縫銜接,保證數(shù)據(jù)不會丟失,無法更改。