想搭建一個數(shù)據(jù)庫，上億的數(shù)據(jù)查詢解決方案？上次插入1數(shù)據(jù)庫6900萬數(shù)據(jù)大概花了4~5個小時。如何處理MSSQL中的上億數(shù)據(jù)？根據(jù)數(shù)據(jù)是否分區(qū)，莫比烏斯集群架構(gòu)分為標(biāo)準(zhǔn)架構(gòu)和高級架構(gòu):標(biāo)準(zhǔn)架構(gòu):每個節(jié)點擁有完全相同的數(shù)據(jù)，每個節(jié)點擁有一套完整的數(shù)據(jù)。

oracleSQL對上億數(shù)據(jù)的主表(ZS_YJSF)進行優(yōu)化，取決于它被分區(qū)了多少數(shù)據(jù)。比如一張桌子的筆數(shù)只有幾百支。如果不需要關(guān)聯(lián)其他大表查詢數(shù)據(jù)，甚至不需要建立索引。如果是幾十萬級別的表，一般正確建立索引就夠了。如果是一個上千萬的表，不僅要正確建立索引，還要定期收集統(tǒng)計信息并手動維護。不建議系統(tǒng)自動維護，以免影響性能。如果是一億多的表，可以考慮按照一定的條件拆分表數(shù)據(jù)，將舊數(shù)據(jù)歸檔，這樣可以提高生成的表的利用率。

你可以看看莫比烏斯星團。莫比烏斯集群由一組數(shù)據(jù)庫服務(wù)器組成，每臺服務(wù)器都安裝有相同的數(shù)據(jù)庫。集群支持共享磁盤架構(gòu)，每臺機器無需共享設(shè)備即可連接，數(shù)據(jù)可以存儲在自己的存儲介質(zhì)中。根據(jù)數(shù)據(jù)是否分區(qū)，莫比烏斯集群架構(gòu)分為標(biāo)準(zhǔn)架構(gòu)和高級架構(gòu):標(biāo)準(zhǔn)架構(gòu):每個節(jié)點有完全相同的數(shù)據(jù)，每個節(jié)點有一套完整的數(shù)據(jù)。

我建議你使用高級架構(gòu)，因為你需要對更多的數(shù)據(jù)進行分區(qū)，從而提高查詢效果。標(biāo)準(zhǔn)架構(gòu)一般用于雙機備份。MoebiusForSQLServer高級結(jié)構(gòu)支持兩種分區(qū)方式:哈希分區(qū)和線性分區(qū)。哈希分區(qū)(Hash partition):是一種根據(jù)某個字段的值將表均勻分布到若干指定分區(qū)的分區(qū)方法。優(yōu)點:各分區(qū)分布的數(shù)據(jù)比較均勻，承受壓力比較均勻，可以充分利用機器。

上億條不要有壓力，按照上面的方法7秒內(nèi)寫完。上次插入1數(shù)據(jù)庫6900萬數(shù)據(jù)大概花了4~5個小時。步驟如下:1 .創(chuàng)建一個新表(T2)；2.將舊表T的數(shù)據(jù)插入新表T2；3.刪除舊表；4.重建約束和索引；其實事情已經(jīng)做了，2.7億個數(shù)據(jù)存儲程序批量插入3個小時左右，就是為了探索有沒有更好更方便的方式來做這件事。

這個。上億句話，不是一句話能搞定的。如果看起來像4000，就會數(shù)據(jù)庫自行鎖定。通常，使用索引。如果只有幾億條數(shù)據(jù)，就沒必要單獨處理。但是一定不要寫SELECT*XXX這樣的語句，因為這是不明智的選擇。數(shù)據(jù)檢索，主要有兩個方面的性能設(shè)計指標(biāo)。第一個是檢索特定范圍內(nèi)的數(shù)據(jù)。例如，如果只需要幾個特定的列，就沒有必要檢索所有的列。如果有特定的時間段，就不需要過濾所有時間范圍內(nèi)的數(shù)據(jù)。

數(shù)據(jù)庫有上億的商品數(shù)據(jù)需要根據(jù)商品名稱進行大量的模糊查詢處理(假設(shè)已經(jīng)實現(xiàn)了商品名稱的分詞，即使用多個關(guān)鍵詞進行查詢)。我最初的構(gòu)想是建立一個商品名稱的索引表:ID、Name、ProductID三個字段按名稱自動增加(分詞程序把商品名稱切分后，一個保留的詞)，ProductID、product name包含這個詞的產(chǎn)品ID(varchar(max)字段，任何包含這個詞的產(chǎn)品ID都有這個字段。這就是問題所在。比如一個詞:黑色，有n多個產(chǎn)品名稱可能包含黑色這個詞，即使我知道這些產(chǎn)品id，處理起來也會很麻煩。

Oracle或者sqlserver都可以。如果只是說數(shù)據(jù)庫，很多事情都可以做，比如sqlserver，oracle，mysql等，關(guān)鍵是如何查詢和使用數(shù)據(jù)，所以實際上是一個如何選擇軟件的問題。這種簡單的管理，不要做庫存，crm等，，都太大了，大部分都不需要。遵循簡單實用的管理就可以了，建議你試試華創(chuàng)信息管理平臺，原因如下:1。用戶可以自由建表，自定義數(shù)據(jù)格式，相當(dāng)于數(shù)據(jù)庫的網(wǎng)絡(luò)版，針對你的情況，打造一個產(chǎn)品。