每秒10W的資料寫入用什麼大資料框架合適?

時間 2021-06-19 09:49:00

1樓:Sprout

前段時間有個應用有這樣的要求,對於每條記錄節的資料要求每秒寫入8000以上,於是花了些時間在這方面研究,做了乙個輕量級(功能方面)的持久層。作了最好值、平均值、最差值的測試,分別是18000條/s,9900條/s,2090條/s。

很容易想到的就是oracle 的copy命令,但是對於應用程式來講顯然是很不方便。下面是關於大批量資料寫入的思路和注意事項:

1、不是寫的頻率越高寫的速度就越快。寫的頻率與資料庫伺服器,硬體環境,網路環境均有關係。

2、不是與資料庫聯接越多就寫的越快。

3、需要用到塊寫入。

4、不是一次寫的塊容量越大就越快。

5、需要乙個緩衝區,來整形寫入流量。

6、需要一種機制處理負載過大的情況。

7、當出現擁塞的時候需用優先順序機制來保證重要的資料進行處理。

對於目前的研究結果仍然有它的侷限性:

1、沒有會話處理機制

2、效能的調整需要相當豐富的經驗

3、對於不同的資料庫需要另寫優化模組

4、只支援本地部署

10w到15w的進口車有什麼推薦?

sansoff 先說結論 不存在推不推薦,因為只有smart可選。放之前還有好幾款車可以選 除此之外還有平行進口的拉達尼瓦 但自從要求國六開始,只有smart了。 塑料德粉 注意 這款車已經停售,只能買二手 但是你的預算可以輕鬆買到末代款中的極品車況 尚酷的官方末代是2016的club版但車源極少,...

10w以內落地轎車有什麼好的推薦

愛你恨早 瀉藥朋友們,買10w落地的車我只推薦中國產車。說實話買10w以下車的朋友有幾個是全款?10w開合資是死要面子活受罪。有朋友要噴中國產車不耐造。10w的神車,帝豪,H6。銷量就可以證明了。我們要支援中國產品牌了朋友們,從華為事件和中國疫情就可以看出來美國朋友對我們中國的特殊照顧,我承認10年...

5W到10W的新能源車什麼車比較靠譜?

靖盼香 5萬到10萬的新能源車多為A00級,這個級別看口碑就知道哪款車靠譜了,尤拉的黑貓在同級別車型對比中口碑排行第一,推薦你購買。在同級別車型續航里程多在300公里左右時,尤拉黑貓的續航里程已經達到了405km,更大的續航里程代表著日常使用中能去到更遠的地方,充電次數也會減少。同時,黑貓的用車成本...