用於量化投資策略(最高日頻率)研究的金融資料庫,用 MySQL 是否足夠?有哪些可能遇到的瓶頸?

時間 2021-05-30 00:10:57

1樓:DBA大董

如果是日頻的化,MySQL足夠了。十年後歷史資料也沒多大,你關注的應該是資料的分析和處理,MySQL的SQL函式基本都能滿足。

不是交易所,沒必要考慮時序資料庫。

2樓:苦咖啡

高頻資料的頻率大多為3s一次,資料庫是可以滿足,不過要有大的儲存介質,因為檔案太大,乙個月的資料都是TB級的,對於軟體和硬體也是有要求的,貴公司有採集高頻資料麼,

3樓:不敢動不敢動

忘掉MySql。最高日頻的話執行時直接放快取,落地檔案或NOSQL。

如果是單純的分析,其實怎麼都可以,但是如果要平台具備基本的實用價值,需要仔細分析各類資料常用的操作維度。按照優先順序,對資料的操作始終要保證能命中快取、索引、切片其中的一類。PS:

快取指的是本地記憶體,不是亂七八糟的中介軟體,網路IO最為致命.

4樓:韓翔

浮點資料精度可能會有問題,其他的包括可靠性、穩定性和事物的處理(即使是分析資料庫,可能存在讀寫爭用的問題),當然都有解決方案,不然支付寶早就垮掉了。但是那時阿里付出很高的成本的成果。普通公司未必搞得定。

nosql現在比較常用,mysql支援有限,nosql的支援可以簡化開發,優化效率。

5樓:已退出知乎

你說的日級別的資料mysql應該是足夠用了。

另外,在做研究的時候,不要每次都從資料庫讀資料,而是把該次研究用到的資料從資料庫讀出來另存成檔案,多次研究的時候,從檔案裡讀取比資料庫快得多。

比如,matlab可以存到mat裡。

6樓:

我做過,mysql足夠應對,沒什麼瓶頸

這麼多年的日資料統共也就千萬量級,選個簡單方案就好了.我做的優化是只按主鍵查詢,和用MyISAM引擎(基本上一次寫多次讀,資料安全性不重要)

7樓:櫻木花

想說一句話:說mysql,sql sever做這種小系統效能不行的,基本都沒入過資料庫的門。 這種某個公司單個高頻系統相對於大型資料庫來說1%量級而已,雲系統使用者超級多的另外有別的辦法!

8樓:志願者

為什麼都是推薦mysql的?這麼小的庫用oracle也不存在問題吧...看你是什麼型別的作用的資料庫是oltp還是olap的。。

如果訪問量大。類似報表系統用olap就好了。

9樓:

其實我推薦優先考慮mysql+infobright。

大家不要小看mysql的優化能力,其實用好了,還是很牛的。

用hadoop之類的感覺過於重型,一般來說,除非資料量真的達到幾十TB以上,不然沒必要。

nosql之類的,其實也可以考慮,但是對金融應用來說,開發工作量可能會比較大,所以感覺可能不太適合樓主的情況。

10樓:kiapper

總體來說,時間序列資料和非結構化的基本面資料,更適合於nosql資料庫處理。之前google過同樣問題,發現有人給出這樣的解決方案:檔案系統分門別類建立層次結構+二進位制檔案儲存,實踐下來,發現還蠻好用。。。

最近有在嘗試把資料導到hdf5中。

11樓:mapgrep

沒問題。不管你做什麼市場,不管你拿來多少基本面資料問題都不會出在資料庫軟體這一層

如果日後效能不夠那麼原因有可能是

1。 程式寫的不好或表設計問題

2。硬體太破

3。用資料庫做了不該拿資料庫做的事

12樓:喬拉爵士

工作中我用過mysql和微軟的sql server,不知道是不是沒有設定好的緣故,mysql比sql server效能差了很遠。跑mysql的機器的CPU長期滿負荷。

這讓我對mysql印象不是很好

再次重申,我懷疑是我沒有設定好mysql執行引數,按照常理來說,mysql不應該那麼差

如何入門量化投資?

BigQuant 量化投資是跨學科的研究方向,數學 計程式設計 金融三者融合,很有挑戰性。學習量化要明白量化需要哪些知識儲備 技能和工具。第一是數學思維模式。量化是建立模型,讓機器根據模型完成既定的思想。不過人工智慧在量化引入後,倒是可以幫助挖出不少以前難以發覺的新內容,在效率上也提公升不少。第二是...

如何看待量化投資?

王涵涵 先自我介紹,自己做超短情緒週期的,現在盈利自我感覺比較穩定了。所以,我基本上是在做主觀交易。這個時候,有些人會提出,人性不穩定,有缺陷,等等,量化比較直接,沒有情緒波動,判斷具有一致的標準,所以量化是未來。這個確實,量化有很多優勢,速度快,穩定,等等,這裡其他朋友應該說很多。但是,我現在自己...

量化投資是什麼?

量化投基 量化交易是指用數學模型替代人為的主觀判斷,利用程式演算法從大量的歷史資料中選出帶來超額收益的多種 大概率 事件以制定策略。它極大地降低了市場波動給投資者情緒帶來的影響,避免在市場極度狂熱或悲觀的情況下做出非理性的投資決策。普通的交易是由交易者根據自身的經驗或者偏好進行投資決策,量化交易通過...