流資料和大資料有什麼區別

時間 2021-05-30 11:56:50

1樓:羈鳥戀舊林

題主想說的是data stream algorithms或者叫streaming algorithms。

這一類演算法所針對的場景和問題主要是,資料是以流的方式輸入進來的,每個資料只能讀一次,所以沒有random access。

有點類似於online algorithms,但是還不太一樣。online algorithm更看重的是「動態的資料集」,也即dataset不斷update的情況下,如何擬合當前的問題。

當然,data stream也看重「動態的dataset」,但是更強調唯讀一次以及storage有限的情況下怎麼計算一些資料特徵。

2樓:zzz津津

我以我的理解大概解釋一下吧。

大資料 :這個應該大家都比較熟悉,指的是各種途徑產生、各種型別(結構化、非結構化),可以挖掘出商業價值的資料。大資料的5V特點(IBM提出):

Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價值密度)、Veracity(真實性)。

有的資料是歷史沉澱的,有些資料是實時產生的:歷史資料就是過去產生並且儲存下來資料,這個很好理解;實時資料,就是反應實點狀況的資料:比如你看這個回答的時候,你所在城市的地鐵刷卡資料、各條道路的交通資料……實時資料如果儲存下來,下一時間點就變成了歷史資料。

在有些分析場景下,如網路監控、交通監控、氣象監控等,具有實時分析的特點,都需要「及時性」:即只允許分析結果毫秒或秒級延遲。所以為了追求效能,這時候就可以採用「流式處理」:

只處理當前段的資料,而不是讓機器去處理所有歷史資料,以確保分析結果的及時性。(如果資料量較小,也可以直接處理歷史資料,不需要用流式處理)

所以我理解,流式處理是大資料的一種資料處理技術,流式資料是對實時採集來的大資料的一種形容。以上~

3樓:蔡俊傑

蟹妖。雖然我不是大資料的專業人士,但是作為乙個程式設計師,那個……大資料這麼大體量的資料,不可能一次全部load到記憶體裡……都只能用流式處理的……這是常識。

所以什麼流式大資料……很少看到這個說法……流式二字很多餘,甚至看上去不太專業……

4樓:

顧名思義。

你開了一家淨水廠。

處理長江水,就是流式大資料。

處理海水,就是你所謂的傳統大資料。

關注hadoop運維專欄 : 《大資料sre的思考》

混合截面資料和面板資料有什麼區別?

心有萌虎 簡單來講 混合就是,以截面為序 比如,1993年收集了250個例子,編號1 2501995年收集了270個例子,編號251 520這兩大組資料關係不必對應 相當於時間不同的截面資料 面板就是,以時間為序 比如,1986年乙個地區資料和1990年同一地區的資料編號1和2,然後1986年第二個...

大資料和人工智慧有什麼區別?

上海北大青鳥雲登校區 大資料和人工智慧都是現在很受關注的技術,按照時間的先後順序的話,人工智慧要比大資料出現得早一些。它們二者的區別表現如下所示。大資料 big data 是指無法在一定時間範圍內用常規軟體工具進行捕捉 管理和處理的資料集合,是需要新處理模式才能具有更強的決策力 洞察發現力和流程優化...

大資料有人看好嗎?

飛天8689 什麼叫看好,看好又能怎麼樣?選擇職業只需要自己感興趣就好了,不斷提公升自己能力,做好一點一滴的積累,不要受外界太多干擾,做什麼都不會太差的 好程式設計師 大資料開發行業發展速度較快,對應的人才供給不足,由於大資料人才數量較少,大多數公司的數 據部門一般都是採取扁平化的層級管理模式,大致...