什麼是大資料?

時間 2021-05-11 21:15:48

1樓:數之聯大資料

經過多年來的發展和沉澱,人們對大資料已經形成基本共識:

大資料現象源於網際網路及其延伸所帶來的無處不在的資訊科技應用以及資訊科技的不斷低成本化。大資料泛指無法在可容忍的時間內用傳統資訊科技和軟硬體工具對其進行獲取、管理和處理的巨量資料集合,具有海量性、多樣性、時效性及可變性等特徵,需要可伸縮的計算體系結構以支援其儲存、處理和分析。

大資料的價值本質上體現為:提供了一種人類認識複雜系統的新思維和新手段。

就理論上而言,在足夠小的時間和空間尺度上,對現實世界數位化,可以構造乙個現實世界的數字虛擬映像,這個映像承載了現實世界的執行規律。在擁有充足的計算能力和高效的資料分析方法的前提下,對這個數字虛擬映像的深度分析,將有可能理解和發現現實複雜系統的執行行為、狀態和規律。應該說大資料為人類提供了全新的思維方式和探知客觀規律、改造自然和社會的新手段,這也是大資料引發經濟社會變革最根本性的原因。

——摘自:十三屆全中國人大常委會專題講座第十四講《大資料:發展現狀與未來趨勢》

2樓:蝦公尺的奮鬥

隨著大資料的應用範圍不斷擴大,關注大資料的朋友也越來越多,但是到現在為止,我相信還有很多朋友對大資料的概念很模糊。到底什麼是大資料?希望以下這張圖可以幫助到大家!

3樓:資料控

大資料,是描述大量資料(包括結構化和非結構化資料)的術語,它們每天都會覆蓋大量業務。但重要的不是資料量,而是對重要資料的處理方式,可以洞察分析大資料,從而獲得更好的決策和戰略性業務變動。

4樓:大大大大大蛤蟆

是2023年維克托·邁爾-捨恩伯格及肯尼斯·庫克耶提出的乙個商業名詞。通俗來說就是很多資料的乙個集合。一般通過計算機、資訊科學、統計學來學習,近年又開展了乙個大資料應用的學科。

大資料的適用領域主要為網際網路例如雲計算、物聯網、人工智慧等領悟。大資料以大量、真實、價值為特點。這些資料之中包含有大量的商業價值,例如商業上可以分析這些大資料來得到客戶的習慣,喜好、收入水平等等。

有了這些資料就可以更好的服務和營銷。而大資料的作用並不只是商業,今年的疫情就用到了大資料來更加準確的採取措施。

5樓:真知灼見源於實踐

關於小白理解大資料可以從表面意思和實際應用價值去看。

表面上是海量資料,大到什麼程度呢?256g的小型計算機儲存不來,需要大型的伺服器分布式儲存。

實際應用那就是這個卓有成效的批量管理海量資料的技術。

詳情建議閱讀小白速讀大資料之一,二

6樓:飛黃騰達

大資料通俗的講就是對海量的資料進行收集、處理、儲存等過程。傳統的技術很難支撐起海量的資料的儲存和處理,這時就需要用到大資料生態體系的相關的技術方案。

7樓:屠龍寶刀點選就送

來個最簡單的解釋,通過收集你的資料,包括基本資訊資料和你日常生活中產生的(有些你自己都不知道的)資料,基於你的立場,來向你推送你所關心的產品(物質產品以及非物質產品)。

打個比方,如同逼乎一樣,假如你是男性,關注逼乎男權(或者說女權),你就會驚奇的發現,你所接觸到的話題以及推送,大多都是符合你認知的。

8樓:小乙

有人把資料比喻為蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類,而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似,大資料並不在「大」,而在於「有用」。

價值含量、挖掘成本比數量更為重要。

9樓:

VLOG 002.一分鐘用分手廚房教你

通過分手廚房一分鐘形象介紹大資料主流技術。

10樓:Selover

大資料時代,你面前的資料只會是你想要的你需要的和你認為的。它甚至會尋找資料證實你所認為的,證實你需要的你想要的的合理性。至此你會認為你所認為的合理的便是合理的,因為這是「科學」的大資料所告訴你的。

而這種大資料在你身邊無處不在

11樓:

可以借鑑一下聯想大資料的架構圖,https://bigdata.lenovo.com/product01.html大資料

12樓:

沒有人(包括不愛與人說話的他我),會是透明人的乙個世界。

一句話——他方利用你的資料然後從中牟利。

乙個讓我現在半夜驚醒的東西。

13樓:Mr.w

大資料相較於一般資料而言,有三個特點:體量大,多樣性和完備性(事實上不需要考慮時效性)。大資料是乙個劃分時代的東西。

它跟資訊不一樣,資料的範圍比資訊更大,包含著資訊的資料成為有用的資料。同時,大資料價值鏈分為三個部分,分別是思維、技術和資料本身。大資料的基礎就是資訊理論,它是大資料時代的思維方式,與之前時代的機械思維不同,資訊理論是建立在不確定性的基礎上的,所以說,大資料是解決不確定性的良藥。

另外,根據切比雪夫不等式,資料越多,誤差越小,所以說,大資料可以忽略精確度假設也不需要了,這本身就是為了技術不夠的小資料時代準備的。在大資料時代,樣本等於總體。最後說一句,在這個時代,相關關係的重要性愈發凸顯,在某些方面,我們已經只需考慮相關關係,而忽略因果關係了

14樓:資料小仙女

大資料行業,本身是依託於資料來源存在的服務性行業。

大資料最根本之處在於資訊收集方式出現了重大變化與革新。大資料的出現與大量資訊直接在網路呈現關係非常緊密。

15樓:

一般認為,符合3V原則的資料集為大資料:Volume, Velocity, Variety

Volume::資料量很大

Velocity:資料產生的速度很快

Variety:資料間差異性大

16樓:

大資料本身沒有定義。不過麥肯錫曾經給過乙個描述性的定義,著名的學者,牛津的捨恩伯格給過另乙個定義,我直接複製貼上了,反正都差不多:

大資料(Big Data)又稱為巨量資料,指需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的資訊資產。

這大資料有多大?我處理的資料往往都是規模在百萬組以上,最大的可以達到1000萬組。

需要說明的是有些答主寫的不對!不光是規模大,還有維數高這個問題。比如幾百組生物資訊資料,比如從基因分析裡拿來的,也就幾百組,但是幾萬個features,你一樣用傳統方法處理不成嘛。

有些答主寫的是錯的,大家注意一下。

17樓:金羅老師

大資料的定義。大資料,又稱巨量資料,指的是所涉及的資料資料量規模巨大到無法通過人腦甚至主流軟體工具,在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。

大資料的採集。科學技術及網際網路的發展,推動著大資料時代的來臨,各行各業每天都在產生數量巨大的資料碎片,資料計量單位已從從Byte、KB、MB、GB、TB發展到PB、EB、ZB、YB甚至BB、NB、DB來衡量。大資料時代資料的採集也不再是技術問題,只是面對如此眾多的資料,我們怎樣才能找到其內在規律。

大資料的特點。資料量大、資料種類多、 要求實時性強、資料所蘊藏的價值大。在各行各業均存在大資料,但是眾多的資訊和諮詢是紛繁複雜的,我們需要搜尋、處理、分析、歸納、總結其深層次的規律。

大資料的挖掘和處理。大資料必然無法用人腦來推算、估測,或者用單台的計算機進行處理,必須採用分布式計算架構,依託雲計算的分布式處理、分布式資料庫、雲儲存和虛擬化技術,因此,大資料的挖掘和處理必須用到雲技術。

大資料的應用。大資料可應用於各行各業,將人們收集到的龐大資料進行分析整理,實現資訊的有效利用。舉個本專業的例子,比如在奶牛基因層面尋找與產奶量相關的主效基因,我們可以首先對奶牛全基因組進行掃瞄,儘管我們獲得了所有表型資訊和基因資訊,但是由於資料量龐大,這就需要採用大資料技術,進行分析比對,挖掘主效基因。

例子還有很多。

大資料的意義和前景。總的來說,大資料是對大量、動態、能持續的資料,通過運用新系統、新工具、新模型的挖掘,從而獲得具有洞察力和新價值的東西。以前,面對龐大的資料,我們可能會一葉障目、可見一斑,因此不能了解到事物的真正本質,從而在科學工作中得到錯誤的推斷,而大資料時代的來臨,一切真相將會展現在我麼面前。

18樓:Dtinone

大資料(big data),巨量的資料集合,是乙個IT行業術語。指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的資訊資產。

在書籍《大資料時代》中中大資料指不用隨機分析法(抽樣調查)這樣捷徑,而採用所有資料進行分析處理。

大資料的5V特點(IBM提出):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價值密度)、Veracity(真實性)。

應用:就業前景:

人才稀缺:未來3至5年,中國需要200萬+大資料人才,目前大資料從業人數不足50萬,市場需求遠遠得不到滿足;

需求增長快速:大資料對接金融、電商、醫療、新零售、物聯網、工業、農業、交通和能源等行業,人才需求量持續擴大。2023年大資料行業起薪突破20萬每年,高出網際網路普通技術開發人員134%,且招聘人數擴大為2023年7.

8倍;年薪資:15w-100w不等。

19樓:Kyligence

十五年前,剛開始工作,從帝都回老家。

某長輩和藹的問我:「工作了啊,做什麼的?」

我躊躇半天答曰:「挨踢(IT)。」

長輩不假思索的來了一句:「哦,在中關村賣光碟啊!」

五年前,一夜之間,「大資料」一詞開始紅遍大江南北,再碰到別人問我時,我終於可以用乙個網紅詞來輕鬆回答:「做大資料的!」

上面這個小故事是我司風雲人物燕飛哥對「大資料」的一番由衷感謝~究竟什麼是大資料?(怎麼跟別人解釋「大資料」是幹嘛的?)戳下方鏈結!

Kyligence:【掃盲貼】講透大資料,我只需要一頓飯

20樓:小鐵匠

大資料不是將大量的資料簡單粗暴的收集到統一的平台上。低質量的資料除了造成資源的浪費,並不能帶來價值。舉個例子:

我家小孩喜歡玩樂高積木,每隔一段時間我都會給他買一些不同種類的積木鍛鍊他的動手能力。出於小朋友天生的探索精神,拼裝好的積木總免不了被他拆爛,然後集中存放在乙個大的玩具盒中。有一天兒子讓我給他買乙個小車,我說"這車不是之前買過嗎?

"小朋友回答"被我拆了放盒子裡了,但是現在找不到配件,裝不起來了,我真的很想要它"。的確是的,由於沒有對各個配件進行很好的歸類,已經很難按照說明書,從"海量"的配件中找到自己需要的,重建小車已經變得幾無可能。

資料又何嘗不是這樣,如果我們沒有對資料進行合理的梳理,僅僅是一股腦的匯入大資料平台。需要時,這樣資料也不能被很好的使用。

什麼是教育大資料?

一丟丟喜歡 大資料 概念不是突然出現的,而是資訊科技發展的結果,大資料是新資訊科技的寶藏。相較於傳統的資料,人們將大資料的特徵總結為5個 V 即體量大 Volume 速度快 Velocity 模態多 Variety 難辨識 Veracity 和價值密度低 Value 這五個特徵都對資訊科技帶來了巨大...

什麼是大資料時代?

弗拉醬 對於 大資料 Big data 研究機構Gartner給出了這樣的定義。大資料 是需要新處理模式才能具有更強的決策力 洞察發現力和流程優化能力來適應海量 高增長率和多樣化的資訊資產。麥肯錫全球研究所給出的定義是 一種規模大到在獲取 儲存 管理 分析方面大大超出了傳統資料庫軟體工具能力範圍的資...

什麼是大資料黑產?

利益相關 地下產業鏈工作者,有過千萬業績 獨自建立專案 策劃多個專案等等領域吧,只能說一般般,前兩年賬號出過一次問題,虧到生活差點不能自理,入行需謹慎。注 本人不幹任何黑色專案,只幹正規專案跟擦下邊球。在去跟朋友喝酒的車上,回答一下吧。首先說說資料是什麼東西,在我們這邊資料就是 引流,推廣,變現等等...