大資料到底是幹什麼?

時間 2021-05-09 03:41:05

1樓:因為愛啊

大資料其實就是一種分布式的思想,通過堆疊廉價的機器來提高效能。

大資料幹的事情其實就兩件:提供分布式儲存與分布式計算的解決方案。而這些解決方案的落地實現則對應乙個乙個的框架,學習大資料實際上學習的是框架的使用。

分布式儲存最直接對應的是Hadoop框架中的核心元件hdfs,以及構建在hdfs上的資料倉儲Hive和可做海量資料實時查詢的大表NoSQL資料庫HBase,還有RDBMS與NoSQL之間資料傳輸的小型框架Sqoop,日誌收集框架Flume。

而分布式的計算,按照處理資料的暫時性,又可以大致分為離線批處理和實時流處理。離線批處理一般是通過hive進行實現,也可以使用Spark,而實時流處理則使用較多的是Spark和Storm。

此處,由於大資料與人工智慧雲計算等方向存在一定的聯絡,如果學習大資料建議學習一些機器學習相關的理論和演算法。

成為一名合格的大資料從業者,以上,你都必須非常熟悉。

2樓:

題主,你是新手,我就不說多的了,你就把相關的程式設計弄好就行了。別的和你說多了,你也用不上

。關於如何自學,書店、圖書館裡有的是。你自己找找與你工作相關的就行了。

3樓:

第一張是用大資料做的貝葉斯模型,第二張是用大資料做的heatmap...請讓我叫這東西heatmap...

區別在於,第一張是你以為你需要用大資料做的東西,第二張是你實際用大資料做的東西...

理想和現實...

4樓:郭大牛

從資料出發,通過搭建各種模型,從資料中找出你需要的答案。這好比做菜,你現在的情況是是有了食材了,但不知道如何烹飪它。多看看這方面的書吧,先推薦你看一下入門級的書《大資料》

5樓:異塵

目前大資料體現價值的主要是兩塊,一塊是BI方向,即通過建設企業級資料倉儲,在此之上實現的各種資料分析和報表,用來指導公司決策;另一塊是資料驅動產品,即通過資料分析和挖掘,產生的資料直接驅動業務,比如各種精準營銷、推薦系統、廣告等等。

從題主的描述看,貴公司主要業務還在資料採集和ETL階段,可以考慮從學習資料倉儲建設開始,學習維度建模等等,後續根據興趣和能力考慮是做BI還是做數驅產品。

大學到底是幹什麼

強霸博士 廚房,按照自己的愛好自己的能去做去嘗試,最終做出一道歷時四年的硬菜,然後自己吃下去,有點菜吃了大補有點菜只能算可口當然也有炒糊的 sc30 認清自己,找到你自己覺得舒服的,想得到的小目標,努力下去。你想要很多獎狀?還是想要獲得豐富的經驗?還是想要拔尖的成績?評價緯度很多,關鍵看你自己想要什...

技術銷售到底是幹什麼的?

日夜換期望 翻了華為 海康威視等企業的校招官網,我發現國內科技企業的銷售崗門類眾多,同處於市場體系常常有多個崗位,我也發現不同企業間某些崗位的JD job description 十分接近,如華為的產品行銷經理 中興的MKT技術 海康威視的解決方案行銷。華為 深信服 中興的銷售類崗位 它們的區別是什...

Hadoop到底是幹什麼用的?

Hadoop 是用來代替 Excel 的。乙個個體戶可以用 Excel 來記錄資料 分析資料 共享資料。乙個稍大一點的公司就需要用 Hadoop 來幹同樣的事,因為資料量比較大Excel搞不定。 小術曉術 Hadoop依賴MapReduce計算模型及HDFS Hadoop Distributed F...