如何提高spark的資料分析能力?

時間 2021-06-07 19:03:09

1樓:Lison

可以看這套教程自學一下,3.0最新版本,老師講的不錯

尚矽谷2020最新版大資料Spark從入門到精通_嗶哩嗶哩 (゜-゜)つロ 乾杯~-bilibili

2樓:加公尺谷大資料

Spark系列的書籍,入門階段可以讀一讀《Spark快速大資料分析》,算是比較基礎類也講得比較清晰的。

另外推薦一本比較新的書,2023年7月版,《Learning Spark, 2nd Edition》。

全書對於整個 Spark 的體系做了比較全面的講解,從概念的介紹,到 API / SQL 的使用,再到如何優化 Spark 作業,以及 Structured Streaming,通過 Spark 構建資料湖,並且還對目前很熱門的三大資料湖框架 Apache Hudi / Apache Iceberg / Delta Lake 進行了介紹。

最後,針對最新發布的Spark 3.0,也介紹了 Spark 3.0 的新特性,是目前為數不多介紹 Spark 3.0 版本的書籍之一。

3樓:青牛

你好!統計學是資料分析的基礎,建議多看一下統計學基礎,spark只是乙個很普通的工具而已,資料分析積累的是經驗和思路,基於R、python的很多資料分析的工具都比spark好用,所以不要糾結於spark,python和r在資料分析領域才是王者!

4樓:Paco Li

我主要還是看官網的文件,再加上搜尋別人的經驗,然後自己對業務也要有深刻的理解,並且熟悉spark要和周邊打交道的元件kafka, hdfs, redis, hbase等,畢竟單獨乙個spark也實現不了什麼,資料要有進有出,處理之間還有外部的資訊查詢,靈活使用各種能被spark訪問的元件的特性。

如何提高行測中的資料分析?

暮雪 資料分析這個模組相對來說是最容易提分,也是行測部分最容易全對的模組。我認為最容易提分的方法如下。第一 各種統計公式要熟練運用 也就是大量練題,行測所有部分都要多練。第二 就是計算了,尋找各種精算,估算方法。比較大小的方法。比如,計算方法有,特徵數字法,錯位加減法,有效數字法 比較大小的方法有,...

行測的資料分析如何快速提高?

Wuua 我第一次省考時做資料分析也是頭大的一匹,看到那麼多數字總會心裡犯怵,而且什麼增長率,比重之類的計算公式也很複雜,搞得最後直接放棄了,當我第二次備考時才發現,資料分析遠沒有想象的那麼難。第一次備考完全進入了死胡同,沒有找對方法,自己就是一味的刷題,雖然有及時總結思考,但是沒有總結成系統的做題...

資料分析如何轉資料探勘?

位元組Funk飛 資料分析如何轉資料探勘?雖然這二者都是直接根據接觸的職業,但是對於資料的處理和跟資料的關係還是有著很大的去唄的,資料分析師針對已有的資料進行不同的模型構建然後分析,將有價值的東西提取出來,但是資料探勘呢,只是單純的資料探勘,是一種資料收集和提取的過程 我之前也是資料分析,感覺沒什麼...