在我的資料分析師的工作中為什麼很少用到spss R python等軟體,多數時候sql取數視覺化就行?

時間 2021-05-30 23:32:26

1樓:資料分析狗一枚

作為乙個入坑資料分析六年的老油條,談一下我的看法。

為什麼資料分析師多數用SQL取數然後Excel做視覺化就行?

第一種可能,需要明確一點,只要資料分析思維框架沒有問題,SQL和Excel能分析解決的話,這兩個工具絕對是最高效的工具,沒必要為了使用工具而使用一些看似高大上的SPSS Python R,資料分析以解決業務問題為根本目的,技術只是手段,黑貓白貓只要能抓到老鼠就是好貓。

另一種可能,有些同學可能會發現只能用到SQL和Excel,有可能是因為還沒有遇到複雜的資料分析問題,這兩個工具固然強大,但也只能做一些常規的描述統計,如果要做更精準的統計學分析,假設檢驗,SPSS絕對是個好選擇,如果要做機器學習模型,Python絕對是個好選擇,可能有些同學只是停留在描述資料,還沒有到分析和挖掘的程度,自然用不到這些工具。

2樓:偏愛冰淇淋的魚

資料分析師是乙個比較寬泛的統稱,是大資料裡面的乙個細分。資料分析現在慢慢被大家認為是乙個行業,但其實資料從業者還是有差異的。

真正在工作中會有一些不一樣的細分領域,比如商業智慧型(BI),演算法專家,開發工程師等等

而樓主的職位就是BI,是比較常見的職位,工作的重點就是取資料和做視覺化報告。這是乙個看起來比較簡單,但同時也需要很多分析思維和業務理解的工作。和其他用程式設計工具的工作(使用SPSS,R,Python等)相比是比較簡單,有時也會無聊,但其實分析的本質大都是一樣的,只是使用的方法不同而已,要透過使用工具看到本質的分析思維和方式,這些才是重點和關鍵。

特別是當你工作多年,進入領導層之後,這些看起來簡單的東西,有時是直接面對公司高層的,CEO等級別,對這些分析是有乙個更高的要求的。

另外,普遍職場新人都是從這個職位開始進入大資料領域,但其實這只是大資料乙個細分,不能代表乙個行業,只是大家分工不同,測重點不同而已。

之前有類似的內容,可以參考:

3樓:vei ling

我現在摸索下來,資料分析有兩種方式:

1 業務能力強(不一定是你強,可能是你合作的業務方強)

1)個人業務理解能力特別強悍;

2)或者是業務特別願意輸出,幾乎都把想要啥,他的整體思路,要怎麼分析,怎麼選指標,閾值等等都告訴你,你只需要跑個數,填進去他說的框架就好了。

2 純粹走技術流

不怎麼懂業務,上手就跑模型找指標,順便定閾值,一通操作猛如虎。

第一種是你說的,基本只需要sql的人,但裡面的細分很不一樣。個人業務理解特別強的,是可以直接輸出業務動作和策略的。而業務特別願意輸出的,是我們常說的sql boy。

第二種,大部分是資料分析/ds 專業出身,對業務理解能力不夠,但是技術能力強。但是輸出的模型或者分析解釋起來比較難理解,業務經常聽不懂,並且最後模型可能還比不上業務一頓輸出的結果好。這種要是理解業務,其實可以轉演算法或者策略。

不過國內的情況,經常是招數分商分的人不大知道自己究竟想要這個崗位的人來幹嘛,最後就大家都成為sql boy了。

4樓:Uko學姐聊求職

Python是程式語言,對資料分析有一定影響,但不是因果關係,python對分析師來講是工具,但對分析師來講最核心的三大工具是ppt、Excel、sql

python也是現在常見的一種語言了,同時也有很豐富的資料庫以及活躍的社群,這樣可以幫助你輕鬆提取資料,為人工智慧做出服務,python可以進行爬蟲、寫遊戲以及自動化運維,可以大大提高資料分析的效率

5樓:Wen dao

因為你做的是描述性統計分析,而沒有做推斷性統計分析,沒有用到統計模型。所以你是資料分析師。

如果崗位是資料探勘工程師,演算法工程師,就會用到了。

6樓:白宇的狗腿子

那你先問問需求方什麼是正態分佈比較簡單的數學概念,看看有多少知道的?假如說你的需求方不知道對應的一些數學概念,怎麼可能讓他們在資料中應用呢。所以大多數資料分析師的工作就是簡單的SQL取數,視覺化。

7樓:初心

個人覺得這個跟處理的資料量有很大關係,資料量小的話,EXCEL, SQL資料庫就能搞定,大資料的話,就得用上Python了,國內大部分公司有個Excel就完全滿足需求了

8樓:

資料分析是個很寬泛的概念,只要能從資料中算出一些東西,看出點特徵規律的事都可以算是資料分析。

技術上講,最基本的分析就是常規的統計,也就是題主說的SQL加視覺化,更專業一些的術語可以稱為BI,這裡用到的運算基本就是四則運算,沒什麼特別要求,一般人員都能學會。而且只要有些資料就總可以統計了,這種分析對資料量和資料的完整性要求並不高。

SAS這些屬於資料探勘範圍,或者也可以叫AI了,這些是技術含量更深的分析,使用時對人要求也要高很多,需要學習很多數學知識,能掌握的人較少。而且,這種分析需要較大量和完整的資料(不只是要記錄數多,字段還要多),很多機構就不具備做這種分析的條件,所以平時用不上也就很正常了。

這有篇文章把這兩種技術簡單解釋了一下:BI 和 AI 都有 I,是一回事嗎? - 幹學院

可以說幾乎是完全不同的技術,應用範圍也不同。

對資料分析技術不熟悉的初學者也可以看看這個:門外漢掌握資料分析處理技術的路線圖

9樓:九月風飛

首先要看你的工作環境,其次是你的工作年限,偏商分,偏業務分析,偏運營分析等這些本身就是強取數依賴的,其次剛工作的話,如果不是ds專精,肯定要先通過bi和取數來了解業務的,但慢慢專精之後,這些工具會幫助你進行提效和挖掘,慢慢融入你生活裡

10樓:甘珠爾海

看資料情況和應用場景以及所處階段的

001 如果是調查問卷資料,可能這幾個工具用的比較多

002 如果資料庫直接和BI工具對接上了,連SQL也不需要了

11樓:jc wen

1)公司的資料工程沒有搭建好,出於安全考慮,主要業務資料都會被隔離在伺服器,一般只開放了最大眾的SQL介面,而且還有各種限制(日取記錄條數超閾值會被限制等),導致不能高效實現各種演算法(回歸、聚類、分類等),而且就算通過SQL實現這些演算法,也帶來了演算法調優、維護、管理這些問題;

2)只用sql的確就可以完成各種簡單的統計,業務部門主導的專案需求較簡單或者時間短,不需要負責的演算法挖掘;

我個人認為,只用SQL提數對資料從業人員的成長絕對是無益的,R、python整合的各種演算法,不單單是效率更高,更重要的是方便分析人員從更抽象、更高的角度來審視資料和業務的關係。

題主的情況如果原因是1)導致的,可以和業務部門溝通建立資料倉儲,快取一定業務資料方便分析;如果是2),就是人員安排定位問題了,基本不可能個人解決,只能換工作了

12樓:jinzhao

你描述的情況都屬實,這就是分析師的時間分布的寫照,那麼,根源是什麼?

原因:在緯度概念上:BI系統不可能組合出所有指標之間的關係,所以,當面對新場景的情況下,需要重新假設指標關係,並通過sql來提取;

報告的可讀性:我們可以按照留存表來描述目前的留存狀態,但如果你用生存分析來擬合出來一條曲線,可能其他人就看不懂了,所以,視覺化不失是一種選擇。

工作的價值點:如果真的只做sql與視覺化,那麼,你就是工具人,占用了你工作的80%時間,是形成感性認識的過程,是不可或缺的過程,但最後的資料解讀才是資料分析的核心價值所在。

另外,其他工種也一樣,資料探勘大部分時間在洗資料,調參的時間很少但卻最重要。

13樓:sll

不管是excel,SQL,SAS,R,PYTHON還是其他千奇百怪的東西,歸根結底是工具。

資料分析實質是你要分析出個所以然來,而不是拿一堆工具花式炫技。

在實際中很多資料分析師的工作,其實就是取數員:sql取數,然後excel做些分析,有的可能再用類似tableau做個視覺化。

這些其實都是模組化,標準化的工作。

真正有價值的其實是分析。

分析有兩種,一種是業務分析師,對於這類人其實行業經驗、見解才是最重要的,工具只是輔助罷了;還有一種是資料探勘工程師,這類人主要是用演算法、模型來分析,往往需要有比較強的數學、統計學基礎。

至於面試時問的python,甚至機器學習之類的知識,很多時候也只是篩選手段而非工作要求。

14樓:牛屎

因為開發和資料庫只認sql,通過sql你才能拿到資料庫裡的資料。

spss和其他資料分析工具/語言本質上的應用只是開啟本地檔案進行操作,生產環境由於網路隔離和安全問題,一般是不允許直連的。

外加現在資料規模膨脹得離譜,幾百萬幾千萬資料的統計分析,本地要跑上好久,還不能失敗,倒不如直接用生產環境分布式的算力,本地計算只是適合一些低量級的抽樣和演算法除錯。

但是吼,隨著提數需求和分析需求的不斷公升級,現在各公司都有很多提數分析和視覺化的平台,原本很多spss的功能都被搬到了web裡,為了就是整個資料鏈路的閉環。

而在這些平台裡,大多會以sql作為准入,因為方便資料庫引擎和中介軟體做資料下推和邏輯優化,總之就是個大一統的事。

15樓:kexiblue

我個人理解在進行資料分析的時候,百分之80的時間是提取業務需求對應的資料,而這個提取過程,顯然需要sql實現,而一般的描述性統計分析,sql也能實現,即資料的視覺化。在日常工作中,也沒必要在不同的軟體中切換,反而耽擱時間。至於SPSS、R、python之類,只有在有建模需求的時候,才會考慮到。

但實際工作中,主要時間和精力都是在分析資料表面體現的資訊。所以,sql確實是一項基本技能,有這種現象也很正常。

16樓:Adding

資料分析師通常是這樣的。重要的是根據問題選擇取什麼樣的資料和資料結果和業務的關聯解讀。

SPSS很多是學生用,或者有些市場研究公司也會用。

R現在搞統計的用的多。R和py如果分析師用的話,很多也是處理資料,比如寫迴圈等。

很多模型演算法的都被資料探勘、機器學習或者深度學習那些崗位來做,所以分析師也用不太著。

17樓:Adrian Lu

用什麼工具、方法重要嗎?關鍵是課題本身有沒有價值,分析是否邏輯縝密地給出了回答。論道與術,商分這個行業很容易在追求術上牟著勁兒衝刺,卻在道上缺乏學習成長的意識。

18樓:不知渭河

因為這些軟體的作用差不多。

spss是大學才用的東西,主要去求一些相關性的操作,完全可以用python代替,用在一些abtest,證明相關性等場景。

R是科研人員主要用的東西,因為它的表述很適合文科生,做R的人也是文科生。重點是它生成的圖好看。而很多資料分析的工作,python可以代替。

而python主要用的包,包括panda之類的工作,完全可以用sql代替。很多公司做乙個sql平台不難,但是對python一般都用jupyter,不會專門做乙個idle給你用。

再加上工作的時效性要求,用sql就成了主流。你可以用python,它本身也可以相容sql庫,很多演算法同事都習慣用python。

而一些看板,分析報告的製作,excel和ppt就能滿足了。沒有比他們更好的,也沒有必要。

資料分析的核心在於分析,在於你寫在報告上的那一句結論,和簡潔合適的圖表。如果一直承擔取數工作,那應該不屬於分析師,是公司給你的定位出了問題。

可以考慮換一家公司。

資料分析師日常工作是什麼?

python分享站 簡要回答一下這個問題,做大資料分析,往往涉及到幾個環節 資料獲取 資料訪問 資料預處理 資料建模與分析 資料視覺化。具體請看一看文 資料採集 資料採集的意義在於真正了解資料的原始面貌,包括資料產生的時間 條件 格式 內容 長度 限制條件等。這會幫助大資料分析師更有針對性的控制資料...

資料分析師未來在什麼行業好?

學掌門資料分析 資料分析並不算乙個新興的職位,但隨著大資料概念的逐步落地,資料的價值也漸漸被企業所重視,資料分析師也因此身價倍增,很有市場,前景很好,越往後發展,綜合能力要求越來越高。從行業招聘數量來看,資料分析師職位缺口主要集中在三大巨頭行業 網際網路 電子商務 金融及計算機軟體 同時非典型資料產...

資料分析師的成長之路?

農夫三拳有點疼 初級 中級 高階。初級 工具EXCEL,分析知識基礎統計學,套用現成模型,對資料進行指標分析。中級 工具SQL EXCEL Python 資料提取 資料清洗,統計性分析。高階 機器學習,資料探勘 python SQL高階 pytorch IT界不禿頭的姑娘 首先,做資料分析師,基礎入...