1樓：看屋雲
當然不會。從業內的實際情況看，不如說剛好相反，商用大資料平台的推廣程度越高，大資料開發工程師的崗位需求越多。
讓我們從兩個方面來講清楚這個問題：1.目前在國內，大資料開發工程師的崗位需求與商用大資料平台的推廣呈同步推進關係。
2.長期來看，商用大資料平台不能取代自研資料平台，也不會導致開發工程師失業。
1.目前在國內，大資料開發工程師的崗位需求與商用大資料平台的推廣呈同步推進關係。
一方面，大資料行業本身還處於發展初期，中國的大資料行業就更處於發展初期，大資料對商業公司的滲透率，與國際同行相比還有巨大差距。所以，整個大資料行業還有巨大的發展空間、巨大的空白市場等待占領。
以我們所在的BI系統（商務智慧型）為例，2023年，中國商務智慧型市場規模為5.5億美元，而同期全球商務智慧型市場規模為237億美元，中國僅佔2.3%，顯然與中國的經濟體量，或者「新科技發展引擎」的自我標榜不符。
可以參考我之前的這篇推文：
2019中國BI市場規模約5.5億美元
在這種情況下，大資料行業遠遠不到內卷階段，商用大資料平台和資料開發工程師之間不存在競爭關係，雙方是共同拓展市場的盟友。如果一位資料工程師感受到了競爭壓力，你應該可以很容易找到尚未開拓的新市場。
另一方面，現在國內的商用大資料平台，幾乎不能完美滿足企業的具體需求，需要企業自己進行大量的開發和日常維護。所以，目前的行業現狀是，當乙個企業考慮使用商用大資料平台時，他要做的第一件事必然是僱乙個大資料開發團隊，商用大資料平台與企業的對接根本離不開企業自己的資料開發工程師。
乙個簡單的小調查，題主也可以自己做一遍：目前市面上在招聘的資料開發工程師崗位，公司不一定對應乙個商用大資料平台；但乙個商用大資料平台的企業客戶，他一定有在招聘資料開發工程師。
換個思路去考慮，以目前國內企業的資料龐雜程度，乙個考慮商用大資料平台的公司，肯定是意識到了資料的重要性，那當然也有自研資料平台的動力。雙資料平台不要太常見哦（笑）。
2.長期來看，商用大資料平台不能取代自研資料平台，也不會導致開發工程師失業。
如果把眼光放長遠，不侷限於國內、目前，則我們仍然不認為商用大資料平台會導致開發工程師事業。
讓我們想象乙個商用大資料平台高度發達的場景：所有企業都用了商業大資料平台，所有企業資料都由第三方平台收集。在這種情況下，我們收集到的資料是更多了，還是更少了呢？
當然是更多了。更多的資料需要更多的工程師去維護，更多企業需要更多的開發。即使在這種理論場景下，開發工程師也不會失業。
而且，這種理論場景是不會出現的。因為凡事都有邊際效應，商用平台總歸提供的是標準化服務，越多的企業使用同樣的標準服務，則少數不適用標準服務的企業就會獲得更大的差異化優勢，自研平台的價值就會更高，這中間總有乙個臨界點，所以商用大資料平台永遠也不能取代自研資料平台。
總之，無論從國內的產業現狀，還是理論上的長期來看，企業的自研資料平台都不會被商用大資料平台取代，雙方甚至不存在真正的競爭關係，那麼大資料開發工程師就更不會在這種環境下失業了。
大資料行業，現在仍是、也將長期是人工智慧的熱門風口，巨頭的入場不會終結這種局面，反而再次證明了這個行業的發展前景。
2樓：玻色子與畫家
從現在的市場環境情況看，大資料工程師不會失業，並且沒有減少反而越來越多了，因為使用大資料的公司越來越多。提問者擔心的是搭建大資料平台的工作都沒了，大資料工程師還幹什麼？其實現實中大資料工程師並不是在搭建平台這個殼，而是在搭建平台上的資料內容。
可能在提問者的意識裡認為大資料工程師熟練掌握各種分布式系統原理，順手就寫乙個mapreduce程式來計算，精通使用hadoop，spark，flink，kafka各種架構原理，然後在集群遇到問題迅速調引數進行修復。能用大資料生態的各種元件組建起來搭建各種data pipeline的方式實現大資料平台。這種確實是在還沒有商業資料平台的時候大資料工程師的日常工作。
總結主要工作：
維護hadoop等分布式平台，特別是在遇到系統高峰時能穩定系統完成資料加工需要比較深的分布式系統設計原理
根據業務發展使用大資料生態的各種元件組建起來搭建各種data pipeline，從資料採集，同步到加工（即所謂的ETL工作）
搭建分析師、運營和產品經理等大資料查詢和提數平台
搭建大資料包表展現系統
但是大資料商業平台出來後，和雲上的元件打通後形成了閉環（特別是阿里雲上的RDS可以直接匯入資料到MaxComputer中），比如原來至少需要乙個排程平台（haoop時代）來排程資料引擎上的指令碼，以完成資料從業務庫同步到大資料平台，再排程完成後面的各種計算任務。這在以前至少需要乙個排程平台，大資料平台，資料同步系統。但是現在全部都整合在一起來，且分布式系統放在雲上會形成了資源彈性網路，避免了因資料的峰值而造成的高難度維護工作也基本不需要了。
其他的查詢、取數和展現系統雲上也都齊全，直接用就行。
從上面可以看出原來的大資料工程師的工作，基本上被簡化只剩下了資料加工部分了。
加工資料一開始的時候都是需要寫mapreduce程式，並且需要很了解hadoop系統，防止寫出爛程式，導致出現資料傾斜，沒加取數範圍限制等問題，導致乙個任務堵塞整個集群。這個階段確實需要專業的工程師來幹，但是後來出現了hive，直接降級成了業務同學也能用的SQL。而且商業大資料平台會做大資料平台執行引擎，對爛指令碼的優化做了很多，防止很絕大部分的問題，更不會出現上面的問題了。
實際上現在大部分的資料工程師90%的時間都在用SQL。是真的不怎麼需要了解底層原理。
這也說明大資料工程師的範圍縮減了很多，基本只剩下了設計資料模型做基礎的資料加工。這部分難度也不再是指令碼的編寫，而是資料模型的架構質量，這時候要求的是對業務的熟悉程度和資料模型的知識。所以漸漸的大資料工程師開始兼併了一些資料分析師的工作，來設計各種業務指標。
甚至有時候運營需要的指標體系都是大資料工程師直接出的了。但是反過來資料分析不能做資料工程師的工作，因為有資料建模技術壁壘和複雜資料加工技術壁壘。
當乙個職位的難度係數下降後，它就會橫向發展兼併上下游的職位的工作，最終那個難度系統最大的職位會留下，其他的出局。
所以從上面的論述，我認為普通的大資料工程師崗位不會減少，並且以後可能會兼併了資料分析師，但是長期可能會被演算法工程師給兼併。原來掌握分布式系統開發的工程師規模縮減，並單獨出來形成分布式系統工程師，在那些做商用大資料平台公司中繼續開發。
3樓：時光機
大資料平台在往自動智慧型的方向發展，原來需要3個人幹的活，以後可能只需要1個人，同時會帶動產生新的崗位，特別是在資料治理和應用方面。
4樓：青牛
你好，首先這些大資料平台只是大資料的一種解決方案，所以並不適用於所有公司的業務，再者很多公司都不想把自己的資料託管在別人的平台上，因為資料的敏感性，所以每多公司都自己搭建大資料平台，所以大資料工程師是不會失業的。
5樓：創帆雲
不會，這些平台，也是需要大資料工程師去開發維護的。
就像之前的幾次工業革命，每次都會覺得會有大批人失業，但是結果都是創造了更多的崗位。
現在人工智慧很火，大家都覺得大批人會失業，因為會替代那些傳統重複工作的人；但是，人工智慧本身也創造了很多的崗位；
所以，失業是一定的，但是那些不懂得順應潮流，不懂得求變的人才會失業；更多人會在新的浪潮中找到自己的定位。
這次疫情，也是很好的例子，會加速淘汰大批的企業，但是也一定會給那些求變的、新思路的企業更好的機會。
6樓：
我覺得BI軟體會替代很多大資料開發，BI平台只需要簡單的程式設計，入門不難，比掌握並維護一門程式語言所需要的精力小很多，比如python，當你發現很多爬蟲軟體，BI軟體功能越來越多時，再去用python，看著就煩。人類大腦就是喜歡接受Windows影象類的東西，不喜歡dos類的字元
7樓：朱祺
不會，很多資料具有價值，因此從保密的角度不會都用其他平台，另外資料架構的角度，雲計算技術在不斷發展迭代，本身也需要不斷的對架構進行優化和改進
大資料時代，去普開資料學習大資料怎麼樣？
會飛的魚66 大資料時代，去普開資料學習大資料怎麼樣？建議你可以從以下幾個方向進行對比和選擇 1.看師資力量，要知道老師的水平可能直接關係到你的學習程度，所以師資力量是重點 2.看主講老師的經驗，盡量選擇乙個得到行業認可 經驗豐富的 可以關注到每個學生，手把手教授知識的老師，在這樣的老師的指導下，學...
如何搭建大資料分析平台？
帆軟 通常來說，企業內部的運營和業務系統每天會積累下大量歷史資料，一些企業最多是對一些零散的資料進行淺層次的分析，真正的海量資料其實並沒有得到真正有效的分析利用。同時，隨著系統的不斷增加和積累，沉澱在系統深處的資料也更加難以提取和整合，後期的報表展示和視覺化分析也就成了空殼應用。所以大資料分析平台的...
大資料培訓？
青牛 大資料培訓機構的選擇還是要靠自己的判斷。目前培訓機構確實是參差不齊，我總結了幾條選擇培訓機構的方法供你參考1 專業程度及機構建立背景 目前開始大資料培訓班的機構很多，有一部分是專業大資料培訓機構，就是說其他的專業他們不涉獵。而另一部分是綜合性培訓機構，就是什麼專業都培訓，只要這個專業火，他們馬...