請問做大資料專案一般用什麼軟體或平台?

時間 2021-05-29 22:44:53

1樓:老馮

一般使用Hadoop生態環境,包含了元件,hadoop,hive,spark,hbase等,需要系統的了解,不是三兩句能解釋清楚的

2樓:大器不早成

一般用Hadoop,Spark等平台,進行分析。如果你想要做大資料分析挖掘的話,這裡有乙個平台我覺得挺好的——資料超市。這個平台以spark平台為基礎,對你進行大資料分析也是十分有效果的。

3樓:心中有數

對於常用的軟體和工具,木兄回答挺全面的。

我補充一下選擇方式:

原則:不是選最強大的工具,而是選最合適的工具。

什麼是最合適的?和以下幾個因素有關:

1)資料型別和資料量:如果是結構化資料且資料量不大,完全可以用RDB解決。否則需要使用Hadoop之類的。

2)要解決的業務問題:如果只是一般分析,用Hive、Spark或Impala處理;如果需要實時處理,需要用spark streaming或storm之類的流式計算工具;如果要資料探勘,需要用R、sklearn等。

3)成本:如果成本足夠,可以用商業發布版軟體,Hadoop的商業版有CDH、星環、華為之類的。商用版比較穩定,而且有售後。如果想節省成本,就直接用開源的吧。

4)專案週期:如果週期比較短,盡量不要選太多工具,在各個工具之間除錯挺費時間的。

5)後期的擴充套件性:如果要擴充套件性好,選主流的,乙個生態內的。

做大資料專案經歷中最頭痛的是什麼?

李啟方 很多年前,在深入企業資料分析之前,曾經主動向當時的領導請纓 去某些比較知名的公司做資料專案,私以為那樣會提高我的資料全域性觀,但是現實卻很打臉。通過不同的專案,提高是提高了,但是只能感嘆 坑真的多。這種坑來自於什麼?來自於不同的人的認知不同,有人認為一些基礎的難點根本不是事情,大搞 模型 演...

請問買賣幣一般用什麼軟體?

白千俞 OK把老牌交易所 10塊錢你就可以買賣其他交易所夠嗆 ok鏈結 alpha 用茶館咖啡館。進去茶一泡,兩個人手機掏出來,你把人民幣轉給他,他把位元幣轉給你,你手機上有幣錢包。完了各自離去。幣不進交易所,不被KYC3關聯,然後豌豆開花,各自回家,回家洗衣服煮飯,回家抱娃娃。 呆頭呆腦憨八龜 火...

UI工作一般用什麼軟體做?

體驗設計師樂融 目前主流的軟體是sketch做圖,一線網際網路公司內部推的是figma,早期用ai,ps的時代也有過,目前主流的還是sketch,做完之後交接用的是藍湖,sketch內做完上傳到藍湖就行了,可以試試,在學UI的路上還有什麼問題都可以問我 白開水的滿足 4大平面軟體。0基礎起步,講練結...