學生黨，會java，只有一台電腦！！如何學習大資料開發？

1樓：大蕉

開虛擬機器。你就有很多臺機器了。當然純學習的話單機夠了。玩玩HDFS，玩玩MapReduce，玩玩Hive、Sqoop、Spark。你也算入個門了。

2樓：金去還復來

GCP目前註冊送$300美金，很適合學生黨學習Google那一套大資料產品。

我用他們的data lab寫寫Python呼叫各種machine learning api，做neural network, deep learning之類，感覺比原來寫hadoop spark方便多了，無比好用。

就是如果來真的大資料那收錢是相當貴，最好有公司出錢，否則只能小打小鬧。

3樓：獨玄

更一波，不要誤人子弟，其實單機跑大資料也是可以的，我發現我同事都是單機除錯然後再打包，檔案路徑不一定要集群，可以單機跑完在丟到集群上面，加油。原諒我當時老以為只有集群可以，檔案必須hdfs，太年輕了

真的玩不了，趕緊找個好點的公司實習，看看裡面的免費集群來用，我真的之前在虛擬機器搭個hadoop集群跑起來可以，不過卡得我心煩哈哈哈，如果你沒事玩玩單機spark我覺得還ok，要不看看學校實驗室要人不，免費伺服器來搭，我們學校好窮，手動滑稽

4樓：wenwen

用虛擬機器可以的。但是得加記憶體，16g最好。反正我8g記憶體hadoop乙個namenode，2個datanode，1個客戶端，就基本動不了了- -#

5樓：jacksu

今天在公司加班，問題解決了，心裡美的很（這應該是程式設計師最開心的時刻）。

我從乙個學化學的，最後變成了乙個程式設計師，還搞了大資料，也被大資料搞了，扯遠了，還是回到題主的問題。

大資料元件太多，剛開始學的時候無從下手，到底如何學呢？學什麼呢？先學什麼呢？。。。一堆問題冒出來，瞬間嚇得不學了。

其實在校期間還是以基礎知識(資料結構、作業系統等)為主，不要跟著名詞跑，什麼大資料、什麼AI。技術革新太快，你是跟不上的，但是這些都基於基礎知識，而且基礎知識可是幾十年也沒有太多變化。如果實在覺得自己基礎知識比較紮實了，可以找個公司去實現，有任務驅動來學習，不然很難堅持學習。

6樓：不存在的

一台電腦要是配置好的話，你可以準備3~4個虛擬機器，每個虛擬機器配置一部分功能。差一點（比如我這個I3+4G記憶體的小薄本）就只能開1個虛擬機器，所有服務都在一台機器上。總的來說，只是學習或者少量資料分析，你用一台電腦玩玩也行

居然是學生黨，四級過了沒？我這送你幾個鏈結。你看官網文件配置乙個偽分布式集群就行了

hadoop官方文件：Welcome to Apache Hadoop!

看你的版本，如果版本不在這裡面的，就按照你版本之前那個配在配置HIVE、MYSQL、ZOOKEEPER、HBASE