零基礎學習 Hadoop 該如何下手?

時間 2021-05-06 21:24:29

1樓:不過現在也

大資料這個行業的話,很多中大型企業都在招聘給出來的薪資都很高,我就是做大資料分析。幫助過很多人對接到大資料分析師這個行業,如果有想從事這個行業的可以及時聯絡我。

2樓:

我覺得你需要找個應用場景~比如找一家用Hadoop的公司~

有基礎的同學學習使用Hadoop啥的並不困難~

很多人推薦書,資料啥的,我覺得這些東西是必要的,但沒有場景空談"大資料""高可用""高併發"... 這種類似的概念是沒意義的~看看書虛擬機器搭建個實驗環境啥的有毛線用???也只能應付一下面試官證明你知道這個東西~

3樓:張磊

曾經寫了一篇hadoop安裝與配置的入門文件,較現有的大多數網上教程更為簡單易懂。

Hadoop 的安裝與配置 - Nova 空間站

4樓:Varotene

最近也在自學這方面內容。然後下了基本書,感覺這本還算不錯:

Data Analytics With Hadoop

Data Analytics With Hadoop

從基礎開始介紹,然後內容涵蓋了最常見的Hadoop,Hive, HBase, Spark等。附錄也涵蓋了如何簡單的搭建這些系統。對於以data analytics 為目標的同學是非常適合的。

Introduction to Distributed Computing

Chapter 1The Age of the Data Product

What Is a Data Product?

Building Data Products at Scale with Hadoop

The Data Science Pipeline and the Hadoop Ecosystem

Conclusion

Chapter 2An Operating System for Big Data

Basic Concepts

Hadoop Architecture

Working with a Distributed File System

Working with Distributed Computation

Submitting a MapReduce Job to YARN

Conclusion

Chapter 3A Framework for Python and Hadoop Streaming

Hadoop Streaming

A Framework for MapReduce with Python

Advanced MapReduce

Conclusion

Chapter 4In-Memory Computing with Spark

Spark Basics

Interactive Spark Using PySpark

Conclusion

Chapter 5Distributed Analysis and Patterns

Computing with Keys

Design Patterns

Toward Last-Mile Analytics

Conclusion

Workflows and Tools for Big Data Science

Chapter 6Data Mining and Warehousing

Structured Data Queries with Hive

HBase

Conclusion

Chapter 7Data Ingestion

Importing Relational Data with Sqoop

Ingesting Streaming Data with Flume

Conclusion

Chapter 8Analytics with Higher-Level APIs

PigSpark』s Higher-Level APIs

Conclusion

Chapter 9Machine Learning

Scalable Machine Learning with Spark

Conclusion

Chapter 10Summary: Doing Distributed Data Science

Data Product Lifecycle

Machine Learning Lifecycle

Conclusion

Quick Start

Setting Up Linux

Installing Hadoop

Packaged Hadoop Distributions

Self-Installation of Apache Hadoop Ecosystem Products

5樓:公尺彤

Hadoop的話其實很簡單的,剛開始不要只看書,照著一些部落格搭個集群跑個demo基本就入門了,入門之後基本就能上手簡單的日誌處理程式開發了,然後再去具體研究hdfs、mapreduce、yarn的實現機制。

6樓:孟攀飛

別被hadoop生態圈嚇到了。

Hadoop模擬單機的資料儲存計算 https://zhuanlan /p/25356155

,就這麼回事。

7樓:李踢哪

這學期選了一門大資料系統與大規模分析,也是第一次接觸hadoop,當然首推教材類書啊!

目錄如下

很基礎,從hadoop是什麼講起,當然第一章叨逼大資料是啥的就忽略好了。

向寫個程式給我們程式作業評分的老師表達一下敬意,畢竟20分的滿分才給我5分,可能要掛了退學了吧哈哈哈哈H啊哈哈哈哈哈哈哈!等考完有時間來整理一下正好也學的不太明白。共勉!

8樓:民族脊梁

希望有搞大資料技術的同志來回答一下大資料技術對於乙個211本科生來說難不難學,自學的話可以學得會嗎?能不能找到大資料方面的工作呢?

9樓:Harry Zhu

hadoop hdfs = mysql,hbase = mongodb,hive = sql ,pig = perl,spark =redis.這樣理解對嗎?

10樓:Andey Humer

大資料相關的書已經買了好幾年了,塵封了好久,翻出來看看學學,主要為HDFS和MAPREDUCE,本地簡單部署環境和執行簡歷例子,結合相關原理來學習,

11樓:

看很多答主說什麼看原始碼,看書,本人全部親身試驗過,當初也是信誓旦旦,然而並沒有什麼卵用!!!請問原始碼看的下去嗎??書又從何看起呢??

→_→在hadoop上跑乙個wordcount程式大致知道基本原理,程式設計的時候哪兒不會查哪兒,在此基礎上練習寫別的程式。效果槓槓的!

12樓:鐘飛

我最近也在研究hadoop,許多元件都嘗試搭建,很花費時間,現在決定仔細研究一兩個模組,先從hdfs和mapreduce入手,研究20天左右!

13樓:文中

學乙個新技術或者框架的時候極其重要的一點是有乙個環境去檢驗在學習過程中學到的東西,還可以強化記憶(和信心),而且後面深入學習的效率能大大提高。

所以我給初學者的建議是:

先部署乙個自己的Hadoop環境。

要把主流的hadoop專案的環境搭起來不是一件很舒服的事情,上百的配置一兩個配不對shell都跑不起來。我一般推薦下乙個Hortonwork的sandbox,先把單機Hadoop跑起來。

為什麼是單機版?對外界依賴最少,不需要看wifi訊號或者gfw的臉色。

這個sandbox就是乙個HDP(hortonworks data platform),已經包含了HDFS,Pig,Hive,Oozie,Hue等主流資料處理需要的元件。所以做點基本的實驗是沒問題了。

勺子好了以後就可以慢慢品嚐其他答主熬的好湯了吧。

14樓:

零基礎學習hadoop到上手工作線路指導(初級篇)http://www.

有本網路書很不錯,推薦

零基礎學習hadoop到上手工作線路指導(about雲網路書籍)零基礎學習hadoop到上手工作線路指導(about雲網路書籍)-about雲資源-about雲開發

15樓:樊超

權威指南的理論性完備性很強,還是很好,需要一看,當然如果想快速動手進入狀態,看看 hadoop開發者專刊或者他人的技術部落格是不錯的選擇,裡面告訴你一步步搭建自己的偽分布式系統,如何編譯原始碼,如何實驗hadoop自帶的程式,如何動手寫自己的第乙個mapreduce程式,用不了多久就能進入狀態了,在一邊看得過程中一邊學習原理,有問題可以檢視很多人的技術部落格,如果時間有空餘可以研究下hadoop原始碼,當然了,任何知識,都是要花時間來學習的。官方的guide手冊當然是最好的,也需要看看

零基礎該如何學習畫水彩?

是小舒呀 名瑪雅美術水彩班的學習大綱為 零基礎學員需要從素描開始學起,了解物體的明暗變化,然後進行簡單的水彩靜物繪畫學習,了解如何運用色彩來表現體積感,然後是水彩風景,和水彩頭像,學習各種水彩的表現技法,拓展自己的水彩表現能力,一般來說學到水彩靜物就可以說是水彩入門了。 梔子花的微笑 我是水彩和鉛筆...

零基礎如何學習哲學?

西決決決 末流大學哲學系在讀學生期末考之後終於活了過來。躺 按照哲學本科的教學進度來說,一般都是哲學概論 中 西哲學史,很多人也都建議並且認同這樣的從概論到細緻的學習方法。羅伯特 所羅門 大問題 和林欣浩 哲學家們都幹了些什麼 也都很有趣 而學校裡使用的教材或者是教授們都推薦的兩本哲學概論書,一本是...

零基礎如何學習abaqus?

行逢落花 不知道你的零基礎是指什麼,是有一定的有限元基礎了,還是完全是力學小白。ABAQUS軟體入門真的不難,圖書館裡參考書隨便選一本把上面的算例做了基本就算入門了,我看了教程一下午基本上就可以做我自己的算例了。如果入門之後想進一步深入的話,還是應該看自己需要什麼,ABAQUS功能強大,不可能什麼都...