hadoop和hbase監控有那些比較好的工具或實踐嗎?

時間 2021-05-29 22:23:00

1樓:庚帥博午內靣

說說我們公司的情況,因為JMX裡的那些指標已經基本夠用,所以只需要hadoop開啟JMX,然後通過jmxtrans把指標打到graphite,然後通過grafana前端觀察資料,裡面有豐富的函式,自己想怎麼玩都行。

2樓:北龍

可以用OpenTSDB 試一下,社群中正在進行對OpenTSDB的支援,具體JIRA

[HADOOP-10672] Add support for pushing metrics to OpenTSDB

hortonworks 公司的Ambari 也正在用OpenTSDB 取代Ganglia

[AMBARI-5707] Replace Ganglia with high performance and pluggable Metrics System

3樓:薄荷腦

省事一些可以裝CDH,裡面自帶了Hue等監控工具,可以看到集群及各節點的狀況。

Hadoop對Ganglia有原生支援,可以輸出專供Ganglia讀取的各類指標,用於展示和監控。

對於其他監控工具如Zabbix、Cacti、Nagios,可以自行編寫指令碼解析Hadoop的狀態頁面。

Sun Grid Engine 和 hadoop 是什麼關係?

老程式設計師 我司大規模使用SGE 現在開源的叫UGE 啊,也不是什麼超級計算機,就是計算能力比較高的計算機吧,其實這個不是必須的,就算你家裡的計算機一樣可以加入UGE作為乙個節點的,我們主要用來跑nightly regression,大概2000臺的規模,以前裡面有HP,IBM,LINUX,SUN...

Hadoop和Spark有什麼區別

姬不鬧 對比不恰當。應該去關注hove和spark的區別。不完整的比喻,hadoop是鐵軌,上面跑綠皮車hive和跑高鐵spark有區別。而不應該問鐵軌和高鐵有什麼區別。 windofjava 誕生的先後順序,hadoop屬於第一代開源大資料處理平台,而spark屬於第二代 屬於下一代的spark肯...

hadoop和大資料的關係?和spark的關係?

我要來裝b了 hadoop生態提供了一些解決大資料問題的元件 分布式儲存系統HDFS 提供高可靠性,高擴充套件性,高吞吐率的資料儲存服務 分布式計算框架MapReduce 高容錯,高擴充套件 資源管理系統YARN 資源管理,任務排程 還有其他亂七八糟的什麼zookeeper hbase ambari...