侧边栏壁纸
博主头像
与晚风述往事博主等级

万般皆下品,唯有读书高。

  • 累计撰写 149 篇文章
  • 累计创建 29 个标签
  • 累计收到 19 条评论

目 录CONTENT

文章目录

Hadoop常用Shell脚本

与晚风述往事
2022-01-09 / 0 评论 / 0 点赞 / 488 阅读 / 1,347 字 / 正在检测是否收录...
温馨提示:
本文最后更新于 2022-01-09,若内容或图片失效,请留言反馈。部分素材来自网络,若不小心影响到您的利益,请联系我们删除。

介绍

在管理Hadoop的过程中,可能会启动多个服务,可以参考此脚本写个一键启动,就不需要每次重新启动多个服务了。

脚本

转载于:bilibili尚硅谷大数据Hadoop 3.x

关闭启动集群脚本

该脚本是一个三个节点组成的集群的一键启动和关闭,这三个节点分别是:hadoop-85、hadoop-86和hadoop-87

#!/bin/bash

if [ $# -lt 1 ]
then
  echo "No Args Input..."
  exit;
fi

case $1 in
"start")
  echo "=============== 启动 hadoop 集群 ==============="

  echo "------------ 启动 hdfs ------------"
  ssh hadoop-85 "/opt/module/hadoop-3.3.1/sbin/start-dfs.sh"
	echo "------------ 启动 yarn ------------"
	ssh hadoop-86 "/opt/module/hadoop-3.3.1/sbin/start-yarn.sh"
  echo "------------ 启动 historyserver ------------"
	ssh hadoop-85 "/opt/module/hadoop-3.3.1/bin/mapred --daemon start historyserver"
;;
"stop")
	echo "=============== 关闭 hadoop 集群 ==============="

	echo "------------ 关闭 historyserver ------------"
	ssh hadoop-85 "/opt/module/hadoop-3.3.1/bin/mapred --daemon stop historyserver"
	echo "------------ 关闭 yarn ------------"
	ssh hadoop-86 "/opt/module/hadoop-3.3.1/sbin/stop-yarn.sh"
	echo "------------ 关闭 hdfs ------------"
	ssh hadoop-85 "/opt/module/hadoop-3.3.1/sbin/stop-dfs.sh"
;;
*)
  echo "Input Args Error..."
;;
esac

获取所有节点的服务状态

当集群的节点较多时,如果你想要查个各个节点的服务状态,可以参考此脚本写个自动获取所有节点的,如此就不必手动切换每个节点再查看hadoop集群的服务状态了。

#!/bin/bash

for host in hadoop-85 hadoop-86 hadoop-87
do
	echo "=============== $host ==============="
  ssh $host jps
done

0

评论区