在线时间:8:00-16:00
迪恩网络APP
随时随地掌握行业动态
扫描二维码
关注迪恩网络微信公众号
开源软件名称:Scavenger开源软件地址:https://gitee.com/wangjiankui/Scavenger开源软件介绍:#Scavenger #wiki #使用背景: Hadoop 集群中会运行很多个Job, Job可能来源于MR脚本、Hive SQL 、Pig 脚本等, 最初公司的集群没有管理Job, 有些mapper数过大的Job会抢占所有的资源,造成其他Job进程的阻塞。而最初都是看JobTracker(50030)时发现再人工kill, 非常不够智能。所以就有了本项目的设想,监控JobTracker上的job,发现超过设定好的最大Mapper数或最长时间则kill 掉,然后邮件报告出来。 #其他:
test0722:我是新来的打工小妹 |
请发表评论