一、简单介绍

Dr.elephant是一款对Hadoop和Spark任务进行性能监控和调优的工具

• 官方介绍
• github地址
• 安装文档(Must-Read)

二、安装中注意的问题

1、编译失败，测试用例通不过

可把 test 删了，再重新编译

2、初始化时，执行mysql建表语句，索引长度太长报错

报错信息：Specified key was too long; max key length is 3072 bytes
解决方法（减少索引长度）：

# vim ~/dr-elephant-2.1.7/conf/evolutions/default/1.sql

create index yarn_app_result_i4 on yarn_app_result (flow_exec_id(100));
create index yarn_app_result_i5 on yarn_app_result (job_def_id(100));
create index yarn_app_result_i6 on yarn_app_result (flow_def_id(100)); 

# vim ~/dr-elephant-2.1.7/conf/evolutions/default/5.sql
CREATE TABLE IF NOT EXISTS flow_definition (
 ...
  UNIQUE KEY flow_definition_u1 (flow_def_id(100))
) ENGINE=InnoDB AUTO_INCREMENT=10000;

CREATE TABLE IF NOT EXISTS job_definition (
  ...
  UNIQUE KEY job_definition_u1 (job_def_id(100)) ,
) ENGINE=InnoDB AUTO_INCREMENT=100000;

create index index_je_job_exec_id on job_execution (job_exec_id(100));
create index index_je_job_exec_url on job_execution (job_exec_url(100)); 

三、页面展示

待优化JOB提醒

待优化的数据详情 （最大使用内存 539M，但是申请了4G的内存）

4、具体测量指标定义

hadoop作业监控dr-elephant启发式算法详解