利用sqoop导出数据到mysql:
eg. dw_pvs_everyday
DROP TABLE IF EXISTS `dw_pvs_everyhour_oneday`;
CREATE TABLE `dw_pvs_everyhour_oneday` (
`month` varchar(32) DEFAULT NULL,
`day` varchar(32) DEFAULT NULL,
`hour` varchar(32) DEFAULT NULL,
`pvs` varchar(32) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
bin/sqoop export --connect jdbc:mysql://node03:3306/weblog --username root --password root -m 1 --export-dir /user/hive/warehouse/weblog.db/dw_pvs_everyday --table dw_pvs_everyday --input-fields-terminated-by '\001';
工作流的调度工作:
程序调度一共分为以下步骤:
第一步:第一个MR程序执行
第二步:第二个MR程序执行
第三步:第三个MR程序执行
第四步:hive表数据加载
第五步:hive表数据分析
第六步:分析结果通过sqoop导出