以本地方式运行mapreduce程序的参数配置

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zhblanlan/article/details/82081991

方式一

在本地运行提交job的mapreduce程序的客户端


        // 在代码中设置JVM系统参数,用于给job对象来获取访问HDFS的用户身份
        System.setProperty("HADOOP_USER_NAME", "root");
        Configuration conf = new Configuration();
        // 设置job运行时要访问的默认文件系统
        conf.set("fs.defaultFS", "hdfs://hdp-01:9000");
        // 设置job提交到哪去运行
        conf.set("mapreduce.framework.name", "yarn");
        // 设置resourcemanager的主机名
        conf.set("yarn.resourcemanager.hostname", "hdp-01");
        // 创建一个任务对象
        Job job = Job.getInstance(conf);
        // 设置jar包的所在的本地磁盘位置
        job.setJar("/Users/zhblanlan/Desktop/wordcount.jar");

注意:设置jar包所在位置的时候,在本地磁盘路径要先导出相应的jar包。

方式二

以本地方式运行mapreduce程序

        // 在代码中设置JVM系统参数,用于给job对象来获取访问HDFS的用户身份
        System.setProperty("HADOOP_USER_NAME", "root");
        Configuration conf = new Configuration();
        // 设置job运行时要访问的默认文件系统为:本地
        conf.set("fs.defaultFS", "file:///");
        // 设置job提交到本地运行
        // conf.set("mapreduce.framework.name", "local");
        // 设置resourcemanager的主机为:本地
        conf.set("yarn.resourcemanager.hostname", "0.0.0.0");
        // 创建一个任务对象
        Job job = Job.getInstance(conf);
        // 设置jar包的所在位置
        job.setJarByClass(WordCountMain.class);

方式三
即可以本地方式运行也可以在hadoop集群机器上运行(使用的默认的参数)

Configuration conf = new Configuration();
Job job = job.getInstatnce(conf);

// 本地运行提交job的客户端程序(适用于win)
// 设置跨平台参数为:true;因为在win(F:\\test.txt)下的路径方式和linux(/root/test.txt)路径方式不同
conf.set("mapreduce.app-submission.cross-platform “,"true");

提交到hadoop集群机器上运行需要hadoop jar xxx.jar 主类的全类名 输入路径 输出路径

猜你喜欢

转载自blog.csdn.net/zhblanlan/article/details/82081991