从Flink 1.11开始,flink-shaded-hadoop-2-uberFlink项目不再正式支持使用发行版。
如果想建立flink-shaded对供应商特定的Hadoop版本,您必须首先描述配置特定供应商的Maven仓库在本地Maven安装在这里。
运行以下命令以flink-shaded针对所需的Hadoop版本(例如对于version 2.6.5-custom)进行构建和安装:
mvn clean install -Dhadoop.version=2.6.5-custom
完成此步骤后,将flink-shaded-hadoop-2-uber jar放入/libFlink分发目录中。
Flink1.11编译Hadoop2.7.2
- 1. 下载/flink-shaded
- 2. 解压至linux
- 3. 进入flink-shaded-hadoop-2-parent,修改pom
- 4. 进入flink-shaded-hadoop-2 修改pom
- 5.进入flink-shaded-hadoop-2-uber 修改pom
- 6. 返回进入flink-shaded-release-10.0下 修改pom
- 7. 配置完毕,运行前提是需要linux配置maven
- 8. 返回进入flink-shaded-release-10.0下 执行编译
- 9. 找到jar 放入flinke1.11的lib下
- 10. 完毕 我把我的jar链接放下面,需要帮到大家的给个赞顺便关注一下
1. 下载/flink-shaded
前往git 下载/flink-shaded 下载relese-10.0 因为10.0是包含hadoop-bin的,1.11 不包含hadoop
https://github.com/apache/flink-shaded.git
2. 解压至linux
3. 进入flink-shaded-hadoop-2-parent,修改pom
cd /opt/module/flink-shaded-release-10.0/flink-shaded-hadoop-2-parent
vi pom.xml
改成自己的hadoop版本 然后保存退出
4. 进入flink-shaded-hadoop-2 修改pom
cd flink-shaded-hadoop-2
vi pom.xml
将jar版本改为1.11 然后保存退出
5.进入flink-shaded-hadoop-2-uber 修改pom
cd flink-shaded-hadoop-2-uber/
vi pom.xml
将jar版本改为1.11 然后保存退出
如果没有这两个配置 请添加
<dependencies>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-shaded-hadoop-2</artifactId>
<version>${hadoop.version}-11.0</version>
</dependency>
<dependency>
<groupId>commons-cli</groupId>
<artifactId>commons-cli</artifactId>
<version>1.3.1</version>
</dependency>
</dependencies>
6. 返回进入flink-shaded-release-10.0下 修改pom
这一步前面忘了修改 这里补上
cd flink-shaded-release-10.0/
vi pom.xml
这里其实也没啥 添加阿里云镜像就可以 快
<profile>
<id>vendor-repos</id>
<activation>
<property>
<name>vendor-repos</name>
</property>
</activation> <!-- Add vendor maven repositories -->
<repositories> <!-- Cloudera -->
<repository>
<id>cloudera-releases</id>
<url>https://maven.aliyun.com/repository/central</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>false</enabled>
</snapshots>
</repository>
</repositories>
</profile>
7. 配置完毕,运行前提是需要linux配置maven
如果你还没有配置maven,可以参考这篇文章
Linux下安装maven环境,并测试使用
扫描二维码关注公众号,回复:
11596291 查看本文章
如果你有配置maven 请继续下一步
8. 返回进入flink-shaded-release-10.0下 执行编译
```
mvn clean install -DskipTests -Dhadoop.version=2.7.2 -Drat.skip=true
```
全程没ERROR 就是成功
9. 找到jar 放入flinke1.11的lib下
cd flink-shaded-release-10.0/
vi pom.xml
cp flink-shaded-hadoop-2-uber-2.7.2-11.0.jar /opt/module/flink-1.11.1/lib/