Spark加载HDFS parquet数据,批量插入HBASE例子及一个问题优化 - 代码天地

Spark加载HDFS parquet数据,批量插入HBASE例子及一个问题优化

企业开发 2023-10-04 23:58:14 阅读次数: 0

场景

HDFS上存储了大量的parquet文件，我需要抽取其中几个字段存储到HBASE里。
中间出现了一个问题，应该是一次批量提交的数据量太多了，所以一直卡着，提示：
INFO AsyncRequestFutureImpl: #3, waiting for 172558 actions to finish on table:
网上没找到怎么解决，最后自己优化了一下代码解决了

代码

主函数:HBase2HDFSLocalTest


import org.apache.spark.sql.{
   
    
    DataFrame, SparkSession}
import org.apache.spark.sql<

猜你喜欢

转载自blog.csdn.net/lwb314/article/details/123873783

Spark加载HDFS parquet数据,批量插入HBASE例子及一个问题优化

从hbase加载数据到hdfs

Spark中加载本地（或者hdfs）文件以及 spark使用SparkContext实例的textFile读取多个文件夹(嵌套)下的多个数据文件

Hive从HDFS中加载数据

加载HDFS系统上的输入法词库并使用spark集群进行过滤,转换,合并,生成最终预处理结果数据集

spark 读取 hdfs 数据分区规则

Spark读取HDFS数据分区参考

spark读取hdfs上的json数据

spark读取hdfs数据spark分区数是多少？

spark 数据的加载和保存（Parquet、JSON、CSV、MySql）

Spark 数据的加载和保存

spark优化——依赖包传入HDFS_spark.yarn.jar和spark.yarn.archive的使用

Spark、HDFS、YARN、Zookeeper、Kafka、Hive、HBase等原理详解

大数据Doris（三十七）：Spark Load导入HDFS数据

spark运行时加载hive，hdfs配置文件

Intellj IDEA +SBT + Scala + Spark Sql读取HDFS数据

Kafka+Spark streaming读取数据存hdfs

Spark SQL load hdfs数据报错解决方法

用docker搭建Hadoop/Spark/HDFS大数据环境

Idea用spark读取hdfs上数据遇坑

spark (4)spark-shell 读写hdfs 读写redis 读写hbase

Apache Spark：了解Apache Spark，Hadoop Distributed File System (HDFS)，Cassandra、HBase等

java调用spark+hdfs计算的一个小demo

spark加载文件路径问题

hive on spark配置加载失败问题分析

Spark 学习（4）数据加载与存储

Spark SQL 的数据加载与保存(load , save)

使用spark bulkload加载海量数据到hbase

spark-submit时上传spark依赖到hdfs时间较长问题解决

HDFS+Spark(Hive On Spark)+Flume/Shell架构进行大数据分析

今日推荐

AI小程序有哪些？AI小程序哪个好用？微信小程序AI写作叫什么？免费的ai小程序推荐 ai写作小程序推荐

灵办AI工具(科研学术,代码编程,学习辅导,图书报告)功能介绍

Linux内核源码分析（非常详细）零基础入门到精通，收藏这一篇就够了

【C++篇】启航——初识C++（上篇）

数据飞轮崛起：数据中台真的过时了吗？

828华为云征文——使用Flexus云服务器X实例CentOS镜像下创建MySQL服务器教程

阿里巴巴出品的6款AI神器，你用过几个？

【机器学习】多模态AI——融合多种数据源的智能系统

HashiCorp 创始人向 Zig 软件基金会捐赠 30 万美元

1-8 月我国软件业务收入 85492 亿元，同比增长 11.2%

零基础入门鸿蒙开发 HarmonyOS NEXT星河版开发学习

豆包MarsCode帮我2小时完成Go语言系统从开发、测试到部署全流程最佳实践，云IDE迁移PHP企业级项目最佳实践

周排行

Ubuntu+apache2+php5+mysql+phpmyadmin的php环境搭建

基于YOLOv3+Kalman-Filter实现Multi-target tracking

解释C++实例化类的指针类型中的new

苹果手机页面不兼容问题——mui

Python基础语法

javascript学习笔记一【预解释】

python内置函数 map

【Git】使用webstorm操作git

this与super关键字（一）

python list 使用技巧

每日归档

更多

2024-10-04(63)

2024-10-03(2)

2024-10-02(60)

2024-10-01(0)

2024-09-30(0)

2024-09-29(0)

2024-09-28(4)

2024-09-27(60)

2024-09-26(0)

2024-09-25(0)