前言
hive表之前被TRUNCATE 后再次链接就出现报错
解决办法
这个 IllegalStateException 异常通常是 Spark Structured Streaming 在访问 Spark metadata 时产生的。
一些可能的原因:
- metadata 路径不存在或者不可访问,例如 dbfs:/user/hive/warehouse/zcw_cr/_spark_metadata/0
- 当 checkpoint 目录被删除或者移动后,Structured Streaming无法找到正确的元数据信息
- Structured Streaming 中的 compaction 策略配置错误,导致老的数据被错误删除
- 不同的 Structured Streaming query 之间共享了同一个 checkpoint 目录,造成 metadata 冲突
- Structured Streaming 升级至新版本后,老版本的 metadata 可能不兼容
为了解决这个问题,可以尝试:
- 确认 metadata 路径存在并可访问
- 不要手动删除或修改 checkpoint 目录
- 调整 compaction 策略,例如增加 compactionInterval 值
- 每个 query 使用独立的 checkpoint 目录
- 重新运行 query,让 Structured Streaming 重新生成 metadata
- 将 Structured Streaming 升级至最新版本
- 必要时,可以删除 checkpoint 目录,并重新启动 query
- 检查不同 query 之间的 checkpoint 目录配置是否冲突
总之,要确保 metadata 的保存路径是正确和可访问的,并且避免手动删除或修改该路径的数据。