看过网上一大堆的Java调用sqlldr在Linux上导入数据的博客,决定自己也写一篇,在他们的基础上,尽量把能遇到每一个问题都罗列并且解决。
正文如下:
首先,要了解sqldlr的特点以及必要条件:
特点:
sql loader (sqlldr) 是cmd下的命令,可以把一些以文本格式存放的数据导入到oracle数据库中,是一种在不同数据库之间进行数据迁移的简单实用的工具。缺点是数度相对与imp/exp较慢,另外,对于bolb等类型的数据,处理起来较为麻烦。
必要条件:
sqlldr的命令格式:
sqlldr username/password@database control=*.ctl log=*.log
其中,*.ctl文件的格式如下(注意:要严格注意空格(都为一个空格),不然利用java调用会报错):
LOAD DATA
CHARACTERSET ZHS16GBK //数据的字符编码
INFILE "D://TEST.TXT" //外部数据文件
INFILE "D://TEST1.TXT" //可指定多个数据文件
APPEND INTO TABLE TEST //向表中追加数据
FIELDS TERMINATED BY "|" //数据分隔符(外部文件的数据以“|”分隔)
OPTIONALLY ENCLOSED BY '"' //部分字段可以用双引号包起来
TRAILING NULLCOLS //表中的字段没有对应的值时填充空值
( ID, NAME, ... ) //插入到表中的字段
在使用过程中,可能遇到如下问题:
1.碰到报错:Cannot run program “sqlldr”: error=2, A file or directory in the path name does not exist
首先,要判断你执行命令的这台linux上存在sqlldr这个程序(其实是废话,不存在写什么代码),
其次,可能是因为在java中调用操作系统命令的时候,此配置文件没有加载造成的。
你可以在java代码中输出一下环境变量,方法如下:
//输出环境变量
Map<String, String> map = System.getenv();
for(Iterator<String> itr = map.keySet().iterator();itr.hasNext();){
String key = itr.next();
System.out.println(key + "=" + map.get(key));
}
看一下环境变量ORACLE_HOME是否为空、环境变量PATH中是否配置了sqlldr的路径
若没有,则有如下解决办法:
String dos = "sqlldr " + user + "/" + psw + "@" + dbname + " control=" + fileRoute + ctlfileName + " log=" + fileRoute + logfileName;
String[] cmd = {"/bin/sh","-c","echo $ORACLE_HOME;echo $LD_LIBRARY_PATH;$ORACLE_HOME/bin/"+dos };
Process process=Runtime.getRuntime().exec(cmd,new String[]{"ORACLE_HOME=/app/oracle/product/12.1.0/db"});
2.碰到报错:error while loading shared libraries: libevent-1.4.so.2: cannot open shared object file: No such file or directory
在报错中找到他缺失的*.so,然后用命令find -name libevent-1.4.so.2 ,找到该文件所在的目录,
将其添加到环境变量LD_LIBRARY_PATH中去,具体操作如下:
Process process=Runtime.getRuntime().exec(cmd,new String[]{"ORACLE_HOME=/app/oracle/product/12.1.0/db","LD_LIBRARY_PATH=/usr/local/lib:/app/oracle/product/12.1.0/db/lib:$LD_LIBRARY_PATH"});
3.碰到程序的 process.waitFor()返回值大于0
此时,可以写两个线程来解决,具体方法如下:
先将 Process process=Runtime.getRuntime().exec(...) 定义成final,以供内部类使用,其次一个线程处理InputStream,另外一个线程处理ErrorStream,代码如下:
final Process process=Runtime.getRuntime().exec();
// 处理InputStream的线程
new Thread() {
@Override
public void run() {
BufferedReader in = new BufferedReader(new InputStreamReader(process.getInputStream()));
String line = null;
try {
while ((line = in.readLine()) != null) {
System.out.println("output: " + new String(line.getBytes(), "UTF-8"));
}
} catch (IOException e) {
e.printStackTrace();
} finally {
try {
in.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}.start();
// 处理ErrorStream的线程
new Thread() {
@Override
public void run() {
BufferedReader err = new BufferedReader(new InputStreamReader(process.getErrorStream()));
String line = null;
try {
while ((line = err.readLine()) != null) {
System.out.println("err: " + new String(line.getBytes(), "UTF-8"));
}
} catch (IOException e) {
e.printStackTrace();
} finally {
try {
err.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}.start();
此外,我在开发初期,还碰到了如下的问题,以供大家参考(当然了,用以上方法之后是不会遇到下面的问题的。。):
在我碰到报错 Cannot run program “sqlldr”: error=2, A file or directory in the path name does not exist 的时候,我先百度到的方法如下:
String dos = sh -c export ORACLE_HOME=/app/oracle/product/12.1.0/db;$ORACLE_HOME/bin/sqlldr ...
这样子的话,直接放在linux上是可以执行成功的,但是利用java去调用,就只会执行分号之前的命令;
然后再次进行百度,将sh -c 后面的命令用单引号引起来,这样的方法同样直接放在linux上是可以执行成功的,但是利用java去调用,就会报如下错:
err: ORACLE_HOME=/app/oracle/product/12.1.0/db;$ORACLE_HOME/bin/sqlldr: -c:行0: 寻找匹配的 `'' 是遇到了未预期的文件结束符
err: ORACLE_HOME=/app/oracle/product/12.1.0/db;$ORACLE_HOME/bin/sqlldr: -c:行1: 语法错误: 未预期的文件结尾
然后,我将两句话分开执行,结果又回到了最初的错误,sqlldr的环境变量没有配置 (Cannot run program “sqlldr”)。
最后,附上完整的代码~~~
import java.io.BufferedReader;
import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.Iterator;
import java.util.Map;
import org.apache.log4j.Logger;
public class SqlldrIntfChnJf {
private Logger logger = Logger.getLogger(SqlldrIntfChnJf.class);
/**
* 数据入库
*/
public void sqlldrIntfChnJf(String tableCode, String type_id, String day_id, String dir_id) {
DcInterfaceLog resultLog = new DcInterfaceLog();//我自己的日志类,可以删除,也可以自己写,以供数据库存日志使用
FtpService fs = new FtpService();
resultLog.setErrorMessage("入库失败");
resultLog.setIsError("1");
resultLog.setInterfaceCode(tableCode);
try {
String file_path = "/app/channelftp/datafile/bass/";// 文件路径
String file_name = "re_a" + type_id + "_" + day_id + "_000000.AVL";// 数据文件名
String tableName = tableCode;// 表名
String fieldName = "(STATIS_DAY,LB_ID,UPP_AREA_CODE,AREA_CODE,DISTRICT_ID,CHANNEL_ID,BUSI_TYPE,LB_NAME,VALUE,IS_FLAG)";// 要写入表的字段
String ctlfileName = "re_a" + type_id + "_" + day_id + "_000000.ctl";// 控制文件名
String log_fileName = "re_a" + type_id + "_" + day_id + "_000000.log";// 日志文件名
File ctlfile = new File(file_path + ctlfileName);
if (!ctlfile.exists()) {// 如果文件不存在
try {
ctlfile.createNewFile();
} catch (IOException e) {
e.printStackTrace();
}
}
File logfile = new File(file_path + log_fileName);
if (!logfile.exists()) {// 如果文件不存在
try {
logfile.createNewFile();
} catch (IOException e) {
e.printStackTrace();
}
}
stlFileWriter(file_path, file_name, tableName, fieldName, ctlfileName);
File mkdirpath = new File(file_path + "bakval_" + dir_id);
if (!mkdirpath.exists()) {// 如果文件夹不存在
mkdirpath.mkdir();
}
// 要执行的DOS命令
String username = "intf";
String password = "Intf123#";
String dbname = "crmcxdb";
Executive(username, password, dbname, file_path, ctlfileName, mkdirpath.getAbsolutePath(), file_name,
log_fileName);
resultLog.setErrorMessage("文件入库成功");
resultLog.setIsError("0");
fs.WriteResultLog(resultLog);
} catch (Exception e) {
resultLog.setErrorStackInfo("文件入库失败," + e);
fs.WriteResultLog(resultLog);
}
}
/**
* * 写控制文件.ctl
*
* @param fileRoute
* 数据文件地址路径
* @param fileName
* 数据文件名
* @param tableName
* 表名
* @param fieldName
* 要写入表的字段
* @param ctlfileName
* 控制文件名
*/
public void stlFileWriter(String fileRoute, String fileName, String tableName, String fieldName,
String ctlfileName) {
FileWriter fw = null;
String strctl = "LOAD DATA\r\n"
+ "CHARACTERSET ZHS16GBK\r\n"
+ "INFILE '" + fileRoute + fileName + "'\r\n"
+ "APPEND INTO TABLE " + tableName + "\r\n"
+ "FIELDS TERMINATED BY '|'\r\n"
+ "TRAILING NULLCOLS\r\n"
+ fieldName;
try {
logger.info(fileRoute + "" + ctlfileName);
fw = new FileWriter(fileRoute + "" + ctlfileName);
fw.write(strctl);
} catch (IOException e) {
e.printStackTrace();
} finally {
try {
fw.flush();
fw.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
/**
* 调用系统DOS命令
*
* @param user
* @param psw
* @param Database
* @param fileRoute
* 文件路径
* @param ctlfileName
* 控制文件名
* @param logfileName
* 日志文件名
*/
public void Executive(String user, String psw, String dbname, String fileRoute, String ctlfileName,
String mkdirpath, String file_name, String logfileName) {
// 要执行的DOS命令
String dos = "sqlldr " + user + "/" + psw + "@" + dbname + " control=" + fileRoute + ctlfileName
+ " log=" + fileRoute + logfileName;
String[] cmd = {"/bin/bash","-c","echo $ORACLE_HOME;echo $LD_LIBRARY_PATH;$ORACLE_HOME/bin/"+dos };
try {
//输出环境变量
Map<String, String> map = System.getenv();
for(Iterator<String> itr = map.keySet().iterator();itr.hasNext();){
String key = itr.next();
System.out.println(key + "=" + map.get(key));
}
//给文件赋权为777
Runtime.getRuntime().exec("chmod 777 -R " + fileRoute + "" + file_name);
Runtime.getRuntime().exec("chmod 777 -R " + fileRoute + "" + ctlfileName);
Runtime.getRuntime().exec("chmod 777 -R " + fileRoute + "" + logfileName);
//执行sqlldr命令
//final Process process = Runtime.getRuntime().exec("bash -c export ORACLE_HOME=/app/oracle/product/12.1.0/db;echo \"测试打印输出\"");
final Process process=Runtime.getRuntime().exec(cmd,new String[]{"ORACLE_HOME=/app/oracle/product/12.1.0/db","LD_LIBRARY_PATH=/usr/local/lib:/app/oracle/product/12.1.0/db/lib:$LD_LIBRARY_PATH"});
// 处理InputStream的线程
new Thread() {
@Override
public void run() {
BufferedReader in = new BufferedReader(new InputStreamReader(process.getInputStream()));
String line = null;
try {
while ((line = in.readLine()) != null) {
System.out.println("output: " + new String(line.getBytes(), "UTF-8"));
}
} catch (IOException e) {
e.printStackTrace();
} finally {
try {
in.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}.start();
// 处理ErrorStream的线程
new Thread() {
@Override
public void run() {
BufferedReader err = new BufferedReader(new InputStreamReader(process.getErrorStream()));
String line = null;
try {
while ((line = err.readLine()) != null) {
System.out.println("err: " + new String(line.getBytes(), "UTF-8"));
}
} catch (IOException e) {
e.printStackTrace();
} finally {
try {
err.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}.start();
int exitValue = process.waitFor();
//如果返回值等于0,则表示入库成功,然后将已经入库的文件移走(即备份到其他地方),将.ctl和.log文件删除
if (exitValue == 0) { File startFile = new File(fileRoute + file_name); mkdirpath = mkdirpath.endsWith("/") ? mkdirpath : mkdirpath + "/"; startFile.renameTo(new File(mkdirpath + startFile.getName())); File controlFile = new File(fileRoute + ctlfileName); if (controlFile.exists()) { controlFile.delete(); } File logFile = new File(fileRoute + logfileName); if (logFile.exists()) { logFile.delete(); } logger.info("数据导入成功"); } else { logger.info("数据导入失败"); } } catch (Exception e) { logger.info("数据导入失败"); e.printStackTrace(); } finally { } }}
以上总结的问题应该是大家开发过程中能碰到的所有问题了,希望与网上其他的文章相比,能尽量的帮助大家解决问题!
此外,欢迎大佬们做出评价、提出更好的建议~~