事务
- 首先在sdbadmin用户下,
bin/sdbstop -p 11830; bin/sdbstop -p 11840
把每个服务器的两个数据分区组关闭 - 分别进入
conf/local/11830/sdb.conf
和conf/local/11840/sdb.conf
将transactionon=false改为true - 若不知道怎么配置conf文件,可以去conf/samples查看各个参数参考文件
- 重启两个数据分区组端口
bin/sdbstart -p 11830; bin/sdbstart -p 11840
命令行
尝试使用事务插入记录
db = new Sdb()
db.transBegin()
db.foo.bar.insert({name:'test', id:1})
成功,提交事务
db.transCommit()
db.transBegin()
db.foo.bar.insert({name:'test1', id:2})
db.transRollback()
事务回滚成功,插入无效
而且,如果事务没有最终提交,退出Shell的时候,也会插入无效
跨表事务
node-1:
db = new Sdb()
db.transBegin()
db.foo.bar.update({name:'test111', id:1})
node-2:
db = new Sdb()
db.transBegin()
db.foo.bar.update({name:'test222', id:1})
此时命令行会定住,因为此时有其他事务还没提交
node-1:
db.transCommit()
node-2:
此时update语句可以正常执行了,因为node-1的事务提交成功了
此时id=1的name=test222
db.transRollback()
此时id=1的name=test111
导出数据sdbexprt
命令行
bin/sdbexprt
参数
-
-c foo
选择一个CS(集合空间) -
-l bar
选择一个CL(集合) -
--type json
选择输出的文件类型(csv, json) -
--file test.json
输出的文件名 -
--fields "name, id"
选择需要输出的字段 -
--filter "{id: {\$lt:4} }"
过滤输出的数据,因为$符号在Shell中有特殊含义,所以使用\转义符 -
--sort "{id:-1}"
以id字段降序输出到文件中 -
-e "|"
将默认分隔符",“改为”|" -
--genconf export1.conf
生成配置文件 -
--cscl "foo.bar, foo.bar2, test.bar, test.bar2"
指定各个集合空间内的集合 -
--dir tmp
指定生成文件的目录 -
-j 1
默认为1,只用于导入数据时使用,给导入动作分配1个线程,做并发导入时,建议-j设置为协调节点的2~3倍 -
--coord true
是否自动连接每个协调节点 -
-n 1024
每1024条记录作为一个批次,写入到sdb中,当每条记录的数据量比较小的时候,可以把-n调大 -
-e \127\27
设置文件中的\127\27的ASCII值为记录分隔符 -
-r \27\10
设置文件中的\27\10的ASCII值为字段分隔符
命令行演示
bin/sdbexprt --genconf export.conf --cscl "foo.bar, test.bar2" --type csv --dir tmp
生成配置文件,使用配置文件而生成的文件存放到tmp目录
bin/sdbexprt --conf export.conf
根据配置文件,输出集合记录到tmp目录
导入数据sdbimprt
- 准备好结构文件 tmp/test.csv
bin/sdbimprt -c foo -l bar --file tmp/test.csv --fields "name string, id int" --headerline true
将tmp/test.csv导入到foo.bar中,字段分别为name,string类型,id,int类型。且文件中的第一行属于表的结构,应该忽略。- 导入成功后,可以看当前目录下的sdbimport.log看看有没有异常、error
- 若导入过程中,有某些行导入失败的话,会在当前目录下产生一个文件,名为:[集合空间名]_[集合名]_parse_[进程端口号].rec,其中存放着导入失败的行的数据
- 批量导入数据:比如tmp/data/目录下有多个csv文件,此时可以
bin/sdbimprt -c foo -l bar --file tmp/data/ --fields "name string, id int" --headerline true
名场景:当文件中的分隔符,为不可见符号(乱码),怎么办
tail -3 test.csv | od -An -t dC
输出文件最后三行数据的10进制ASCII码- 根据字段值对应的ASCII码,可以找出剩下的就是字段分隔符和记录分隔符
bin/sdbimprt -c foo -l bar --file tmp/test.csv --fields "name string, id int" --headerline false -e "\127\27" -r "\27\10"
文件中,有些记录会多出来几个字段,有些则没有,怎么办,想忽略某个字段导入呢?
test1,1
test2,2
test,3,12312312312
- 开启–extra true设置字段名,默认值,若一行记录没有这个字段,就会使用默认值
- 在不需要的字段后面添加 skip,即可忽略该字段
- 例:
bin/sdbimprt -c foo -l bar --file tmp/test.csv --fields "name string, id skip, phone string defaut 12345567" --headerline false -e "," -r"\n" --extra true