快速传输大批量数据（tar+lz4+pv+ssh）
服务器之间传输数据平时常使用的命令如scp、rsync这两个，一些小的文件或目录这两个命令足以搞定，但是一旦数据几十上百G，这样传输就有些慢了。
前两天做远程数据传输的时候，用scp命令始终感觉有点慢，就google了一下，发现了一个更好用的传输方式：tar+lz4+pv+ssh。
-
LZ4是一个非常快的无损压缩算法，压缩速度在单核300MB/S，可扩展支持多核CPU。它还具有一个非常快速的解码器，速度单核可达到和超越1GB/S。通常能够达到多核系统上的RAM速度限制。
-
PV 由Andrew Wood 开发，是 Pipe Viewer 的简称，意思是通过管道显示数据处理进度的信息。这些信息包括已经耗费的时间，完成的百分比（通过进度条显示），当前的速度，全部传输的数据，以及估计剩余的时间。 "要使用 PV，需要配合合适的选项，把它放置在两个进程之间的管道。命令的标准输入将会通过标准输出传进来的，而进度会被输出到标准错误输出。” 利用它我们可以查看到命令执行的进度。
网上也找了一段命令实例：
time tar -c sendlog/|pv|lz4 -B4|ssh -c arcfour128 \ -o"MACs [email protected]" 10.xxx.xxx.36 "lz4 -d |tar -xC /u01/backup_supu"
3.91GiB 0:00:16 [ 249MiB/s] real 0m16.067s user 0m15.553s sys 0m16.821s
249MB/s，妥妥的。是最原始scp(40MB/s)的6倍，原来400GB传输需要约3小时，现在只需要27分钟了。
开始自我实践，首先服务器（centos）上安装pv和lz4命令。
- yum install pv
- yum install lz4
- 最后都Complete!
自我小小测试下，200M传输3分钟，其实还是很慢，没办法因为是外网之间传输，如果换成内网，那就so 快了。
root@server05 ~/apps/deploy-serving$ time tar -c 2018-10-31-19-34-10/ |pv|lz4 -B4| ssh server08 "lz4 -d |tar -xC /root/apps/shell" 2 ↵
tput: No value for $TERM and no -T specified
tput: No value for $TERM and no -T specified
195MiB 0:03:46 [ 885kiB/s] [ <=> ]
tar -c 2018-10-31-19-34-10/ 0.04s user 0.33s system 0% cpu 3:46.34 total
pv 0.06s user 0.28s system 0% cpu 3:46.34 total
lz4 -B4 1.02s user 0.14s system 0% cpu 3:46.37 total
ssh picooc08 "lz4 -d |tar -xC /root/apps/shell" 0.81s user 0.27s system 0% cpu 3:49.12 total
root@server05 ~/apps/deploy-serving$
小小总结一下：
- 远程传输文件，如果是局域之间能用内网用内网。
- 使用lz4压缩方式，本机和远程服务器上都需要安装。
- lz4解压的目录必须是已经存在的。比如上面的：/root/apps/shell
- 小文件，用scp就够了，不用压缩传输解压，毕竟压缩解压也是耗费cpu的。