scp与rsync性能实测

在多台机器之间复制大量小文件,对比scp/rsync。

功能对比

排除文件、文件夹功能

scp  没有找到

rsync 可以通过 --exclude选项排除文件、文件夹


性能对比

# 大小
[root@v125008243 source]# du -hs *
198M    xxx

# 数量
[root@v125008243 source]# find . | wc -l
19776

# scp时间
[root@v125008243 source]# ssh [email protected] "rm -rf /opt/source"
[root@v125008243 source]# start=`date +%s`;scp -r /opt/source/* [email protected]:/opt/source > /dev/null; echo $[`date +%s` - $start]
141

# rsync时间
[root@v125008243 source]# ssh [email protected] "rm -rf /opt/source"
[root@v125008243 source]# start=`date +%s`;rsync -avzPq /opt/source/* [email protected]:/opt/source; echo $[`date +%s` - $start]
10
[root@v125008243 source]# ssh [email protected] "du -hs /opt/source"
198M    /opt/source

# rsync排除svn文件夹时间
[root@v125008243 source]# ssh [email protected] "rm -rf /opt/source"
[root@v125008243 source]# start=`date +%s`;rsync -avzPq --exclude=".svn" /opt/source/* [email protected]:/opt/source; echo $[`date +%s` - $start]
4
[root@v125008243 source]# ssh [email protected] "du -hs /opt/source"
83M     /opt/source


可以看到,rsync在大量小文件的情况下,速度要比scp快很多,大约只需要7%的时间。
还可以通过文件过滤的方式,减少传输量,进一步提升速度。

猜你喜欢

转载自tinyhema.iteye.com/blog/2107158