定时分割文件脚本

一、序言

这里有个任务，通过每天用户的登录日志文件，对固定信息进行切割，然后保存到新的文件，并上传到另外的服务器进行处理。

二、日志信息：

当天的日志文件名：webapp-login.log

日志主要内容：

[INFO ] [16:09:31] LOGIN - 张三(803521136) - pramms_xxxxxxxxx
[INFO ] [16:09:35] LOGIN - 李四(803521136) - pramms_xxxxxxxxx
[INFO ] [16:09:35] LOGIN - ERROR - 王五(803521136) - pramms_xxxxxxxxx
[INFO ] [17:09:31] LOGIN - 张三(803521136) - pramms_xxxxxxxxx

三、命令执行过程如下：

1.找到当天文件 :

cat /log/webapp-login.log

2.找到含有 LOGIN 并不含有 ERROR 的信息

grep "LOGIN" | grep -v "ERROR"

3.按“ - ” 进行分割，找到获取第二组文字信息,注意加空格

awk -F ' - ' '{print $2}'

会得到这样的我字符串：张三(803521136)

4.同理按"(" 分割，获取第一组字符串

awk -F '(' '{print $2}'

得到：张三

5.默认排序

sort

6.同行统计：排序后，可以连续出现过几次，表示一天登录过几次

uniq -c

得到：2 张三

7. 按出现次数大到小排除，并输出到当前loginInfo 目录文件

sort -nr >> ./loginInfo/loginfo.info

该命令完整如下：

cat /log/webapp-login.log  | grep "LOGIN" | grep -v "ERROR" | awk -F ' - ' '{print $2}' | awk -F '(' '{print $1}' | sort | uniq  -c|sort -nr >> login.info

文件结果如下：

 2  张三
 1  李四

四、我们要定时执行这个脚本，脚本命名为：createLoginInfo.sh

1进入文件目录,遍历该文件

#!/bin/bash
# 描述： 统计用户登录信息
# 作者：xxx
# 时间：2015-03-05


# 创建个函数
function uplodaLoginInfo(){
      # 进入文件目录
      cd /log
      #遍历文件,这里用ls 可以遍历N个文件，例子只有一个
      for file in 'ls weapp-login.log '
      # 执行
      do
      # 输出文件变量名
      echo $file
      date=`date '+%Y-%m-%d'`
      # 文件拆分
      cat /log/webapp-login.log  | grep "LOGIN" | grep -v "ERROR" | awk -F ' - ' '{print $2}' | awk -F '(' '{print $1}' | sort | uniq  -c|sort -nr >> ./loginInfo/login.info

      # 上传到某个域名下的服务器
      # curl 下面单独写，不需要可以不用
      
    done
    echo "uploadWeb4Log done";
}
# 建一个目录
mkdir -p loginInfo

五、 shell 模拟表单提交

#命令：
curl 
# 参数文件路径 $file 是上面你的文件变量名
-F "file=@loginInfo/"$file".info" 
# 参数日期
-F "date="$date 
# 参数密码
-F "password=web4" 
# 参数名字
-F "name=admin"
# 参数文件名
-F "filename="$file".info"
# 请求的地址
http://www.xxxx.xxx.getFile

六、定时任务

用的基本的crontab -e 打开，基本的cron 表达式的

假设每分钟执行一次命令：

* * * * * createLoginInfo.sh

小结：

1.linux 命令不熟悉，如有错误请指出，这里仅仅记录下基本的

2.关于文件分割以及 curl 的强大命令，比较多，下面贴一些我参考的东西

-- awk 命令

http://blog.chinaunix.net/uid-23302288-id-3785105.html

-- sort 命令

http://www.2cto.com/os/201304/203309.html

-- curl 命令

http://www.aiezu.com/system/linux/linux_curl_syntax.html

-- crontab

http://www.jb51.net/LINUXjishu/19905.html

定时分割文件脚本

猜你喜欢