shell 获取log中指定日期的日志并做导出

先穿插一下日期的类型！！！

时间方面：
% : 印出 %
%n : 下一行
%t : 跳格
%H : 小时(00..23)
%I : 小时(01..12)
%k : 小时(0..23)
%l : 小时(1..12)
%M : 分钟(00..59)
%p : 显示本地 AM 或 PM
%r : 直接显示时间 (12 小时制，格式为 hh:mm:ss [AP]M)
%s : 从 1970 年 1 月 1 日 00:00:00 UTC 到目前为止的秒数
%S : 秒(00..61)
%T : 直接显示时间 (24 小时制)
%X : 相当于 %H:%M:%S
%Z : 显示时区
日期方面：
%a : 星期几 (Sun..Sat)
%A : 星期几 (Sunday..Saturday)
%b : 月份 (Jan..Dec)
%B : 月份 (January..December)
%c : 直接显示日期与时间
%d : 日 (01..31)
%D : 直接显示日期 (mm/dd/yy)
%F : 直接显示日期 (YYYY-mm-dd)
%T : 直接显示时间 (hh:mm:ss)
%h : 同 %b
%j : 一年中的第几天 (001..366)
%m : 月份 (01..12)
%U : 一年中的第几周 (00..53) (以 Sunday 为一周的第一天的情形)
%w : 一周中的第几天 (0..6)
%W : 一年中的第几周 (00..53) (以 Monday 为一周的第一天的情形)
%x : 直接显示日期 (mm/dd/yy)
%y : 年份的最后两位数字 (00.99)
%Y : 完整年份 (0000..9999)

思路：

简单将就是grep指定之日期，日期做for循环。

遇到问题：

1.日期天数问题，可以以当前日期为基数,date -d

2.日期格式问题，date +%加日志中日期格式进行定义

（如：2022-01-01再或者01/Jan/2022或Jan 01, 2022）

3.日志中日期月份，英文替换为数字，sed 替换（暂时没有想到更换的解决方法！如果有for或while更好的方法请留言，谢谢）

第一种情况：日志时间格式单一，使用替换（日志较小时，可以使用！）

cat /var/log/test.log

#临时范例 
182.119.250.244 - [31/Jan/2021:01:27:50 +0800] "POST 01.php 182.119.250.244 - [31/Feb/2021:02:27:50 +0800] "POST 02.php 182.119.250.244 - [31/Mar/2021:03:27:50 +0800] "POST 03.php 182.119.250.244 - [31/Apr/2021:04:27:50 +0800] "POST 04.php 182.119.250.244 - [31/May/2021:21:27:50 +0800] "POST 05.php 182.119.250.244 - [31/Jun/2021:21:27:50 +0800] "POST 06.php 182.119.250.244 - [31/Jul/2021:21:27:50 +0800] "POST 07.php 182.119.250.244 - [31/Aug/2021:21:27:50 +0800] "POST 08.php 182.119.250.244 - [31/Sept/2021:21:27:50 +0800] "POST 09.php 182.119.250.244 - [31/Oct/2021:21:27:50 +0800] "POST 10.php 182.119.250.244 - [31/Nov/2021:21:27:50 +0800] "POST 11.php 182.119.250.244 - [25/Dec/2021:21:27:29 +0800] "POST 12.php 182.119.250.244 - [30/Dec/2021:21:27:30 +0800] "POST 12.php 182.119.250.244 - [30/Dec/2021:21:27:55 +0800] "POST 12.php 182.119.250.244 - [31/Dec/2021:21:27:31 +0800] "POST 12.php

shell脚本如下

#!/bin/bash
echo -e "\e[33m 此脚本为获取log文件中，指定天数内的日志，并做导出 \e[0m"
echo -e "\e[33m 查询1天内，就是当天！  查询2两天内，就是昨天和今天！\e[0m"
echo -e "\e[33m 默认导出到家目录~/out/源文件名！\e[0m"
read -p "输入查询文件路径：" FILENAME
read -p "输入查询天数：" DAYS

#获取文件名
OUTFILE=`echo "$FILENAME"|awk -F '/' '{print $NF}'`
echo "$OUTFILE"
#创建导出目录
OUTDIR=~/out
mkdir -p $OUTDIR
OUTFILEPATH=$OUTDIR/$OUTFILE`date +%F_%T`
echo  > $OUTFILEPATH
#英文月份替换为数字
cat $FILENAME    |sed 's/\/Jan/\/01/g'|sed 's/\/Feb/\/02/g'|sed 's/\/Mar/\/03/g' >/tmp/tmp1.log
cat /tmp/tmp1.log|sed 's/\/Apr/\/04/g'|sed 's/\/May/\/05/g'|sed 's/\/Jun/\/06/g' >/tmp/tmp2.log
cat /tmp/tmp2.log|sed 's/\/Jul/\/07/g'|sed 's/\/Aug/\/08/g'|sed 's/\/Sept/\/09/g' >/tmp/tmp3.log
cat /tmp/tmp3.log|sed 's/\/Oct/\/10/g'|sed 's/\/Nov/\/11/g'|sed 's/\/Dec/\/12/g' >/tmp/tmp4.log

DAY=`echo "$DAYS-1"|bc`
for i in `seq 0 $DAY`
do
#日期类型，根据自己脚本进行格式转换
HISDATE=`date -d "-"$i" day" +%d/%m/%Y`
cat /tmp/tmp4.log |grep "$HISDATE"
if [ $? -eq 0 ] ;then
echo "---------------------------------------------------------------------------"
cat /tmp/tmp4.log |grep "$HISDATE"  >> $OUTFILEPATH
echo "---------------------------------------------------------------------------" >>$OUTFILEPATH
fi
done
echo -e "\e[33m 查询结果导出路径:$OUTFILEPATH \e[0m"

———————————————————————————————————————————

第二种，日志中出现多种日期格式

可能是有应用日志或者容器出现多种日期格式的混合日志

注：日志中是英文，所有要确定我的系统环境是英文！！！

• 查看语言环境：locale
• 配置语言环境：vi /etc/locale.conf
• 临时语言环境：LANG=”en_US.UTF8″

#临时范例，3种时间格式

182.119.250.244 - [29/Dec/2021:21:27:30 +0800] "POST 12.php
182.119.250.244 - [30/Dec/2021:21:27:55 +0800] "POST 12.php
182.119.250.244 - [31/Dec/2021:21:27:31 +0800] "POST 12.php
182.119.250.244 - [Jan 01, 2022 21:27:31 +0800] "POST 12.php
182.119.250.244 - [02/Jan/2022 21:27:31 +0800] "POST 12.php
182.119.250.244 - [2022-01-03 21:27:31 +0800] "POST 12.php

shell 脚本如下：

#!/bin/bash
echo -e "\e[33m 此脚本为获取log文件中，指定天数内的日志，并做导出 \e[0m"
echo -e "\e[33m 查询1天内，就是当天！  查询2两天内，就是昨天和今天！\e[0m"
echo -e "\e[33m 默认导出到家目录~/out/源文件名！\e[0m"
read -p "输入查询文件路径：" FILENAME
read -p "输入查询天数：" DAYS

#获取文件名
OUTFILE=`echo "$FILENAME"|awk -F '/' '{print $NF}'`
echo "$OUTFILE"
#创建导出目录
OUTDIR=~/out
mkdir -p $OUTDIR
DATE=`date +%F_%T`
LINE=_
EX=.txt

OUTFILEPATH=$OUTDIR/$OUTFILE$LINE$DATE$EX



DAY=`echo "$DAYS-1"|bc`
for i in `seq 0 $DAY`
do
#日期类型，根据自己脚本进行格式转换
#第一种日期格式（年-月-日）：2022-01-01
DATEformat1=`date -d "-"$i" day" +%F`
#第二种日期格式（日/月/年）：01/Jan/2022
DATEformat2=`date -d "-"$i" day" +%d/%b/%Y`
#第三种日期格式（月 日, 年）：Jan 01, 2022
DATEformat3=`date -d "-"$i" day" '+%b %d, %Y'`

cat $FILENAME |grep  -E "$DATEformat1|$DATEformat2|$DATEformat3"
if [ $? -eq 0 ] ;then
echo "---------------------------------------------------------------------------"
cat $FILENAME |grep  -E "$DATEformat1|$DATEformat2|$DATEformat3"  >> $OUTFILEPATH
echo "---------------------------------------------------------------------------" >>$OUTFILEPATH
fi
done
echo -e "\e[33m 查询结果导出路径:$OUTFILEPATH \e[0m"