我的云服务器（linux）入侵排查

起源

我最近老是感觉自己的阿里云服务器不太安全，因为我是密码登陆的，没配置密钥，我总在甲方的电脑上登陆我的服务器，虽然上面也没啥敏感东西。但是今天有空的时候还是排查了一下，因为心虚。结果是个乌龙，只能说有些东西还没了解过。不过这一过程也重新温习了下我这基础的不能再基础的应急响应能力。🤭

用户分析

首先肯定是看有没有非法用户，有没有用户有非法权限
通过对 /etc/passwd /etc/shadow 的查看，发现用户的权限还有用户并没有更改

tips：我一般更改完密码会备份一份/etc/passwd 然后排查的时候直接diff进行比对，因为用户和服务很多有时候我自己都不清楚.

至于新人，这里给一份这两个文件的详解：

account:password:UID:GID:GECOS:directory:shell
用户名：密码：用户ID：组ID：用户说明：家目录：登陆之后shell 注意：无密码只允许本机登陆，远程不允许登陆

root:$6$oGs1PqhL2p3ZetrE$X7o7bzoouHQVSEmSgsYN5UD4.kMHx6qgbTq wNVC5oOAouXvcjQSt.Ft7ql1WpkopY0UV9ajBwUt1DpYxTCVvI/:16809:0: 99999:7:::
用户名：加密密码：密码最后一次修改日期：两次密码的修改时间间隔：密码有效期：密码修改到期到的警告天数：密码过期之后的宽限天数：账号失效时间：保留

一些常用排查用户的命令
last：这个命令可用于查看我们系统的成功登录、关机、重启等情况；这个命令就是将/var/log/wtmp文件格式化输出。
lastb：这个命令用于查看登录失败的情况；这个命令就是将/var/log/btmp文件格式化输出。
lastlog：这个命令用于查看用户上一次的登录情况；这个命令就是将/var/log/lastlog文件格式化输出。（有的linux没有这个命令）
who：这个命令用户查看当前登录系统的情况；这个命令就是将/var/log/utmp文件格式化输出。
w：与who命令一致。

权限排查
1、查询特权用户特权用户(uid 为0) [root@localhost ~]# awk -F: ‘$3==0{print $1}’ /etc/passwd
2、查询可以远程登录的帐号信息 [root@localhost ~]# awk ‘/$1|$6/{print $1}’ /etc/shadow
3、除root帐号外，其他帐号是否存在sudo权限。如非管理需要，普通帐号应删除sudo权限 [root@localhost ~]# more /etc/sudoers | grep -v “^#|^$” | grep “ALL=(ALL)”
4、禁用或删除多余及可疑的帐号 usermod -L user 禁用帐号，帐号无法登录，/etc/shadow第二栏为!开头 userdel user 删除user用户 userdel -r user 将删除user用户，并且将/home目录下的 user目录一并删除

历史命令查看

1、查看root的历史命令 history
2、打开 /home各帐号目录下的.bash_history，查看普通帐号的历史命令 cat .bash_history >> history.txt
3、历史操作命令的清除：history -c 但此命令并不会清除保存在文件中的记录，因此需要手动删除.bash_profile文件中的记录。

tips：如何设置详细记录命令？
为历史的命令增加登录的IP地址、执行命令时间等信息：
1）保存1万条命令 sed -i ‘s/^HISTSIZE=1000/HISTSIZE=10000/g’ /etc/profile
2）在/etc/profile的文件尾部添加如下行数配置信息：
######jiagu history xianshi#########
USER_IP=who -u am i 2>/dev/null | awk '{print $NF}' | sed - e 's/[()]//g'
if [ “$USER_IP” = “” ]
then USER_IP=hostname
fi export HISTTIMEFORMAT=”%F %T $USER_IP whoami “
shopt -s histappend
export PROMPT_COMMAND=”history -a”
######### jiagu history xianshi ##########
3）source /etc/profile让配置生效生成效果： 1 2018-07-10 19:45:39 192.168.204.1 root source /etc/profile

进程和端口排查

1、使用 netstat 网络连接命令分析可疑端口、ip、PID
命令：netstat -antlp | more // 直接端口状态连接ip 一目了然！
2、进程主要查看有没有高占用、有没有和外部通信、有没有不认识的程序命令：ps aux

开机启动项

运行级别	含义
0	关机
1	单用户模式
2	不完全的命令行模式
3	完全的命令行模式
4	系统保留
5	图形模式
6	重启动

查看当前运行击别命令：runlevel
系统默认允许级别：vi /etc/inittab
id=3：initdefault 系统开机后直接进入哪个运行级别
开机启动配置文件
/etc/rc.local /etc/rc.d/rc[0~6].d
例子:当我们需要开机启动自己的脚本时，只需要将可执行脚本丢在/etc/init.d目录下，然后在/etc/rc.d/rc*.d中建立软链接即可

1	root@localhost ~] ln -s /etc/init.d/sshd /etc/rc.d/rc3.d/S100ssh

此处sshd是具体服务的脚本文件，S100ssh是其软链接，S开头代表加载时自启动；如果是K开头的脚本文件，代表运行级别加载时需要关闭的。
查看启动项文件一些命令：

1
2
3

more /etc/rc.local 
more /etc/rc.d/rc[0~6].d   
ls -l /etc/rc[0-6].d/

备注：一般在上述文件夹下的服务程序都需要注意。

定时任务

基本使用：利用crontab 创建计划任务
基本命令：crontab -l 列出某个用户cron服务的详细内容 Tips：默认编写的crontab文件会保存在 (/var/spool/cron/用户名例如: /var/spool/cron/root
crontab -r 删除每个用户cront任务(谨慎：删除所有的计划任务)
crontab -e 使用编辑器编辑当前的crontab文件
使用案例之每天运行/home/backup.sh脚本：
vi /etc/anacrontab @daily 10 example.daily /bin/bash /home/backup.sh
当机器在 backup.sh 期望被运行时是关机的，anacron会在机器开机十分钟之后运行它，而不用再等待 7天。
入侵排查、
重点关注以下目录中是否存在恶意脚本

/var/spool/cron/* 
/etc/crontab 
/etc/cron.d/* 
/etc/cron.daily/* 
/etc/cron.hourly/* 
/etc/cron.monthly/* 
/etc/cron.weekly/ 
/etc/anacrontab 
/var/spool/anacron/* 
#小技巧： more /etc/cron.daily/* 查看目录下所有文件

服务排查

** 服务自启动的设置 **
第一种修改方法：
chkconfig [–level 运行级别] [独立服务名] [on|off]
chkconfig –level 2345 httpd on 开启自启动
chkconfig httpd on （默认level是2345）
第二种修改方法：
修改/etc/re.d/rc.local 文件
加入 /etc/init.d/httpd start
第三种修改方法：
使用ntsysv命令管理自启动，可以管理独立服务和xinetd服务。
** 服务的排查 **
1、查询已安装的服务
RPM 包安装的服务！
chkconfig –list 查看服务自启动状态，可以看到所有的RPM包安装的服务
ps aux | grep crond 查看当前服务
系统再3与5级别下的启动项
2、源码包安装的服务
查看服务安装位置，一般实在/user/local/
service httpd start
搜索/etc/rc.d/init.d/ 查看是否存在！

日志分析

这里是入侵排查最重要的东西，一般有web日志和系统日志，web日志我这里没有，因为我为了安全所有的web都在docker里面，所以我这里主要就是系统日志。而且前面的排查我也没排查出什么东西。

** 日志文件的描述 **
日志默认存放位置： /var/log/
查看日志配置情况： more /etc/rsyslog.conf

日志文件	说明
/var/log/cron	记录系统定时任务相关日志
/var/log/cups	记录打印信息的日志
/var/log/dmesg	记录系统开机时内核自检信息
/var/log/mailog	记录邮件信息
/var/log/message	记录系统重要信息日志，系统出现问题时的首要检查这个日志
/var/log/btmp	记录错误登陆日志，此日志是二进制文件，lastb命令查看
/var/log/lastlog	记录系统种所有用户最后一次登陆事件的日志，二进制文件，lastlog查看
/var/log/wtmp	永久记录所有用户的登陆、注销信息，同时记录系统的重启、关机、启动事件。二进制文件，用last查看
/var/log/utmp	记录当前已经登陆的用户信息，只记录房前登陆用户的信息，w 命令查看
/var/log/secure	记录验证和授权方面的信息，比如ssh、su、sudo登陆还有添加修改账户密码等，也是应急响应种的重点排查对象
/var/log/auth.log*	同上，ubuntu下的安全日志

#注意，一个系统可能并不拥有上面表格中的所有日志，比如ubuntu上述日志就有很多没有，这和设置与系统版本有关，所以入侵排排查，应该先确定原来有哪些日志，日志有没有被删除。

** 日志分析技巧 **
1、定位有多少IP再爆破主机的root账号

1	grep "Failed password for root" /var/log/syslog \| awk '{print $11}' \| sort \| uniq -c \| sort -nr \| more

注意 ubuntu 在auth.log 所以可能有的服务器登陆日志也在auth.log
2、定位有哪些ip在爆破

grep "Failed password for root" /var/log/syslog | awk '{print $11}' | sort | uniq -c | sort -nr | more
注意 ubuntu 在auth.log 所以可能有的服务器 登陆日志也在auth.log
3、爆破用户用的字典是什么
```bash
grep "Failed password" /var/log/secure|perl -e 'while($_= <>){ /for(.*?) from/; print"$1\n";}'|uniq -c|sort -nr

注意 ubuntu 在auth.log 所以可能有的服务器登陆日志也在auth.log
4、登陆成功的ip有哪些？

1	grep "Accepted " /var/log/secure \| awk '{print $11}' \| sort \| uniq -c \| sort -nr \| more

注意 ubuntu 在auth.log 所以可能有的服务器登陆日志也在auth.log
5、登陆成功的日期用户名 IP

1	grep "Accepted " /var/log/secure \| awk '{print $1,$2,$3,$9,$11}'

注意 ubuntu 在auth.log 所以可能有的服务器登陆日志也在auth.log
6、增加一个用户kali日志

Jul 10 00:12:15 localhost useradd[2382]: new group: name=kali, GID=1001 Jul 10 00:12:15 localhost useradd[2382]: new user: name=kali, UID=1001, GID=1001, home=/home/kali , shell=/bin/bash Jul 10 00:12:58 localhost passwd: pam_unix(passwd:chauthtok): password changed for kali #grep "useradd" /var/log/secure

7、删除一个用户kali日志：

Jul 10 00:14:17 localhost userdel[2393]: delete user 'kali' Jul 10 00:14:17 localhost userdel[2393]: removed group 'kali' owned by 'kali' Jul 10 00:14:17 localhost userdel[2393]: removed shadow group 'kali' owned by 'kali' # grep "userdel" /var/log/secure

8、sudo授权执行

1	sudo -l Jul 10 00:43:09 localhost sudo: good : TTY=pts/4 ; PWD=/home/good ; USER=root ; COMMAND=/sbin/shutdown -r now

我的服务器（乌龙）

重点来了，我做了上述的所有检查，比对/etc/passwd 没发现变动，cron没有任何新添加的定时任务，服务没有没见过的服务，而且我的web服务全在docker，开机启动项和服务自启动也没有问题。

直到日志排查，我发现一个ip在我出差的时候登陆了我的阿里云，ip定位是石家庄，可我从没去过石家庄，我也不是石家庄的，然后我就开始警觉，查询日志发现该ip没有爆破，一次登陆。震惊！我的密码可是10位大小字母加数字和特殊字符混合出来的。查看历史命令，执行了一个ls，然后就没有了，我刚开始怀疑是他删除了日志和历史命令，于是去查看系统有没有后门，排查了一圈，没有任何服务出网到可疑的ip。

无果后我就问了下一个大佬，他说你的手机是不是河北的，是不是开热点了。于是我发现我虽然不是石家庄的但是我的联通热点的出口是石家庄，那么一切就解释清楚了。哎，白忙活了三个小时。

不过这些基础的排查还是写出来供大家参考吧！其实很多我也是通过网上学习的！