linux添加永久静态路由
静态路由表的配置文件为:/etc/sysconfig/network-scripts/route-网卡名。
以网卡eth0为例,如果要针对eth0添加一条静态路由,可以在配置文件/etc/sysconfig/network-scripts/route-eth0中添加以下配置:
200.200.0.0/16 via 10.66.255.254
200.200.24.0/22 via 10.66.255.254然后重启network服务即可生效!
静态路由表的配置文件为:/etc/sysconfig/network-scripts/route-网卡名。
以网卡eth0为例,如果要针对eth0添加一条静态路由,可以在配置文件/etc/sysconfig/network-scripts/route-eth0中添加以下配置:
200.200.0.0/16 via 10.66.255.254
200.200.24.0/22 via 10.66.255.254然后重启network服务即可生效!
查看nginx日志,发现有报错信息:
2019/07/16 17:34:42 [crit] 4397#0: *349 open() "/fastcgi_temp/5/00/0000000005" failed (13: Permission denied) while reading upstream查看对应目录的权限,发现所属用户是nobody,而实际运行nginx的是wwwuser:
root 1842 0.0 8.5 410716 332500 ? Ss 17:10 0:01 nginx: master process /usr/local/nginx/sbin/nginx -c /etc/nginx/nginx.conf
wwwuser 4397 0.0 8.5 412288 332828 ? S 17:33 0:00 nginx: worker process
wwwuser 4398 0.0 8.5 411776 332360 ? S 17:33 0:00 nginx: worker process
wwwuser 4399 0.0 8.5 412800 330336 ? S 17:33 0:00 nginx: cache manager process因此问题原因应该是:nginx最初始时以nobody身份启动过,创建了缓存所属用户是nobody,后面改动nginx的运行用户为wwwuser,导致新用户没有权限写入缓存。
解决方案:修改对应目录下的所属用户为当前nginx启动用户。
uptime命令和w命令都可以显示系统当前的负载:
ma@centos7:~$ uptime
09:37:15 up 19 days, 20 min, 1 user, load average: 0.00, 0.01, 0.05
ma@centos7:~$ w
09:37:17 up 19 days, 20 min, 1 user, load average: 0.00, 0.01, 0.05
USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT
ma pts/0 200.200.65.82 09:28 5.00s 0.01s 0.00s w关于系统负载
系统平均负载被定义为在特定时间间隔内运行队列中的平均进程数,如果一个进程满足以下条件则其就会位于运行队列中:
wait)一般来说,每个CPU内核当前活动进程数不大于3,则系统运行表现良好!当然这里说的是每个cpu内核,如果主机是四核cpu的话,那么只要uptime最后输出的一串字符数值小于12即表示系统负载不是很严重。如果达到20,那就表示当前系统负载非常严重。
/proc/loadavg也能显示系统的负载信息:
ma@centos7:~$ cat /proc/loadavg
0.01 0.02 0.05 1/199 19643前面三个也是分别表示1分钟、5分钟以及15分钟的系统平均负载。后面的1/199表示系统当前共有199个进程,其中1个进程处于运行状态。19643表示最后一个运行的进程ID。
mpstat命令可以打印出当前系统的cpu信息,统计当前CPU的各项指标信息:
ma@centos7:~$ mpstat
Linux 3.10.0-862.14.4.el7.x86_64 (centos7) 05/07/19 _x86_64_ (2 CPU)
10:03:33 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle
10:03:33 all 0.03 0.00 0.03 0.00 0.00 0.07 0.09 0.00 99.78%user:在internal时间段里,用户态的CPU时间(%),不包含nice值为负进程。(usr/total)*100%nice:在internal时间段里,nice值为负进程的CPU时间(%)。(nice/total)*100%sys:在internal时间段里,内核时间(%)。(system/total)*100%iowait :在internal时间段里,硬盘IO等待时间(%)。(iowait/total)*100%irq:在internal时间段里,硬中断时间(%)。(irq/total)*100%soft:在internal时间段里,软中断时间(%)。(softirq/total)*100常用参数
-P CPU:打印指定CPU的信息,默认只打印所有CPU汇总后的统计数据,加上-P ALL会把每个CPU的统计信息都打印出来。interval times:每隔interval统计一次信息,共统计times次。例如,每1秒打印一次cpu信息,共打印2次:

最后会针对这三次生成一次统计信息。
free命令可以查看当前的内存:
maqian@os:~$ free -m
total used free shared buff/cache available
Mem: 16285 5096 10964 17 223 11057
Swap: 29663 0 29663Mem表示的是系统的物理内存,Swap是虚拟内存。
top命令可以查看当前系统下所有进程的CPU和内存占用情况:

输入命令后会进入交互式界面,在交互式页面输入P可以对CPU占用排序,输入M对内存占用排序。
某天,在QQ空间看到大学同学发了一个求助帖:

求助安装一个ffmpeg软件((linux平台下开源的音视频转码工具),本着助人为乐的想法准备提供一下帮助,了解之后才发现她想做的根本不是安装ffmpeg,而是已经装好了发现命令执行太卡,以为自己装错了,想找个熟人重装一下。再次深入了解才发现最终的问题是这样的:她们用的腾讯云学生机(1C1G配置),平常在上面用ffmpeg做音视频转码的实验,一个10M左右的视频转码需要十几分钟,觉得时间太长了,并且看到的日志显示他们转码并没有消耗CPU资源。
最后排查下来发现系统是被黑客入侵了,排查相当顺利(比起我们公司设备的排查简直容易一百倍),记录下排查过程。
了解具体问题之后发现了两个不寻常的地方:
首先登陆上设备,看CPU占用:发现设备上以ftpuser运行了一个bash64的进程,常年占用CPU在97%以上。

第一眼看上去就很奇怪,为什么ftpuser会运行bash64?而且一般的bash也不叫bash64,为什么CPU占用会这么高?一种不妙的感觉顿时涌上心头,当时感觉就可能是被黑了。
尝试关闭进程,果然,根本关不掉,关了又起来。ps查看文件所在位置之后删除也不行,删除后还会自动创建,进程也还是会起来。

再仔细一看,发现进程执行的程序是放在ftpuser主目录下的一个隐藏文件夹下,同时还有个配置参数,cat这个文件竟然是一串ssh密钥。这明显就是一个挖矿进程了。
。。。于是乎,排查结束!
结论:
系统被黑客入侵,植入了挖矿程序,一直占用CPU导致其他程序无法得到CPU资源,出现了ffmpeg转码卡慢的问题。
解决方案:
因为工作太忙(当时已经是晚上快十点了还在公司加班。。。)没有深入分析下去,直接建议重装系统了。
事后发现:
腾讯云早已发送告警短信到她手机,她熟视无睹:

修改ssh端口后使用systemctl一直无法启动sshd,报错:
Job for sshd.service invalid.使用journalctl -xe查看错误信息,发现一串没有权限绑定端口错误信息:
-- Unit sshd.service has begun starting up.
Jun 04 18:58:11 instance-1 sshd[20960]: error: Bind to port 22345 on 0.0.0.0 failed: Permission denied.
Jun 04 18:58:11 instance-1 sshd[20960]: error: Bind to port 22345 on :: failed: Permission denied.
Jun 04 18:58:11 instance-1 sshd[20960]: fatal: Cannot bind any address.
Jun 04 18:58:11 instance-1 systemd[1]: sshd.service: main process exited, code=exited, status=255/n/a
Jun 04 18:58:11 instance-1 systemd[1]: Failed to start OpenSSH server daemon.
-- Subject: Unit sshd.service has failed很奇怪,服务是使用root身份启动的,端口号也不在1-1024之间,不可能出现端口号无法绑定的问题。
开始怀疑是不是端口号被占用了,但是用netstat命令查看并没有占用,而且如果被占用报错也应该是xx already been used,因此排除端口被占用了。
后来发现是开启了SELinux导致的,使用sestatus查看SELinux当前的状态:
SELinux status: enabled
SELinuxfs mount: /sys/fs/selinux
SELinux root directory: /etc/selinux
Loaded policy name: targeted
Current mode: enforcing
Mode from config file: enforcing
Policy MLS status: enabled
Policy deny_unknown status: allowed
Max kernel policy version: 31最后的解决办法就是关闭SELinux了,执行setenforce 0临时关闭。
通过ssh登录时报错:
Host key verification failed.最开始以为是服务端的问题,但是排查发现不管登录哪台设备都是报这个错,因此肯定不是服务端的问题了。
打印ssh连接日志发现有如下错误信息:
debug1: checking without port identifier
debug1: read_passphrase: can't open /dev/tty: Permission denied
Host key verification failed.以前从来没有遇到这个问题,查看/dev/tty的权限发现是600,而其他的设备正常是666。
于是修改/dev/tty的权限,再次登录就好了:
sudo chmod 666 /dev/tty 下午客户打电话过来说QQ总是掉线,怀疑(一口咬定)是我们设备(我们的是路由设备,放在出口)故障导致的,态度十分强硬。从客户提出问题的第一秒起就已经可以断定是运营商网络问题了,为什么呢:
但是没有真凭实据可以来证明这一点,并且现象不是一直存在的,所以最后只能用挫招了:在设备的lan和wan口抓包,每十分钟重抓一次,直到客户网络出现问题。
最后抓了一个小时,终于抓到了数据包,那么如何判断是路由器的问题还是运营商网络的问题呢:
要用到的一个重要的功能就是Wireshark的追踪流功能:

使用追踪流可以把当前连接的所有交互数据都显示出来:

这个是lan口的抓包数据,PC的IP是192.168.10.62,已经能看到有很多重传的数据包了,但是还不能确定是路由器丢包了还是服务端丢包了。此时就要对比两个口的数据包,看看lan口的数据包是否有被转发出去,lan和wan的数据包可以通过目的IP地址来一一对应起来,因为不管数据怎么转发,目的IP都是不变的。可以先在lan口追踪每一个TCP流,然后在wan口过滤目的地址。
而在随机抓取的前面几个数据包中,发现,每个连接都是wan端发起的连接,然后服务端没有响应,一直在产生重传操作,这就可以证明是用户网络的问题而不是我们设备的问题了。
TCP流1

TCP流2

TCP流3

TCP流4

准备好证书和私钥文件,重命名为:rui.cert和rui.key。
开启SSH:

登陆后台,把证书和私钥拷贝到/etc/vmware/ssl/目录覆盖,然后使用services.sh restart重启服务。
之前安装好了ModSecurity作为nginx的WAF,但是后续的使用中发现OWASP-CRS规则过于苛刻,很多正常操作都会被阻挡,甚至打开一个正常的页面都会被拦截。每次都要手动排除规则十分麻烦,可以考虑使用第三方规则库:comodo规则库地址(访问需要翻墙)。
comodo规则库是免费使用的,支持apache/httpd/nginx等多种web应用。使用前要先注册账号,支付0元之后将会得到为期一年的授权,此时就可以下载最新的规则库使用了,使用方式和OSASP-CRS一样,只需把规则文件加到ModSecurity的配置文件中即可。同时,官方还提供了非常简易的操作面板和详细的操作文档。

如果没有安装ModSecurity先参考nginx安装modsecurity实现waf功能进行安装,ModSecurity的配置文件放在/etc/nginx/目录下。
当前最新版的comodo规则库版本为1.208,解压规则库,放到/etc/nginx/waf/comodo目录:
tar cwaf_rules_nginx_3-1.208.tgz -C /etc/nginx/waf/comodo修改/etc/nginx/modsecurity.conf文件,设置新的规则文件位置:
Include /etc/nginx/waf/comodo/rules.conf.main重启nginx服务,然后测试规则是否生效:
[ma@ubuntu comodo]$ curl -I http://localhost
HTTP/1.1 200 OK
Server: Tomcat/1.0.2
Date: Sun, 02 Jun 2019 01:38:52 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Fri, 14 Dec 2018 14:04:25 GMT
Connection: keep-alive
ETag: "5c13b869-264"
Accept-Ranges: bytes
[ma@ubuntu comodo]$ curl -I 'http://localhost/?search=<scritp>alert('xss');</script>'
HTTP/1.1 403 Forbidden
Server: Tomcat/1.0.2
Date: Sun, 02 Jun 2019 01:39:17 GMT
Content-Type: text/html
Content-Length: 169
Connection: keep-alive第二个xss攻击的被拦截了,规则生效。
ModSecurity是一个免费、开源的Apache模块,可以充当Web应用防火墙(WAF)。ModSecurity从3.0开始支持nginx,配合nginx的灵活和高效,可以打造成生产级的WAF,是保护和审核web安全的利器。
ModSecurity的主要功能在于,提供可靠的保护,远离各种网上威胁。它不是将安全重心偏离应用程序,而是增添了全局级别的功能。想对它进行配置,只需为客户机与服务器之间通信的每一个部分用条件和操作来指定规则,这些部分包括请求头、请求主体、响应头和响应主体。因而,ModSecurity可以预防针对Web服务器、PHP、Perl和ASP等解释器以及Web应用程序发动的攻击。
OWASP是一个安全社区,开发和维护着一套免费的应用程序保护规则,这就是所谓OWASP的ModSecurity的核心规则集(即CRS)。我们可以通过ModSecurity手工创建安全过滤器、定义攻击并实现主动的安全输入验证。

如果设备已经安装了nginx,先记住当前的nginx编译选项。使用nginx -V命令可以查看编译选项:
[art@centos7 ~]$ nginx -V
nginx version: Tomcat/1.0.2
built by gcc 4.8.5 20150623 (Red Hat 4.8.5-36) (GCC)
built with OpenSSL 1.0.2k-fips 26 Jan 2017
TLS SNI support enabled
configure arguments: --user=www --group=www --prefix=/usr/local/nginx-1.12.2 --with-http_stub_status_module --with-http_ssl_module最后一行就是nginx安装时的编译选项,先记住。
拉取ModSecurity主代码,当前版本是3.x。ModSecurity在3.0以后已经不止是一个模块了,主代码库编译出来的是一个公共库,可以被第三方代码直接引用,现如今的ModSecurity-nginx就是通过这个lib库来完成的。
因此,整个modsecurity功能目前一共涉及到三个东西:
克隆ModSecurity代码:
git clone https://github.com/SpiderLabs/ModSecurity.git克隆ModSecurity-nginx代码:
git clone https://github.com/SpiderLabs/ModSecurity-nginx.git克隆owasp-modsecurity-crs代码:
git clone https://github.com/SpiderLabs/owasp-modsecurity-crs.git三个代码都克隆完成后,应该存在以下三个目录:
maqian@Inspiron:/usr/src/software$
total 20
drwxrwxr-x 5 root root 4096 6月 1 19:48 ./
drwxr-xr-x 9 root root 4096 6月 1 19:41 ../
drwxrwxr-x 13 maqian maqian 4096 6月 1 19:44 ModSecurity/
drwxrwxr-x 5 maqian maqian 4096 6月 1 19:47 ModSecurity-nginx/
drwxrwxr-x 7 maqian maqian 4096 6月 1 19:48 owasp-modsecurity-crs/进入到ModSecurity目录,初始化子模块,这一步相当重要,否则后面会出错:
cd ModSecurity
git submodule init
git submodule update依赖项注意区分系统环境,除此之外后面的流程都不再依赖系统环境。
CentOS环境:
sudo yum install autoconf automake libtool gcc gcc-c++ make
sudo yum install yum install prce pcre-devel openssl openssl-develUbuntu系统:
sudo apt-get install autoconf automake libtool gcc g++ make
sudo apt-get install openssl libssl-dev libpcre3 libpcre3-dev zlib1g-dev进入ModSecurity目录:
./build.sh
./configure
make && sudo make install因为后面的modsecurity-nginx和nginx编译都依赖modsecurity的lib库,为了方便起见,直接把编译后的库文件放到默认目录,不手动指定安装目录。
如果没有安装nginx,先下载好nginx代码,nginx的编译安装参考:CentOS源码编译安装NGINX。如果已经安装了nginx,记录nginx当前的编译选项,参考步骤2.1。
nginx是否安装不重要,不同的是如果没有安装就要先下载源代码,如果安装了就记录下编译选项。
假设安装时候的编译选项为:
--user=www --group=www --prefix=/usr/local/nginx-1.12.2 \
--with-http_stub_status_module --with-http_ssl_module进入nginx目录:
./configure --user=www --group=www \
--prefix=/usr/local/nginx-1.12.2 \
--with-http_stub_status_module --with-http_ssl_module \
--add-module=../ModSecurity-nginx/
make && sudo make install安装好后nginx的配置参考上面的文档即可。
owasp-modsecurity-crs开始已经下载到本地,首先拷贝一份到nginx配置目录,假设安装到/etc/nginx/owasp目录下:
cp owasp-modsecurity-crs /etc/nginx/owasp/ -rf
mv /etc/nginx/owasp/crs-setup.conf.example /etc/nginx/owasp/crs-setup.conf
配置ModSecurity:
cp ModSecurity/modsecurity.conf-recommended /etc/nginx/modsecurity.conf
cp ModSecurity/unicode.mapping /etc/nginx/在modsecurity.conf中添加crs-setup.conf的配置:
SecRuleEngine On
Include /etc/nginx/owasp/crs-setup.conf
Include /etc/nginx/owasp/rules/*.conf在nginx的配置中开启modsecurity模块,可以放在server段或者location段内:
modsecurity on;
modsecurity_rules_file /etc/nginx/modsecurity.conf;测试配置文件是否正确:
nginx -t -c /etc/nginx/nginx.conf可能会报错:
2019/06/01 20:56:09 [emerg] 29985#0: "modsecurity_rules_file" directive Rules error. File: /etc/nginx/owasp/rules/REQUEST-910-IP-REPUTATION.conf. Line: 71. Column: 22. This version of ModSecurity was not compiled with GeoIP or MaxMind support. in /etc/nginx/nginx.conf:40
nginx: configuration file /etc/nginx/nginx.conf test failed这是因为ModSecurity中的IP检测的功能还没有添加,暂时可以先不考虑这个,直接删掉或者重命名掉不加载即可:
mv /etc/nginx/owasp/rules/REQUEST-910-IP-REPUTATION.conf /etc/nginx/owasp/rules/REQUEST-910-IP-REPUTATION.conf.bak测试无误后重启nginx服务,务必使用restart而不是reload等操作。
maqian@Inspiron:~$ curl http://localhost -I
HTTP/1.1 200 OK
Server: nginx/1.12.2
Date: Sat, 01 Jun 2019 13:00:38 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Sat, 01 Jun 2019 12:34:27 GMT
Connection: keep-alive
ETag: "5cf270d3-264"
Accept-Ranges: bytes返回200,正常访问。
maqian@Inspiron:~$ curl 'http://localhost/?id=1 AND 1=1' -I
HTTP/1.1 403 Forbidden
Server: nginx/1.12.2
Date: Sat, 01 Jun 2019 13:01:30 GMT
Content-Type: text/html
Content-Length: 169
Connection: keep-alive返回403,禁止访问。
maqian@Inspiron:~$ curl 'http://localhost/?search=<scritp>alert('xss');</script>' -I
HTTP/1.1 403 Forbidden
Server: nginx/1.12.2
Date: Sat, 01 Jun 2019 13:01:15 GMT
Content-Type: text/html
Content-Length: 169
Connection: keep-alive返回403,禁止访问。
默认情况下,ModSecurity是开启了审计日志的,会把审计日志打到modsec_audit.log,以下就是上面执行xss攻击时候的日志:
---EmbUKKWv---A--
[01/Jun/2019:21:01:15 +0800] 155939407569.849497 127.0.0.1 58856 127.0.0.1 80
---EmbUKKWv---B--
HEAD /?search=<scritp>alert(xss);</script> HTTP/1.1
Host: localhost
User-Agent: curl/7.58.0
Accept: */*
---EmbUKKWv---D--
---EmbUKKWv---F--
HTTP/1.1 403
Server: nginx/1.12.2
Date: Sat, 01 Jun 2019 13:01:15 GMT
Content-Length: 169
Content-Type: text/html
Connection: keep-alive同时nginx的日志中也有日志:
2019/06/01 21:01:15 [error] 30005#0: *3 [client 127.0.0.1] ModSecurity: Access denied with code 403 (phase 2). Matched "Operator `Ge' with parameter `5' against variable `TX:ANOMALY_SCORE' (Value: `5' ) [file "/etc/nginx/owasp/rules/REQUEST-949-BLOCKING-EVALUATION.conf"] [line "79"] [id "949110"] [rev ""] [msg "Inbound Anomaly Score Exceeded (Total Score: 5)"] [data ""] [severity "2"] [ver ""] [maturity "0"] [accuracy "0"] [tag "application-multi"] [tag "language-multi"] [tag "platform-multi"] [tag "attack-generic"] [hostname "127.0.0.1"] [uri "/"] [unique_id "155939407569.849497"] [ref ""], client: 127.0.0.1, server: localhost, request: "HEAD /?search=<scritp>alert(xss);</script> HTTP/1.1", host: "localhost"
2019/06/01 21:01:30 [error] 30005#0: *4 [client 127.0.0.1] ModSecurity: Access denied with code 403 (phase 2). Matched "Operator `Ge' with parameter `5' against variable `TX:ANOMALY_SCORE' (Value: `7' ) [file "/etc/nginx/owasp/rules/REQUEST-949-BLOCKING-EVALUATION.conf"] [line "79"] [id "949110"] [rev ""] [msg "Inbound Anomaly Score Exceeded (Total Score: 7)"] [data ""] [severity "2"] [ver ""] [maturity "0"] [accuracy "0"] [tag "application-multi"] [tag "language-multi"] [tag "platform-multi"] [tag "attack-generic"] [hostname "127.0.0.1"] [uri "/"] [unique_id "155939409056.181076"] [ref ""], client: 127.0.0.1, server: localhost, request: "HEAD /?id=1 AND 1=1 HTTP/1.1", host: "localhost"正式环境下,如果访问量很大,建议关闭审计日志,开启审计日志会导致以下问题:
关闭审计日志需要在/etc/nginx/modsecurity.conf中添加配置:
SecAuditEngine offlocation / {
modsecurity on;
modsecurity_rules_file /etc/xxxx/main.conf;
root html;
}
location ~ \.(gif|jpg|png|jpeg|svg)$ {
root /data/images;
}