chengxuyonghu<em 阅读(158) 评论(0)

网络模型中,nginx属于第7层,根据域名或目录配置负载均衡(代理),十分灵活;而lvs只能针对IP

环境:

DIR :   172.16.115.100(Nginx代理)

RS1:    172.16.115.157(Web服务器)

RS2:    172.16.115.202(Web服务器)


1. dir、rs1、rs2安装nginx(1台代理+2台Web服务器)

    命令 yum install -y nginx

 

2. 编辑dir上nginx的配置文件/etc/nginx/nginx.conf,开启子配置文件include /etc/nginx/conf.d/*.conf,并新建配置文件/etc/nginx/conf.d/lb.conf

    说明:用到uptream模块,定义负载均衡中服务器

    内容:


 upstream hzp {

        server 172.16.115.157:80;

        server 172.16.115.202:80;

        }

   server {

       listen 80;

       server_name www.huangzhenping.cn;

        location / {

        proxy_pass http://hzp/;

        proxy_set_header Host $host;

           }

        }


   注:需禁用掉/etc/nginx/conf.d/default.conf文件,如改名为default.conf.bak


3. 修改rs1和rs2服务器web首页,并启动三台服务器上的Nginx服务

    命令 /etc/init.d/nginx start

    rs1:echo "hello,rs1" > /usr/share/nginx/html/index.html

    rs2:echo "hello,rs2" > /usr/share/nginx/html/index.html


4. 客户机上用curl测试:curl -xlocalhost:80 www.huangzhenping.cn

    结果: 权重1:1交替访问

5. dir上,修改配置文件/usr/local/nginx/conf/vhosts/lb.conf,增加权重,重启测试

    内容:


upstream hzp {

        server 172.16.115.157:80 weight=3;

        server 172.16.115.202:80 weight=1;

        }

   server {

       listen 80;

       server_name www.huangzhenping.cn;

        location / {

        proxy_pass http://hzp/;

        proxy_set_header Host $host;

           }

        }

结果:3:1关系,交替访问

     



6. 停止rs1上的nginx服务,再次测试

    结果:跳过rs1服务器,只访问rs2的Web;恢复rs1时,交替访问

 


 

nginx负载均衡简单配置


准备三台虚拟机来做这个实验:


172.16.100.6        web服务器

172.16.100.7        web服务器

172.16.100.106    负载均衡服务器


首先三台电脑装好nginx软件:

向web服务器中放入测试文件:


   

   

Welcome to nginx!    

   

   

Welcome to nginx! 172.16.100.6

   

   


配置负载均衡服务器:


vi /usr/local/nginx/conf/nginx.conf

 

user nginx nginx;worker_processes  1;

 

events {

    worker_connections  1024;

}

 

http {

    include       mime.types;

    default_type  application/octet-stream;    

    sendfile       on;

    keepalive_timeout  65;

    upstream webservs {

        server 172.16.100.6 weight=1;

        server 172.16.100.7 weight=1;

    }

     

    server {

        listen     8083;

        server_name  localhost;

        index index.html index.htm index.php; 

         location / {

             proxy_pass webservs;

           proxy_set_header X-Real-IP $remote_addr;

        }

                 

        error_page   500 502 503 504  /50x.html;

        location = /50x.html {

            root   html;

        }

    }

}


拓展:

要在server之外定义upstream ,upstream可以定义多个名称,但每一个upstream都要有自己独立的名称

upstream里有很多的子指定,其中server用来定义每一个后端服务器;


每一个后端还可以传递很多参数,weight权重,没有权重为0,不做负载均衡的,权重一样就轮调,权重不一样实现加权轮调,还可以实现端口映射;定义server时只能定义名称或是IP地址,不能使用协议http。



upstream backend {

    server backend1.example.com weight=5;

    server backend2.example.com:8080;

    server unik:/tmp/backend3;

}

server{

    location / {

        proxy_pass http://backend;    //反向代理不是某些主机,而是upstream定义的名称,,由upstream来实现负载均衡功能

    }

}





ngin的负载均衡得用到upstream模块,它用来定义一个后端服务器组,即把所有后端的服务器整合在一起,然后通过proxy代理到这个服务器组。就能实现简单的http负载均衡了,


upstream默认的调度方式是wrr(具体内容可参考lvs中的介绍),所以我们只用指定服务器的ip,如果端口不是默认80端口也可以单独指定,还有一些调度用到的参数,比如权重。



http{

    ...

    upstream backserver {                   #backserver是一个自定义的名字,后面会调用

            server 172.16.53.101;           #第一个后端server

            server 172.16.53.102 ;          #第二个后端server

        }

    ...

    server {                                

        listen 80;

        server_name xiaofengfeng.cn;

        location / {

                proxy_pass      #代理到服务器组,此处只支持http/https 

                index index.html;

        }

}

上面就是一个最简单的基于nginx的服务均衡配置了。upstream 的server后面还可以加许多参数,比如设置不同的权值weight=number,权值越大调用的次数越多。backup参数可以设置backup server,比如我们可以设置本机为backup server,当后端服务器都不能访问的时候,我们本机可以提供一个sorry 页面。


 http{

     ...

    upstream backserver {

            server 172.16.53.101;

            server 172.16.53.102 ;

            server 127.0.0.1 backup; 

               #指定本机回环地址为备用server,此处我们提供一个sorry server

        }

    server {

            listen 192.168.157.128:80;   #代理服务只监听前端服务的ip和端口

            server_name xiaofengfeng.cn;

            location / {

                    proxy_pass  http://backserver;

                    index index.html;

            }

    }

    server {

            listen 127.0.0.1:80;          #回环地址用来做sorry server

            server_name xiaofengfeng2.cn;

            location / {

                    root /var/nginx;

                    index index.html;

            }

    }

}

    注:因为我们改变了监听的ip所以得重启nginx服务,而不是用nginx -s reload。

    除了server配置选项还有其他一些常用的,比如我们可以改变其调用算法为wlc,即least_conn,就会根据后端服务器的连接数来调用。如果我们的一些用户信息,比如说session,cookie等保存在后端服务器本地,为了放置用户信息丢失,我们可以让一个用户的请求都发送到同一个后端服务器。ip_hash就可以实现这样的功能。来自同一个源IP地址的请求始终发往同一个upstream server。除了根据源地址hash,我们还可以指定特定的参数来作为hash的条件,比如,如果我们用uri作为hash条件,那么同一个uri的请求会发往同一台后端服务器。此时我们就要用到hash选项,比如:



hash $request_uri consistent

$request_uri是内置提供的变量,就是请求的uri咯,consistent是一致性哈希算法,这个倒是可以说道说道。我们知道哈希就是无论输入什么值,都会得到一个固定长度的散列值,我们对不同的uri求散列值,如果后端服务器有6台服务器,然后给他们进行编号0-6,然后用求的散列值对6做取余运算,就一定会得到0-6中的一个值,然后把这个分配给对应编号的服务器。不过,这个算法有个问题,如果某个服务器挂掉,我们就得重新以5来做取余运算,然后重新把所有过程从来一遍。所以就出现了上面的一致性哈希算法,我们现在先不关注后端有几台服务器,我们把0到2的32次方减一这个多个数字分布在一个圆环上,就上钟表上的0-12一样,0的地方就是12.然后我们对后端每个服务器的ip地址做哈希计算,得到的值在和2的32次方做取余运算,那么后端的这些服务器一定会分布在这个圆环上的某个点处,然后我们在对hash选项指定的内容,此处是uri做hash计算,得到的值在和2的32次方取余,所以这些uri也会分布在这个圆环上。然后我们规定,在这个圆环上分布的服务器,负责响应它到它下一个服务器的区间上分布的请求。此时当后端的某台服务器挂掉时,只会影响这台服务器后面的URI请求,而不会影响其他服务器,只用把属于这台服务器的请求,给它上一台就好,我们画个图说明下。


我们用方块表示后端服务器经过哈希计算的分布情况,用红色的线表示不同uri请求的分布情况,服务器1只用负责1到2之间的uri请求,以此类推,5只用负责5到1之间的uri请求,如右图所示,假如2号服务器挂掉了,我们就把所有属于2号服务器的请求分配给1号服务器~好啦~这就是一致性哈希算法~~~很重要哟,许多地方都有用到。

    除了支持web服务的负载均衡,nginx还支持其他服务的负载均衡,此时我们就得用到另外的模块stream和stream_proxy_module。不过这两个模块必须得是1.9.13以上的版本~并且默认stream并没有加载。得在编译时加入--with-stream选项,不过如果我们用的是预编译的rpm包安装的话,默认是有这个的~以下是/etc/nginx/nginx.conf


user  nginx;

worker_processes  1;

 

error_log  /var/log/nginx/error.log warn;

pid        /var/run/nginx.pid;

 

 

events {

    worker_connections  1024;

}

stream {

        upstream sshsrvs {

                server 192.168.10.130:22;

                server 192.168.10.131:22;

        }

 

        server {

                listen 172.16.100.6:22202;

                proxy_pass sshsrvs;

                proxy_timeout 60s;

                proxy_connect_timeout 10s;

        }

 

}

使用Nginx+Keepalived组建高可用负载平衡Web server集群

一,首先说明一下网络拓扑结构:

1,Nginx 反向代理Server(HA):

     ①Nginx master:192.168.1.157

     ②Nginx backup:192.168.1.158  

      虚拟IP统一为:192.168.1.110    

2,web服务器:

     192.168.1.160 ,192.168.1.161,192.168.1.162      即web服务器,已配置好 Tomcat(Jboss等皆可)和Java程序

3,MySQL 数据库Server

     mysql主从服务器


二,Nginx安装配置

1,安装

建议先用yum install yum-fastestmirror更新下源


下载并安装nginx1.0.9,下载文件均放到/usr/local/src目录下

cd /usr/local/src


①update yum

 yum -y update

 

②利用CentOS Linux系统自带的yum命令安装、升级所需的程序库

安装依赖包

#yum install gcc pcre pcre-devel zlib zlib-devel openssl openssl-devel


下载nginx

#cd /usr/local/src

#wget http://www.nginx.org/download/nginx-1.0.9.tar.gz

#tar zxvf nginx-1.0.9.tar.gz

#cd nginx-1.0.9


配置安装:

#./configure --prefix=/usr --sbin-path=/usr/sbin/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --pid-path=/var/run/nginx/nginx.pid --lock-path=/var/lock/nginx.lock --user=nginx --group=nginx --with-http_ssl_module --with-http_flv_module --with-http_gzip_static_module --http-log-path=/var/log/nginx/access.log --http-client-body-temp-path=/var/tmp/nginx/client/ --http-proxy-temp-path=/var/tmp/nginx/proxy/ --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/

#make

#make install


建立用户:

/usr/sbin/groupadd nginx

/usr/sbin/useradd -g nginx -M nginx

mkdir -p /var/tmp/nginx/client

启动nginx

#/usr/sbin/nginx



 ps:如果中途提示缺少库,直接yum install xxx即可。

 即:conf-path=/etc/nginx/nginx.conf,用户名为nginx,所属的组为nginx


       2,配置

Nginx负载均衡设置:


①修改配置文件:

vi /etc/nginx/nginx.conf

步骤1,添加负载均衡的http upstream模块

upstream  esbwebserver  {

  server   192.168.1.160:8888;

  server   192.168.1.161:8888;

}


步骤2,server指令

server

{

listen  80;

server_name  localhost;#注意此处为localhost


location / {

       proxy_pass        http://esbwebserver;# 添加的tomcat集群名称

       ......

}


②,重启Nginx,加载修改过的配置文件:

步骤1, 停止nginx引擎

killall -9 nginx

步骤2,启动nginx

/usr/sbin/nginx


到此为止,我们的负载均衡就实现了,下面实现Nginx的高可用,即双机热备。


三,Keepalived 安装配置

1,下载并安装keepalived-1.1.15.tar.gz,下载文件均放到/usr/local/src目录下

cd /usr/local/src

wget http://www.keepalived.org/software/keepalived-1.1.15.tar.gz


①解压缩

tar zxvf keepalived-1.1.15.tar.gz

 

②安装

cd keepalived-1.1.15

./configure --prefix=/usr/local/keepalived

make && make install

③安装成功后做成服务模式,方便启动和关闭

cp /usr/local/keepalived/sbin/keepalived  /usr/sbin/

cp /usr/local/keepalived/etc/sysconfig/keepalived  /etc/sysconfig/

cp /usr/local/keepalived/etc/rc.d/init.d/keepalived  /etc/init.d/



④ 分别设置主和备Nginx上的 安装Keepalived配置文件。

  

  配置文件位置:

 /usr/local/keepalived/etc/keepalived/keepalived.conf

 

 步骤一,先配置主Nginx server上的keepalived.conf文件,如下所示:

 ! Configuration File for keepalived

 

  global_defs {

  notification_email {

    644856452@qq.com

  }

  notification_email_from 644856452@qq.com

  smtp_server 127.0.0.1

  smtp_connect_timeout 30

  router_id LVS_DEVEL

}



vrrp_script check_run {

   script "/root/bin/nginx_check.sh"

   interval 5

}

vrrp_sync_group VG1 {

    group {

       VI_1

    }

}

vrrp_instance VI_1 {

   state MASTER

   interface eth0

   virtual_router_id 51

   mcast_src_ip 192.168.1.157

   priority 100

   advert_int 1

   authentication {

       auth_type PASS

       auth_pass 1111

   }

 track_script {

        check_run

    }


   virtual_ipaddress {

       192.168.1.110

   }

}


步骤二,配置backup 服务器的keepalived.conf文件,如下所示:

! Configuration File for keepalived


global_defs {

  notification_email {

    644856452@qq.com     

  }

  notification_email_from Alexandre.Cassen@firewall.loc

  smtp_server 127.0.0.1

  smtp_connect_timeout 30

  router_id LVS_DEVEL

}

vrrp_script check_run {

   script "/root/bin/nginx_check.sh"

   interval 5

}

vrrp_sync_group VG1 {

    group {

      VI_1 

    }

}



vrrp_instance VI_1 {

   state BACKUP

   interface eth0

   virtual_router_id 51

   priority 99

   advert_int 1

   authentication {

       auth_type PASS

       auth_pass 1111

   }

track_script {

        check_run

    }

   virtual_ipaddress {

       192.168.1.110

   }

}


参考下例配置:

-----------------------------------------------------带注释的示例----------------------------------------------------

在主服务器编写配置文件

vrrp_script check_run{

                script "/opt/nginx_pid.sh"         ###监控脚本

                interval 2                             ###监控时间

                weight 2                                ###如果检测返回值不为真weight 2 表示减2,权重值降低,backup server权重值>现Master的,切换

}

vrrp_instance VI_1 {

        state MASTER                           ### 设置为 主

        interface eth0                            ### 监控网卡    

        virtual_router_id 51                  ### 这个两台服务器必须一样

        priority 101                                 ### 权重值 MASTRE 一定要高于 BAUCKUP

        authentication {

                     auth_type PASS             ### 加密

                     auth_pass 1111          ###加密的密码,两台服务器一定要一样,不然会出错

}


       track_script {

                check_run     ### 执行监控的服务

        }


        virtual_ipaddress {

             192.168.1.110                          ###    VIP 地址

        }

}

6.在backup server  服务器 keepalived 配置

vrrp_script check_run{

                script "/opt/nginx_pid.sh"

                interval  2

                weight   2

}



vrrp_instance VI_1 {

       state BACKUP                                ### 设置为 辅机

        interface eth0

        virtual_router_id 51                      ### 与 MASTRE 设置 值一样

        priority 100                                     ### 比 MASTRE权重值 低


        authentication {

                     auth_type PASS

                     auth_pass eric                    ### 密码 与 MASTRE 一样

        }


        track_script {

                check_run

        }

virtual_ipaddress {

                 192.168.1.110

        }

}

----------------------------------------------over------------------------------------------------------------------- 


说明:  

1,绑定虚拟IP:

  ifconfig eth0:1 192.168.1.110 broadcast 192.168.1.255 netmask 255.255.255.0 up  

  route add -host 192.168.1.110 dev eth0:1


2,  启动,关闭keepalived :

 service keepalived start

 service keepalived stop

3,测试可用性:

①主Nginx停止Nginx或直接断网情况下(backup正常),访问虚拟IP:192.168.1.110的相关Web服务,正常,测试通过

②backup Nginx停止Nginx或直接断网情况下(Master正常),访问虚拟IP:192.168.1.110的相关Web服务,正常,测试通过