前段时间帮一个中型企业做了一个集群方案配置，目前已经安全运行了一个月，而且速度非常快，稳定性也很强，作为一般中型企业负载均衡的方案，非常的合适。但是由于资本有限，没有做到高可用性方案。

一，拓扑图如下：

 

 
二，架构说明及配置
1, haproxy 服务器： 192.168.1.5            
2, varnish服务器集群：  192.168.1.20;192.168.1.21
3, nginx+fastcgi 服务器：  192.168.1.50
4, memcached 服务器：memcached我是装在nginx+fastcgi服务器上的，192.168.1.50
5, mysql服务器：192.168.1.60
三，具体配置以下我们来一个个讲解，我们先从后端来个个讲解，
1，在192.168.1.60 服务器上安装 mysql
2,  在192.168.1.50 服务器上安装 nginx+fastcgi.
mysql+nginx+fastcgi 配置，这里不讲解了，网上包括我的博客里面都有讲解如何时安装。
3，memcached安装配置。
  这里的memcached 我安装在  192.168.1.50 服务器上 安装步骤如下：
 （1）下载所需要的软件 (memcached 目前最新版本为1.4.13)
安装memcached需要libevent库支持，我们下载libevent1.3版本即可
  
 
     
     
          
  1. #wget  http://memcached.googlecode.com/files/memcached-1.4.13.tar.gz  
    2.  
          
  2. #wget  http://www.monkey.org/~provos/libevent-1.3.tar.gz  
    3.  
         
 
     
       （2）先安装libevent： 
      
   
     
 
     
 
     
     
          
  1. # tar zxvf libevent-1.3.tar.gz 
    2.  
          
  2. # cd libevent-1.3 
    3.  
          
  3. # ./configure --prefix=/usr 
    4.  
          
  4. # make 
    5.  
          
  5. # make install  
    6.  
         
 
     
       （3）安装memcached，同时需要安装中指定libevent的安装位置： 
     
 
     
 
     
     
          
  1. # cd /tmp 
    2.  
          
  2. # tar zxvf memcached-1.4.13.tar.gz 
    3.  
          
  3. # cd memcached-1.4.13 
    4.  
          
  4. # ./configure --with-libevent=/usr 
    5.  
          
  5. # make 
    6.  
          
  6. # make install 
    7.  
         
 
     
       安装完成后会把memcached放到 /usr/local/bin/memcached  
     
 
     
       （4）fastcgi 安装memcache扩展模块，让php支持memcached 
     
 
     
        1.在http://pecl.php.net/package/memcache 选择相应想要下载的memcache版本。 
     
 
     
        2.安装PHP的memcache扩展 
     
 
     
         
     
 
     
 
     
     
          
  1. #tar vxzf memcache-2.2.1.tgz 
    2.  
          
  2. #cd memcache-2.2.1 
    3.  
          
  3. #/usr/local/webserver/php/bin/phpize 
    4.  
          
  4. #./configure--enable-memcache --with-php-config=/usr/local/webserver/php/bin/php-config --with-zlib-dir 
    5.  
          
  5. #make 
    6.  
          
  6. #make install 
    7.  
         
 
     
       3.上述安装完后会有类似这样的提示： 
     
 
     
         
     
 
     
 
     
     
          
  1. Installing shared extensions: /usr/local/webserver/php/lib/php/extensions/no-debug-non-zts-20060613/
    2.  
         
 
     
       4,在php.ini 添加一行来载入memcache扩展： 
     
 
     
         
     
 
     
 
     
     
          
  1. #extension = "memcache.so" 
    2.  
         
 
     
         如下图 
     
 
     
 
     
5,重新加载php 配置文件
 
     
       启动memcached  
     
 
     
         
     
 
     
 
     
     
          
  1. # /usr/local/bin/memcached -d -m 1024 -u root -l 127.0.0.1 -p 11211 -c 10240 -P /tmp/memcached.pid  
    2.  
         
 
     
       我们来看一下是否正常启动 
     
 
     
       端口已正常启动。 
     
 
     
         
     
 
     
 
     
     
          
  1. memcache启动参数备注： 
    2.  
          
  2. -d选项是启动一个守护进程， 
    3.  
          
  3. -m是分配给Memcache使用的内存数量，单位是MB，我这里是10MB， 
    4.  
          
  4. -u是运行Memcache的用户，我这里是root， 
    5.  
          
  5. -l是监听的服务器IP地址，为了安全我这里指定了 127.0.0.1， 
    6.  
          
  6. -p是设置Memcache监听的端口，我这里设置了11211，最好是1024以上的端口， 
    7.  
          
  7. -c选项是最大运行的并发连接数，默认是1024，我这里设置10240，按照你服务器的负载量来设定 
    8.  
          
  8. -P是设置保存Memcache的pid文件，我这里是保存在 /tmp/memcached.pid， 
    9.  
          
  9.  
    10.  
         
 
     
       Memcached安装完毕。我们来测试一下是否能缓存mysql数据 
     
 
     
       我们在此服务器上架设一个php网站，此处我先用的是占用资源比较大的magento程序网站，调试好配置文件，绑定一下host文件。看网站是否能正常打开。 
     
 
     
         
     
 
     
 
     
       好，网站打开正常，接下来我们看一下，memcached是否发挥了他的作用 
     
 
     
       这里我们用一个软件 memadmin （网上可以下载到） 来监控一下memcached的缓存命中率，如下图： 
     
 
     
 
     
 
     
       命中率还是挺高的。 
     
 
     
         
     
 
     
       4，varnish服务器安装 
     
 
     
       以下在192.168.1.20 和 192.168.1.21 上操作 
     
 
     
       下载varnish软件  （此处下载3.0版本） 
     
 
     
         
     
 
     
 
     
     
          
  1. #wget   http://repo.varnish-cache.org/source/varnish-3.0.0.tar.gz  
    2.  
          
  2. #tar -xvf varnish-3.0.0.tar.gz 
    3.  
          
  3. #cd varnish-3.0.0 
    4.  
          
  4. #./configure --prefix=/usr/local/varnish 
    5.  
          
  5. #make &&make install 
    6.  
         
 
     
       至此安装完成。 
     
 
     
       我们来配置一下 
     
 
     
         
     
 
     
 
     
     
          
  1. #vim /usr/local/varnish/etc/varnish/vcl.conf 
    2.  
         
 
     
       以下为配置代码：(除backend 及vcl_recv外，其他地方无需更改，这里是更改其访问的主机名，及定义后端服务器地址，字数有限，其他代码这里就不解释了) 
     
 
     
         
     
 
     
 
     
     
          
  1. #Cache for linuxtone sites 
    2.  
          
  2. #backend vhost 
    3.  
          
  3. backend  wwwyaozhibingceshicom { 
    4.  
          
  4. .host = "www.yaozhibingceshi.com"; 
    5.  
          
  5. .port = "80"; 
    6.  
          
  6. } 
    7.  
          
  7. #acl 
    8.  
          
  8. acl purge { 
    9.  
          
  9.   "localhost"; 
    10.  
          
  10.   "127.0.0.1"; 
    11.  
          
  11.   "192.168.0.0"/24; 
    12.  
          
  12. } 
    13.  
          
  13. sub vcl_recv { 
    14.  
          
  14.         if (req.http.Accept-Encoding) { 
    15.  
          
  15.             if (req.url ~ "\.(jpg|png|gif|jpeg|flv)$" ) { 
    16.  
          
  16.                 remove req.http.Accept-Encoding; 
    17.  
          
  17.                 remove req.http.Cookie; 
    18.  
          
  18.             } else if (req.http.Accept-Encoding ~ "gzip") { 
    19.  
          
  19.                 set req.http.Accept-Encoding = "gzip"; 
    20.  
          
  20.             } else if (req.http.Accept-Encoding ~ "deflate") { 
    21.  
          
  21.                 set req.http.Accept-Encoding = "deflate"; 
    22.  
          
  22.             } else { 
    23.  
          
  23.                 remove req.http.Accept-Encoding; 
    24.  
          
  24.             } 
    25.  
          
  25.         } 
    26.  
          
  26.            if (req.http.host ~  "(.*)yaozhibingceshi.com") { 
    27.  
          
  27.                        set req.backend = wwwyaozhibingceshicom; 
    28.  
          
  28.                  } 
    29.  
          
  29.             else { 
    30.  
          
  30.                         error 404 "This website is maintaining or not exist！"; 
    31.  
          
  31.                 } 
    32.  
          
  32.   if (req.request == "PURGE") { 
    33.  
          
  33.      if (!client.ip ~purge) { 
    34.  
          
  34.        error 405 "Not Allowed"; 
    35.  
          
  35.    } 
    36.  
          
  36. #.dd..... 
    37.  
          
  37.    return(lookup); 
    38.  
          
  38.   } 
    39.  
          
  39. #...GET...url...jpg,png,gif. ..cookie 
    40.  
          
  40.   if (req.request == "GET"&& req.url ~ "\.(png|gif|jpeg|jpg|ico|swf|css|js|html|htm|gz|tgz|bz2|tbz|mp3|ogg|mp4|flv|f4v|pdf)$") { 
    41.  
          
  41.         unset req.http.cookie; 
    42.  
          
  42.   } 
    43.  
          
  43. #..GET...url.php....cache.... 
    44.  
          
  44.   if (req.request =="GET"&&req.url ~ "\.php($|\?)"){ 
    45.  
          
  45.         return (pass); 
    46.  
          
  46.   } 
    47.  
          
  47. #     if (req.restarts == 0) { 
    48.  
          
  48.         if (req.http.x-forwarded-for) { 
    49.  
          
  49.             set req.http.X-Forwarded-For = 
    50.  
          
  50.                 req.http.X-Forwarded-For + ", " + client.ip; 
    51.  
          
  51.         } else { 
    52.  
          
  52.             set req.http.X-Forwarded-For = client.ip; 
    53.  
          
  53.         } 
    54.  
          
  54. #   } 
    55.  
          
  55. #........pipe.. 
    56.  
          
  56.     if (req.request != "GET" && 
    57.  
          
  57.       req.request != "HEAD" && 
    58.  
          
  58.       req.request != "PUT" && 
    59.  
          
  59.       req.request != "POST" && 
    60.  
          
  60.       req.request != "TRACE" && 
    61.  
          
  61.       req.request != "OPTIONS" && 
    62.  
          
  62.       req.request != "DELETE") { 
    63.  
          
  63.         return (pipe); 
    64.  
          
  64.     } 
    65.  
          
  65. #..GET .HEAD..... 
    66.  
          
  66.     if (req.request != "GET" && req.request != "HEAD") { 
    67.  
          
  67.         return (pass); 
    68.  
          
  68.     } 
    69.  
          
  69.     if (req.http.Authorization) { 
    70.  
          
  70.         return (pass); 
    71.  
          
  71.     } 
    72.  
          
  72.     return (lookup); 
    73.  
          
  73. } 
    74.  
          
  74. #..url+host hash...... 
    75.  
          
  75. sub vcl_hash { 
    76.  
          
  76.     hash_data(req.url); 
    77.  
          
  77.     if (req.http.host) { 
    78.  
          
  78.         hash_data(req.http.host); 
    79.  
          
  79.     } else { 
    80.  
          
  80.         hash_data(server.ip); 
    81.  
          
  81.     } 
    82.  
          
  82.     return (hash); 
    83.  
          
  83. } 
    84.  
          
  84. # .....purge ..... 
    85.  
          
  85. sub vcl_hit { 
    86.  
          
  86.    if (req.request == "PURGE") { 
    87.  
          
  87.        set obj.ttl = 0s; 
    88.  
          
  88.        error 200 "Purged"; 
    89.  
          
  89.     } 
    90.  
          
  90.     return (deliver); 
    91.  
          
  91. } 
    92.  
          
  92. sub vcl_fetch { 
    93.  
          
  93.           if (req.url ~ "\.(jpeg|jpg|png|gif|gz|tgz|bz2|tbz|mp3|ogg|ico|swf|flv|dmg|js|css|html|htm)$") { 
    94.  
          
  94.                    set beresp.ttl = 2d; 
    95.  
          
  95.                    set beresp.http.expires = beresp.ttl; 
    96.  
          
  96.                    set beresp.http.Cache-Control = "max-age=172800"; 
    97.  
          
  97.                    unset beresp.http.set-cookie; 
    98.  
          
  98.           } 
    99.  
          
  99.           if (req.url ~ "\.(dmg|js|css|html|htm)$") { 
    100.  
          
  100.                    set beresp.do_gzip = true; 
    101.  
          
  101.           } 
    102.  
          
  102.           if (beresp.status == 503) { 
    103.  
          
  103.                          set beresp.saintmode = 15s; 
    104.  
          
  104.           } 
    105.  
          
  105. } 
    106.  
          
  106. sub vcl_deliver { 
    107.  
          
  107.         set resp.http.x-hits = obj.hits ; 
    108.  
          
  108.         if (obj.hits > 0) { 
    109.  
          
  109.                 set resp.http.X-Cache = "HIT You!"; 
    110.  
          
  110.         } else { 
    111.  
          
  111.                 set resp.http.X-Cache = "MISS Me!"; 
    112.  
          
  112.         } 
    113.  
          
  113. } 
    114.  
         
 
     
       配置文件保存退出 ,并启动 varnish,如下图 
     
 
     
 
     
       由于我这域名没有注册，所以我们在这两台机器的hosts文件里绑定一下 
     
 
     
         
     
 
     
 
     
       另外一台机器我们同样配置 
     
 
     
       Varnish 已经成功启动了,我们来分别把域名在本地绑定一下，直接访问varnish服务器，看是否能正常打开网站，并查看缓存合中率 
     
 
     
 
     
 
     
       从上图可以看出来，绑定varnish 服务器网站是可以正常打开，而且从varnish自带的命令 varnishstat 来看，平均缓存命中率能达到 92%，命中率也是非常的高！另一台同样的测试方法 
     
 
     
       至此，varnish 服务器集群安装配置完成。 
     
 
     
       5，Haproxy 服务器安装配置 
     
 
     
       以下配置在 192.168.1.5;192.168.1.6 服务器上运行 
     
 
     
       下载 haproxy 软件 （目前最新版本为1.4.19） 
     
 
     
         
     
 
     
 
     
     
          
  1. wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.19.tar.gz   
    2.  
          
  2. #tar -xvf haproxy-1.4.19.tar.gz 
    3.  
          
  3. #cd haproxy-1.4.19 
    4.  
          
  4. #make TARGET=linux26 PREFIX=/usr/local/haproxy 
    5.  
          
  5. #make install PREFIX=/usr/local/haproxy 
    6.  
         
 
     
       安装完成，接下来配置一下 我解析几个比较重要的参数 
     
 
     
         
     
 
     
 
     
     
          
  1. # cd /usr/local/haproxy 
    2.  
          
  2. # vim haproxy.conf 
    3.  
          
  3. global 
    4.  
          
  4.         maxconn 5120 
    5.  
          
  5.         chroot /usr/local/haproxy 
    6.  
          
  6.         uid 99 
    7.  
          
  7.         gid 99 
    8.  
          
  8.         daemon 
    9.  
          
  9.         quiet 
    10.  
          
  10.         nbproc  2 
    11.  
          
  11.         pidfile /usr/local/haproxy/haproxy.pid 
    12.  
          
  12. defaults 
    13.  
          
  13.         log     global 
    14.  
          
  14.         mode    http 
    15.  
          
  15.         option  httplog 
    16.  
          
  16.         option  dontlognull 
    17.  
          
  17.         log 127.0.0.1 local3 
    18.  
          
  18.         retries 3 
    19.  
          
  19.         option redispatch 
    20.  
          
  20.         maxconn 20000 
    21.  
          
  21.         contimeout      5000 
    22.  
          
  22.         clitimeout      50000 
    23.  
          
  23.         srvtimeout      50000 
    24.  
          
  24. listen www.yaozhibingceshi.com 0.0.0.0:80 
    25.  
          
  25.        mode http 
    26.  
          
  26.        stats uri /status                     (后端服务器状态查看地址)   
    27.  
          
  27.        stats realm Haproxy\ statistics 
    28.  
          
  28.        stats auth admin:admin              （状态查看页面登陆帐号密码） 
    29.  
          
  29.        balance source    （调度算法，调度算法有很多，我这里用source是和nginx的ip_hash同理，解决session问题) 
    30.  
          
  30.        option httpclose 
    31.  
          
  31.        option forwardfor 
    32.  
          
  32. server app1_1 192.168.1.20:80 cookie app1inst1 check inter 2000 rise 2 fall 5 
    33.  
          
  33. server app1_2 192.168.1.21:80 cookie app1inst2 check inter 2000 rise 2 fall 5 
    34.  
         
 
     
       最下面两行，定义了后端的两台服务器，如果有更多，再另起一行，根据上面的格式写上即可。 
     
 
     
       配置好后，启动haproxy  并查看是否启动成功 
     
 
     
 
     
       这样看，是启动成功了的 
     
 
     
       好的，我们来把域名。绑定到这台haproxy服务器上看网站是否能正常打开。 
     
 
     
 
     
       我们发现，网站也是可以正常打开的， 
     
 
     
       haproxy 有宕机检测功能，当后端服务器宕机后，他能自动检测，并禁止链接再发往宕机的机器. 
     
 
     
       注：haproxy 后端服务器状态查看方法 
     
 
     
       配置文件里注明了   stats uri /status  即访问   即可查看后端服务器状态 
     
 
     
       如图： 
     
 
     
         
     
 
     
 
     
 
 
     
       这次方案由于资本有限，所以在服务器这块，大大的减少了。如果做到高可用性， 
     
 
     
       应该要做到 haproxy 集群，nginx+fastcgi集群，以及数据库这块的集群。 
     
 
     
       但是道理都是一样的，只是多加一些服务器，要达到千万级PV的网站，借用老男孩的一句来说，就是“把所有的用户访问请求都尽量往前推 ”。 
     
 
     
 
      QQ：410018348