linux我是最小化安装的mini,安装完成后搭建本地yum,首先安装Development Tools开发工具组
1)在各服务器上修改主机名:
[root@LVS1 ~]# hostname LVS1
[root@RS1 ~]# hostname RS1
[root@RS2 ~]# hostname RS2
2)在RS1 RS2上安装httpd服务
[root@RS2 ~]# yum installhttpd –y
[root@RS2 ~]#/etc/init.d/httpd start
[root@RS1 ~]# yum installhttpd –y
[root@RS1 ~]# /etc/init.d/httpdstart
[root@RS1 ~]# cat/etc/httpd/conf/httpd.conf|grep DocumentRoot <==查找系统站点目录路径
# DocumentRoot: The directoryout of which you will serve your
DocumentRoot"/var/www/html"
# This should be changed towhatever you set DocumentRoot to.
# DocumentRoot/www/docs/dummy-host.example.com
[root@RS1 ~]# echo"RS1" >/var/www/html/index.html
[root@RS2 src]# echo"RS2" >/var/www/html/index.html
Httpd服务测试:
测试成功
二、安装ipvs
1、检查Load Balancer服务器是否已支持ipvs。
若有类似以下输出,则表示服务器已支持ipvs:
若服务器不支持ipvs,则需要手动下载ipvs并编译安装,相信你们的Linux版本都已支持ipvs
2、检查是否有必须的依赖包:Kernel-devel、gcc、openssl、openssl-devel、popt 。
rpm -q kernel-devel
rpm -q gcc
rpm -q openssl
rpm -q openssl-devel
rpm -q popt
安装完以下这些软件
[root@www.codesky.net ipvsadm-1.26]# rpm -qa | grep popt
popt-1.13-7.el6.x86_64
popt-devel-1.13-7.el6.x86_64
[root@www.codesky.net ipvsadm-1.26]# rpm -qa | grep libnl
libnl-1.1-14.el6.x86_64
libnl-devel-1.1-14.el6.x86_64
若有类似以下输出,则表示服务器已安装这些依赖包:
若服务器输出”package ** is not installed”则表示该包未安装,在安装光盘找到该rpm文件.由于本地yum已经搭建好了,这些包都可以使用yum安装
3、在Load Balancer服务器上安装ipvsadm。
访问官网下载ipvsadm软件:
很多新人在下载ipvsadm时犯了个小错误,直接在官网上下载个最高版本的tar.gz包到服务器上进行安装,而忽略了官网的说明。
1)、下载ipvsadm之前,先使用以下命令查看当前Load Balancer服务器内核版本:
这是我的输出:
其中被我手动标注红色的数字就是我的服务器内核版本,根据这个版本号到官网上下载对应该内核版本的ipvsadm版本。
我的2.6.32对应的ipvsadm版本为1.26,下载ipvsadm-1.26.tar.gz文件,1.25和1.26需要2.6.28-rc3及其以上的内核版本,请根据你的内核版本下载相应的安装文件,后续的安装步骤一致,不用担心。你也可以选择下载rpm包进行安装,在此不做讨论。
首先下载popt-static:具体原因可以查看
[root@host1 ~]# rpm -ivh popt-static-1.13-7.el6.x86_64.rpm
[root@host1 ~]# yum -y install kernel-devel make gcc openssl-devel libnl* popt*[root@host1 ~]# ln -s /usr/src/kernels/2.6.18-194.el5-x86_64/ /usr/src/linux[root@host1 ~]# tar -zxvf ipvsadm-1.26.tar.gz -C
/usr/src/[root@host1 ~]# cd /usr/src/ipvsadm-1.26/
[root@host1 ipvsadm-1.26]# make
[root@host1 ipvsadm-1.26]# make install
ipvsadm如果命令有输出表示已安装好ipvsadm
[root@host1 ~]# tar -zxvf keepalived-1.2.2.tar.gz -C /usr/src/
[root@host1 ~]# cd /usr/src/keepalived-1.2.2/
[root@host1 keepalived-1.2.2]# ./configure
[root@host1 keepalived-1.2.2]# make
[root@host1 keepalived-1.2.2]# make install
[root@host1 keepalived-1.2.2]# cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
[root@host1 keepalived-1.2.2]# cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
[root@host1 keepalived-1.2.2]# mkdir /etc/keepalived
[root@host1 keepalived-1.2.2]# cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
[root@host1 keepalived-1.2.2]# cp /usr/local/sbin/keepalived /usr/sbin/
若没有错误提示,则安装成功,使用ipvsadm命令验证:
概念:
1、VIP(virtual ip):用来提供virtual server服务的ip地址。分别绑定在Director一个物理网卡上(对外接收请求包)和RS的回环设备上(回环设备需要绑定两个ip,一个是127.0.0.1,另一个就是vip)。
2、DIP(director ip):绑定在Director上除vip外的另外一个物理网卡上,用来转发请求包到RS的RIP对应的mac上,此设备可以通过arp请求获取RIP对应的mac地址。
3、RIP(real server ip):绑定在RS上的一个物理网卡上,用来接收从Directory转发过来的请求包。
VIP指的是虚拟IP地址,还可以叫做LVS集群的服务IP,在DR、TUN模式中,数据包是直接返回给用户的,所以,在Director Server上以及集群的每个节点上都需要设置这个地址。此IP在Real Server上一般绑定在回环地址上,例如lo:0,同样,在Director Server上,虚拟IP绑定在真实的网络接口设备上,例如eth0:0
1、使用VS/NAT调度
这幅图就是VS/NAT的体系结构,NAT本身是一种将私有地址转换为合法IP地址的一种技术,在VS/NAT结构中,整个集群系统只有一个对外的合法地址,这个IP在Load Balancer上对外可见,其他的真实服务器与这个调度器组成了一个对外不可见的内网,Internet上的用户访问集群必须通过集群提供的对外IP访问调度器,调度器再利用NAT技术,将真实服务器置于网络上。
好了,根据以上描述的网络模型,画出我的拓扑图:
Load Balnacer和Client在模拟出的外网中,使用同一网段:192.168.1.0-255。Load Balancer与两台真实服务器在同一个局域网中,网段为:10.0.0.0-255。
我们可以使用VMware建立三个虚拟主机,全部装载Linux2.6以上的版本,三台虚拟主机以Bridged(桥接)的方式联网。其中一台虚拟主机用作Load Balancer,另外两台用作真实服务器。
1、在Load Balancer上运行以下脚本(由Joseph Mack提供):
#!/bin/sh
#------mini-HOWTO-setup-LVS-NAT-director----------
#set ip_forward ON for vs-nat director (1 on, 0 off).
cat /proc/sys/net/ipv4/ip_forward
echo "1" >/proc/sys/net/ipv4/ip_forward
#director is gw for realservers
#turn OFF icmp redirects (1 on, 0 off)
echo "0" >/proc/sys/net/ipv4/conf/all/send_redirects
cat /proc/sys/net/ipv4/conf/all/send_redirects
echo "0" >/proc/sys/net/ipv4/conf/default/send_redirects
cat /proc/sys/net/ipv4/conf/default/send_redirects
echo "0" >/proc/sys/net/ipv4/conf/eth0/send_redirects
cat /proc/sys/net/ipv4/conf/eth0/send_redirects
#setup DIP
/sbin/ifconfig eth0 10.0.0.1 broadcast 10.0.0.255 netmask 255.255.255.0
#setup VIP
/sbin/ifconfig eth0:0 192.168.1.11 broadcast 192.168.1.255 netmask 255.255.255.0
#set default gateway
/sbin/route add default gw 192.168.1.1 netmask 0.0.0.0 metric 1
#clear ipvsadm tables
/sbin/ipvsadm -C
#install LVS services with ipvsadm
#add telnet to VIP with rr sheduling
/sbin/ipvsadm -A -t 192.168.1.11:80 -s rr
#first realserver
#forward telnet to realserver 10.0.0.2 using LVS-NAT (-m), with weight=1
/sbin/ipvsadm -a -t 192.168.1.11:80 -r 10.0.0.2:80 -m -w 1
#check that realserver is reachable from director
ping -c 1 10.0.0.2
#second realserver
#forward telnet to realserver 10.0.0.3 using LVS-NAT (-m), with weight=1
/sbin/ipvsadm -a -t 192.168.1.11:80 -r 10.0.0.3:80 -m -w 1
#checking if realserver is reachable from director
ping -c 1 10.0.0.3
#list ipvsadm table
/sbin/ipvsadm
#------mini-HOWTO-setup-LVS-NAT-director----------
2、在第一台Real Server上运行以下脚本:
#!/bin/sh
#---------mini-HOWTO-setup-LVS-NAT-realserver-------
#setup IP
/sbin/ifconfig eth0 10.0.0.2 broadcast 10.0.0.255 netmask 255.255.255.0
#installing default gw 10.0.0.1 for vs-nat'
/sbin/route add default gw 10.0.0.1
#show routing table
/bin/netstat -rn
#checking if DEFAULT_GW is reachable
ping -c 1 10.0.0.1
#looking for VIP on director from realserver
ping -c 1 10.0.0.3
#set_realserver_ip_forwarding to OFF (1 on, 0 off).
echo "0" >/proc/sys/net/ipv4/ip_forward
cat /proc/sys/net/ipv4/ip_forward
#---------mini-HOWTO-setup-LVS-NAT-realserver-------
3、在第二台Real Server上运行以下脚本:
#!/bin/sh
#---------mini-HOWTO-setup-LVS-NAT-realserver-------
#setup IP
/sbin/ifconfig eth0 10.0.0.3 broadcast 10.0.0.255 netmask 255.255.255.0
#installing default gw 10.0.0.1 for vs-nat'
/sbin/route add default gw 10.0.0.1
#show routing table
/bin/netstat -rn
#checking if DEFAULT_GW is reachable
ping -c 1 10.0.0.1
#looking for VIP on director from realserver
ping -c 1 10.0.0.2
#set_realserver_ip_forwarding to OFF (1 on, 0 off).
echo "0" >/proc/sys/net/ipv4/ip_forward
cat /proc/sys/net/ipv4/ip_forward
#---------mini-HOWTO-setup-LVS-NAT-realserver-------
运行方法如下:
1)、可以用类似lvs_server命名文件,保存至任意位置。
2)、分别给予该文件执行权限。
3)、执行该脚本。
运行完成后,访问VIP(http://192.168.1.11),查看结果
注意事项: 1、VS/NAT的真实服务器可以使用任何机器,任何操作系统,支持大部分的网络服务(如:httpd、ftpd、telnetd等等),唯一的要求就是真实服务器必须支持TCP/IP,不过我们可以忽略这样要求。
2、在VS/NAT模式下,必须打开Load Balancer的ip_forward,关闭ICMP重定向。
3、所有的真实服务器网关地址必须指向到调度器的内网地址。
4、你的真实服务器上必须已部署好http服务器,并为缺省主页写入不同的内容以测试调度器调度结果。
5、客户机和真实服务器在两个不同的网络中,理论上也可以在一个网络中,需要做一些额外的设置。
2、使用VS/DR调度
首先,我们看一下,VS/DR在什么样的网络环境下使用,上图:
该图是官方提供的VS/DR体系结构图,在VS/DR模式下,Load Balancer和所有的Real Server在物理上有一个网卡通过不分断的局域网相连,调度器和真实服务器必须绑定同一VIP,该VIP在调度器上对外可见,而真实服务器上只需将VIP配置在Non-ARP网络设备上,它对外不可见,只是用于欺骗真实服务器用于处理目标地址为VIP的网络请求。真实服务器将请求处理后,直接返回给用户,不需要在通过调度器返回,所以在VS/DR模式下,真实服务器的网关地址不需要指向调度器。
来一个简单的拓扑图:
为了简化模拟过程,所有的机器全部在一个网段下,客户机的IP是192.168.1.10,Load Balancer同样提供一个对外可见的VIP192.168.1.11,其DIP与真实服务器在一个不分段的局域网中,可以使用交换机或者集线器连接,网关全部指向192.168.1.1。当然,你的真实服务器也可以使用其他路由器提供的互联网服务,只需要把网关指向它即可。
1、在Load Balancer上运行以下脚本(由Joseph Mack提供):
#!/bin/bash
#---------------mini-rc.lvs_dr-director------------------------
#set ip_forward OFF for lvs-dr director (1 on, 0 off)
#(there is no forwarding in the conventional sense for LVS-DR)
cat /proc/sys/net/ipv4/ip_forward
echo "0" >/proc/sys/net/ipv4/ip_forward
#director is not gw for realservers: leave icmp redirects on
echo 'setting icmp redirects (1 on, 0 off) '
echo "1" >/proc/sys/net/ipv4/conf/all/send_redirects
cat /proc/sys/net/ipv4/conf/all/send_redirects
echo "1" >/proc/sys/net/ipv4/conf/default/send_redirects
cat /proc/sys/net/ipv4/conf/default/send_redirects
echo "1" >/proc/sys/net/ipv4/conf/eth0/send_redirects
cat /proc/sys/net/ipv4/conf/eth0/send_redirects
#setup DIP
/sbin/ifconfig eth0 192.168.1.101 broadcast 192.168.1.255 netmask 255.255.255.0
#add ethernet device and routing for VIP 192.168.1.11
/sbin/ifconfig eth0:0 192.168.1.11 broadcast 192.168.1.11 netmask 255.255.255.255
/sbin/route add -host 192.168.1.11 dev eth0:0
#listing ifconfig info for VIP 192.168.1.11
/sbin/ifconfig eth0:0
#check VIP 192.168.1.11 is reachable from self (director)
/bin/ping -c 1 192.168.1.11
#listing routing info for VIP 192.168.1.11
/bin/netstat -rn
#setup_ipvsadm_table
#clear ipvsadm table
/sbin/ipvsadm -C
#installing LVS services with ipvsadm
#add telnet to VIP with round robin scheduling
/sbin/ipvsadm -A -t 192.168.1.11:80 -s rr
#forward telnet to realserver using direct routing with weight 1
/sbin/ipvsadm -a -t 192.168.1.11:80 -r 192.168.1.102:80 -g -w 1
#check realserver reachable from director
ping -c 1 192.168.1.102
#forward telnet to realserver using direct routing with weight 1
/sbin/ipvsadm -a -t 192.168.1.11:80 -r 192.168.1.103:80 -g -w 1
#check realserver reachable from director
ping -c 1 192.168.1.103
#displaying ipvsadm settings
/sbin/ipvsadm
#not installing a default gw for LVS_TYPE vs-dr
#---------------mini-rc.lvs_dr-director------------------------
2、在第一台Real Server上运行以下脚本:
#!/bin/bash
#----------mini-rc.lvs_dr-realserver------------------
#setup IP
/sbin/ifconfig eth0 192.168.1.102 broadcast 192.168.1.255 netmask 255.255.255.0
#installing default gw 192.168.1.1 for vs-dr
/sbin/route add default gw 192.168.1.1
#showing routing table
/bin/netstat -rn
#checking if DEFAULT_GW 192.168.1.1 is reachable
ping -c 1 192.168.1.1
#set_realserver_ip_forwarding to OFF (1 on, 0 off).
echo "0" >/proc/sys/net/ipv4/ip_forward
cat /proc/sys/net/ipv4/ip_forward
#looking for DIP 192.168.1.101
ping -c 1 192.168.1.101
#looking for VIP (will be on director)
ping -c 1 192.168.1.11
#install_realserver_vip
/sbin/ifconfig lo:0 192.168.1.11 broadcast 192.168.1.11 netmask 0xffffffff up
#ifconfig output
/sbin/ifconfig lo:0
#installing route for VIP 192.168.1.11 on device lo:0
/sbin/route add -host 192.168.1.11 dev lo:0
#listing routing info for VIP 192.168.1.11
/bin/netstat -rn
#hiding interface lo:0, will not arp
echo "1" >/proc/sys/net/ipv4/conf/all/hidden
cat /proc/sys/net/ipv4/conf/all/hidden
echo "1" >/proc/sys/net/ipv4/conf/lo/hidden
cat /proc/sys/net/ipv4/conf/lo/hidden
#----------mini-rc.lvs_dr-realserver------------------
2、在第二台Real Server上运行以下脚本:
#!/bin/bash
#----------mini-rc.lvs_dr-realserver------------------
#setup IP
/sbin/ifconfig eth0 192.168.1.103 broadcast 192.168.1.255 netmask 255.255.255.0
#installing default gw 192.168.1.1 for vs-dr
/sbin/route add default gw 192.168.1.1
#showing routing table
/bin/netstat -rn
#checking if DEFAULT_GW 192.168.1.1 is reachable
ping -c 1 192.168.1.1
#set_realserver_ip_forwarding to OFF (1 on, 0 off).
echo "0" >/proc/sys/net/ipv4/ip_forward
cat /proc/sys/net/ipv4/ip_forward
#looking for DIP 192.168.1.101
ping -c 1 192.168.1.101
#looking for VIP (will be on director)
ping -c 1 192.168.1.11
#install_realserver_vip
/sbin/ifconfig lo:0 192.168.1.11 broadcast 192.168.1.11 netmask 0xffffffff up
#ifconfig output
/sbin/ifconfig lo:0
#installing route for VIP 192.168.1.11 on device lo:0
/sbin/route add -host 192.168.1.11 dev lo:0
#listing routing info for VIP 192.168.1.11
/bin/netstat -rn
#hiding interface lo:0, will not arp
echo "1" >/proc/sys/net/ipv4/conf/all/hidden
cat /proc/sys/net/ipv4/conf/all/hidden
echo "1" >/proc/sys/net/ipv4/conf/lo/hidden
cat /proc/sys/net/ipv4/conf/lo/hidden
#----------mini-rc.lvs_dr-realserver------------------
脚本执行方法请参考VS/NAT模式。
运行完成后,访问VIP(http://192.168.1.11),查看结果
注意事项: 1、基本上大部分搭载着unices和Microsoft OS的服务器都可以在VS/DR模式下作为真实服务器使用。
2、Load Balancer和所有的Real Server在物理上必须有一个网卡通过不分断的局域网相连。
3、调度器上的VIP地址对外可见;真实服务器必须将VIP绑定到Nor-ARP网卡上,它对外不可见,只是用于欺骗真实服务器用于处理目标地址为VIP的网络请求。
4、在VS/DR模式下,无需使用ip_forward功能,因此为了安全考虑,关闭了该功能。
5、真实服务器不再使用调度器作为网关,因此打开调度器的ICMP重定向。
4、你的真实服务器上必须已部署好http服务器,并为缺省主页写入不同的内容以测试调度器调度结果。