Top

NSD Project1 DAY03

  1. 案例1：Keepalived高可用
  2. 案例2：部署Ceph分布式存储

1 案例1：Keepalived高可用

1.1 问题

部署两台代理服务器，实现如下效果：

1.2 方案

实验拓扑如图-1所示，做具体实验前请先配置好环境。

图-1

备注：实际操作中DNS服务代理服务器部署在同一台主机上（节约虚拟机资源）。

主机配置如表-1所示。

表-1

1.3 步骤

实现此案例需要按照如下步骤进行。

步骤一：配置第二台代理服务器

1）部署HAProxy

安装软件，手动修改配置文件，添加如下内容。

  1. [root@proxy2 ~]# yum -y install haproxy 
  2. [root@proxy2 ~]# vim /etc/haproxy/haproxy.cfg
  3. listen wordpress *:80        #监听80端口
  4.   balance roundrobin        #轮询算法
  5.   server web1 192.168.2.11:80 check inter 2000 rise 2 fall 3
  6.   server web2 192.168.2.12:80 check inter 2000 rise 2 fall 3
  7.   server web3 192.168.2.13:80 check inter 2000 rise 2 fall 3
  8.  
  9. [root@proxy2 ~]# systemctl start haproxy
  10. [root@proxy2 ~]# systemctl enable haproxy
  11. [root@proxy2 ~]# firewall-cmd --set-default-zone=trusted
  12. [root@proxy2 ~]# setenforce  0
  13. [root@proxy2 ~]# sed -i  '/SELINUX/s/enforcing/permissive/'  /etc/selinux/config

步骤二：为两台代理服务器配置keepalived

1）配置第一台代理服务器proxy（192.168.4.5）。

  1. [root@proxy ~]# yum install -y keepalived
  2. [root@proxy ~]# vim /etc/keepalived/keepalived.conf
  3. global_defs {
  4.   router_id  proxy1                #设置路由ID号
  5.   vrrp_iptables                    #设置防火墙规则（手动添加该行）
  6. }
  7. vrrp_instance VI_1 {
  8.   state MASTER                         #主服务器为MASTER（备服务器需要修改为BACKUP）
  9.   interface eth0                    #网卡名称（不能照抄网卡名）
  10.   virtual_router_id 51                
  11.   priority 100                     #服务器优先级,优先级高优先获取VIP（实验需要修改）
  12.   advert_int 1
  13.   authentication {
  14.     auth_type pass
  15.     auth_pass 1111                #主备服务器密码必须一致
  16.   }
  17.   virtual_ipaddress {                #谁是主服务器谁获得该VIP（实验需要修改）
  18. 192.168.4.80 
  19. }    
  20. }
  21. [root@proxy ~]# systemctl start keepalived
  22. [root@proxy ~]# systemctl enable keepalived

2）配置第二台代理服务器proxy（192.168.4.6）。

  1. [root@proxy2 ~]# yum install -y keepalived
  2. [root@proxy2 ~]# vim /etc/keepalived/keepalived.conf
  3. global_defs {
  4.   router_id  proxy2                        #设置路由ID号
  5. vrrp_iptables                               #设置防火墙规则（手动添加该行）
  6. }
  7. vrrp_instance VI_1 {
  8.   state BACKUP                         #主服务器为MASTER（备服务器需要修改为BACKUP）
  9.   interface eth0                    #网卡名称（不能照抄网卡名）
  10.   virtual_router_id 51                
  11.   priority 50                         #服务器优先级,优先级高优先获取VIP
  12.   advert_int 1
  13.   authentication {
  14.     auth_type pass
  15.     auth_pass 1111                       #主备服务器密码必须一致
  16.   }
  17.   virtual_ipaddress {                   #谁是主服务器谁获得该VIP
  18. 192.168.4.80 
  19. }    
  20. }
  21. [root@proxy2 ~]# systemctl start keepalived
  22. [root@proxy2 ~]# systemctl enable keepalived

步骤三：修改DNS服务器

1）修改网站域名对应的解析记录，解析到新的VIP地址。

192.168.4.5为DNS服务器，DNS配置文件相关知识请参考第一阶段课程。

  1. [root@proxy ~]# vim /var/named/lab.com.zone
  2. $TTL 1D
  3. @       IN SOA  @ rname.invalid. (
  4.                                         0       ; serial
  5.                                         1D      ; refresh
  6.                                         1H      ; retry
  7.                                         1W      ; expire
  8.                                         3H )    ; minimum
  9. @       NS      dns.lab.com.
  10. dns     A       192.168.4.5
  11. www     A       192.168.4.80

2）重启DNS服务

  1. [root@proxy ~]# systemctl restart named

2 案例2：部署Ceph分布式存储

2.1 问题

部署Ceph分布式存储，实现如下效果：

2.2 方案

实验拓扑如图-2所示，做具体实验前请先配置好环境。

图-2

备注：实际操作中DNS服务代理服务器部署在同一台主机上（节约虚拟机资源）。

主机配置如表-2所示。

表-2

2.3 步骤

实现此案例需要按照如下步骤进行。

步骤一：准备实验环境

1）把3台虚拟机全部关机,添加光盘和磁盘:

每台虚拟机都添加一个光驱；

做如下相同操作:

右击虚拟机,选【设置】---【添加】---【CD|DVD驱动器】--【完成】；

点击刚刚新建的光盘[CD|DVD],勾选使用ISO映像文件--[浏览]；

找到自己真机的ceph10.iso加载即可。

添加磁盘：所有3台ceph服务器都添加2块20G磁盘。

启动所有虚拟机后，查看磁盘情况:

  1.     [root@node1 ~]# lsblk
  2.     [root@node2 ~]# lsblk
  3.     [root@node3 ~]# lsblk

所有主机设置防火墙和SELinux

  1. [root@node1 ~]# firewall-cmd --set-default-zone=trusted
  2. [root@node1 ~]# sed -i '/SELINUX/s/enforcing/permissive/' /etc/selinux/config
  3. [root@node1 ~]# setenforce 0
  4.  
  5. [root@node2 ~]# firewall-cmd --set-default-zone=trusted
  6. [root@node2 ~]# sed -i '/SELINUX/s/enforcing/permissive/' /etc/selinux/config
  7. [root@node2 ~]# setenforce 0
  8.  
  9. [root@node3 ~]# firewall-cmd --set-default-zone=trusted
  10. [root@node3 ~]# sed -i '/SELINUX/s/enforcing/permissive/' /etc/selinux/config
  11. [root@node3 ~]# setenforce 0

2）所有主机挂载ceph光盘和系统光盘（根据实际情况挂载，不能照抄）

  1. [root@node1 ~]# umount /dev/sr0
  2. [root@node1 ~]# umount /dev/sr1
  3. [root@node1 ~]# mkdir /ceph
  4. [root@node1 ~]# vim /etc/fstab
  5.     /dev/sr0    /ceph     iso9660   defaults   0  0
  6.     /dev/sr1    /media    iso9660   defaults   0  0
  7. [root@node1 ~]# mount -a
  8.  
  9. [root@node2 ~]# umount /dev/sr0
  10. [root@node2 ~]# umount /dev/sr1
  11. [root@node2 ~]# mkdir /ceph
  12. [root@node2 ~]# vim /etc/fstab
  13.     /dev/sr0    /ceph     iso9660   defaults   0  0
  14.     /dev/sr1    /media    iso9660   defaults   0  0
  15. [root@node2 ~]# mount -a
  16. [root@node3 ~]# umount /dev/sr0
  17. [root@node3 ~]# umount /dev/sr1
  18. [root@node3 ~]# mkdir /ceph
  19. [root@node3 ~]# vim /etc/fstab
  20.     /dev/sr0    /ceph     iso9660   defaults   0  0
  21.     /dev/sr1    /media    iso9660   defaults   0  0
  22. [root@node3 ~]# mount -a

3）在node1配置SSH密钥，让node1可用无密码连接node1,node2,node3

  1. [root@node1 ~]# ssh-keygen  -f /root/.ssh/id_rsa  -N  ''
  2. #-f后面跟密钥文件的名称（创建密钥到哪个文件）
  3. #-N  ''设置密钥的密码为空（不要给密钥配置密码）
  4. [root@node1 ~]# for i in   41  42  43
  5. do
  6. ssh-copy-id  192.168.2.$i
  7. done
  8. #通过ssh-copy-id将密钥传递给node1，node2，node3

4)修改/etc/hosts域名解析记录（不要删除原文件的数据），同步给所有ceph节点。

  1. [root@node1 ~]# vim /etc/hosts      #修改文件，手动添加如下内容（不要删除原文件的数据）
  2. 192.168.2.41    node1
  3. 192.168.2.42     node2
  4. 192.168.2.43    node3
  5.  
  6. [root@node1 ~]# for i in 41 42 43
  7. do
  8.      scp /etc/hosts 192.168.2.$i:/etc
  9. done

5）为所有ceph节点配置yum源，并将配置同步给所有节点

提示：前面已经将ceph的光盘挂载到/ceph目录。

  1. [root@node1 ~]# cat /etc/yum.repos.d/ceph.repo
  2. [mon]
  3. name=mon
  4. baseurl=file:///ceph/MON
  5. gpgcheck=0
  6. [osd]
  7. name=osd
  8. baseurl=file:///ceph/OSD
  9. gpgcheck=0
  10. [tools]
  11. name=tools
  12. baseurl=file:///ceph/Tools
  13. gpgcheck=0
  14. [root@node1 ~]# yum repolist                #验证YUM源软件数量
  15. 源标识            源名称                    状态
  16. Dvd                redhat                    9,911
  17. Mon                mon                        41
  18. Osd                osd                        28
  19. Tools            tools                    33
  20. repolist: 10,013
  21.  
  22. [root@node1 ~]# for i in 41 42 43
  23. do
  24.      scp /etc/yum.repos.d/ceph.repo 192.168.2.$i:/etc/yum.repos.d/
  25. done

6）配置NTP服务器同步时间。

node1做服务器。

  1. [root@node1 ~]# vim /etc/chrony.conf
  2. allow 192.168.2.0/24        #修改26行
  3. local stratum 10            #修改29行(去注释即可)
  4. [root@node1 ~]# systemctl restart chronyd

node2和node3做客户端

  1. [root@node2 ~]# vim /etc/chrony.conf
  2. server 192.168.2.41   iburst              #配置文件第二行，手动加入该行内容
  3. [root@node2 ~]# systemctl restart chronyd
  4. [root@node2 ~]# chronyc sources -v
  5.  
  6. [root@node3 ~]# vim /etc/chrony.conf
  7. server 192.168.2.41   iburst              #配置文件第二行，手动加入该行内容
  8. [root@node3 ~]# systemctl restart chronyd
  9. [root@node3 ~]# chronyc sources -v

步骤二：部署ceph集群

1）给node1主机安装ceph-deploy，创建工作目录，初始化配置文件。

  1. [root@node1 ~]# yum -y install ceph-deploy
  2. [root@node1 ~]# mkdir ceph-cluster
  3. [root@node1 ~]# cd ceph-cluster

2）给所有ceph节点安装ceph相关软件包

  1. [root@node1 ceph-cluster]# for i in node1 node2 node3
  2. do
  3.      ssh $i "yum -y install ceph-mon ceph-osd ceph-mds"
  4. done

3）初始化mon服务

  1. [root@node1 ceph-cluster]# ceph-deploy new node1 node2 node3
  2. #生成ceph配置文件
  3. [root@node1 ceph-cluster]# ceph-deploy mon create-initial
  4. #拷贝ceph配置文件给node1,node2,node3，启动所有主机的mon服务
  5. [root@node1 ceph-cluster]# ceph -s                    #查看状态（此时失败是正常的）
  6.     cluster 9f3e04b8-7dbb-43da-abe6-b9e3f5e46d2e
  7.      health HEALTH_ERR
  8.      monmap e2: 3 mons at
  9.  {node1=192.168.2.41:6789/0,node2=192.168.2.42:6789/0,node3=192.168.2.43:6789/0}
  10.      
  11. osdmap e45: 0 osds: 0 up, 0 in

4）使用ceph-deploy工具初始化数据磁盘（仅node1操作），硬盘名称根据实际情况填写，不能照抄。

  1. [root@node1 ceph-cluster]# ceph-deploy disk  zap  node1:sdb  node1:sdc    
  2. [root@node1 ceph-cluster]# ceph-deploy disk  zap  node2:sdb  node2:sdc
  3. [root@node1 ceph-cluster]# ceph-deploy disk  zap  node3:sdb  node3:sdc

5）初始化OSD集群，磁盘名称根据实际情况填写。

  1. [root@node1 ceph-cluster]# ceph-deploy osd create  node1:sdb  node1:sdc  
  2. #每个磁盘都会被自动分成两个分区；一个固定5G大小；一个为剩余所有容量
  3. #5G分区为Journal缓存；剩余所有空间为数据盘。
  4. [root@node1 ceph-cluster]# ceph-deploy osd create  node2:sdb  node2:sdc
  5. [root@node1 ceph-cluster]# ceph-deploy osd create  node3:sdb  node3:sdc 
  6.  
  7. [root@node1 ceph-cluster]# ceph -s                 #查看集群状态，状态为OK

步骤三：部署ceph文件系统

1）启动mds服务（可以在node1或node2或node3启动，也可以在多台主机启动mds）

  1. [root@node1 ceph-cluster]# ceph-deploy mds create node3

2）创建存储池（文件系统由inode和block组成）

  1. [root@node1 ceph-cluster]# ceph osd pool create cephfs_data 64
  2. [root@node1 ceph-cluster]# ceph osd pool create cephfs_metadata 64
  3. [root@node1 ceph-cluster]# ceph osd lspools      #查看共享池
  4. 0 rbd,1 cephfs_data,2 cephfs_metadata

3）创建文件系统

  1. [root@node1 ceph-cluster]# ceph fs new myfs1 cephfs_metadata cephfs_data
  2. [root@node1 ceph-cluster]# ceph fs ls
  3. name: myfs1, metadata pool: cephfs_metadata, data pools: [cephfs_data ]

步骤四：迁移网站数据到ceph集群

1）卸载web1，web2，web3的NFS共享。

暂停服务防止有人实时读写文件。

  1. [root@web1 ~]# /usr/local/nginx/sbin/nginx -s stop
  2. [root@web2 ~]# /usr/local/nginx/sbin/nginx -s stop
  3. [root@web3 ~]# /usr/local/nginx/sbin/nginx -s stop
  4. [root@web1 ~]# umount /usr/local/nginx/html
  5. [root@web2 ~]# umount /usr/local/nginx/html
  6. [root@web3 ~]# umount /usr/local/nginx/html
  7. [root@web1 ~]# vim /etc/fstab
  8. #192.168.2.31:/web_share/html /usr/local/nginx/html/ nfs defaults 0 0
  9. [root@web2 ~]# vim /etc/fstab
  10. #192.168.2.31:/web_share/html /usr/local/nginx/html/ nfs defaults 0 0
  11. [root@web3 ~]# vim /etc/fstab
  12. #192.168.2.31:/web_share/html /usr/local/nginx/html/ nfs defaults 0 0

2）web服务器永久挂载Ceph文件系统（web1、web2、web3都需要操作）。

在任意ceph节点，如node1查看ceph账户与密码。

  1. [root@node1 ~]# cat /etc/ceph/ceph.client.admin.keyring 
  2. [client.admin]
  3.     key = AQA0KtlcRGz5JxAA/K0AD/uNuLI1RqPsNGC7zg==

/etc/rc.local是开机启动脚本，任何命令放在该文件中都是开机自启。

ceph-common是ceph的客户端软件。

  1. [root@web1 ~]# yum -y install ceph-common
  2. [root@web2 ~]# yum -y install ceph-common
  3. [root@web3 ~]# yum -y install ceph-common
  4.  
  5. [root@web1 ~]#  mount -t ceph 192.168.2.41:6789:/ /usr/local/nginx/html/ \
  6. -o name=admin,secret=AQA0KtlcRGz5JxAA/K0AD/uNuLI1RqPsNGC7zg==
  7. [root@web1 ~]# echo 'mount -t ceph 192.168.2.41:6789:/ /usr/local/nginx/html/ \
  8. -o name=admin,secret=AQA0KtlcRGz5JxAA/K0AD/uNuLI1RqPsNGC7zg==' >> /etc/rc.local 
  9. [root@web1 ~]# chmod +x /etc/rc.local
  10.  
  11. [root@web2 ~]#  mount -t ceph 192.168.2.41:6789:/ /usr/local/nginx/html/ \
  12. -o name=admin,secret=AQA0KtlcRGz5JxAA/K0AD/uNuLI1RqPsNGC7zg==
  13. [root@web2 ~]# echo 'mount -t ceph 192.168.2.41:6789:/ /usr/local/nginx/html/ \
  14. -o name=admin,secret=AQA0KtlcRGz5JxAA/K0AD/uNuLI1RqPsNGC7zg==' >> /etc/rc.local 
  15. [root@web2 ~]# chmod +x /etc/rc.local
  16.  
  17. [root@web3 ~]#  mount -t ceph 192.168.2.41:6789:/ /usr/local/nginx/html/ \
  18. -o name=admin,secret=AQA0KtlcRGz5JxAA/K0AD/uNuLI1RqPsNGC7zg==
  19. [root@web3 ~]# echo 'mount -t ceph 192.168.2.41:6789:/ /usr/local/nginx/html/ \
  20. -o name=admin,secret=AQA0KtlcRGz5JxAA/K0AD/uNuLI1RqPsNGC7zg==' >> /etc/rc.local 
  21. [root@web3 ~]# chmod +x /etc/rc.local

另一种解决方案，还可以通过fstab实现永久挂载。

提示：如果希望使用fstab实现永久挂载，客户端需要额外安装libcephfs1软件包。

  1. [root@web1 ~]# yum -y install libcephfs1
  2. [root@web1 ~]# vim /etc/fstab
  3. … …
  4. 192.168.2.41:6789:/ /usr/local/nginx/html/    ceph   defaults,_netdev,name=admin,secret=AQCVcu9cWXkgKhAAWSa7qCFnFVbNCTB2DwGIOA== 0 0

第三种挂载方案：对于高可用的问题，可以在mount时同时写入多个IP。

  1. 临时命令：
  2. [root@web1 ~]# mount -t ceph  \
  3. 192.168.2.41:6789,192.168.2.42:6789,192.168.2.43:6789:/ /usr/local/nginx/html  \
  4. -o name=admin,secret=密钥
  5. 永久修改：
  6. [root@web1 ~]# vim /etc/fstab
  7. 192.168.2.41:6789,192.168.2.42:6789,192.168.2.43:6789:/ /usr/local/nginx/html/ \
  8. ceph defaults,_netdev,name=admin,secret=密钥 0 0

3)迁移NFS服务器中的数据到Ceph存储

登陆NFS服务器备份数据，将备份数据拷贝给web1或web2或web3，tar备份数据时注意使用-p选项保留文件权限。

  1. [root@nfs ~]# cd /web_share/html/
  2. [root@nfs html]# tar -czpf /root/html.tar.gz ./*
  3. [root@nfs html]# scp /root/html.tar.gz 192.168.2.11:/usr/local/nginx/html/

登陆web1将数据恢复到Ceph共享目录

  1. [root@web1 html]# tar -xf html.tar.gz
  2. [root@web1 html]# rm -rf html.tar.gz

4）恢复web服务

  1. [root@web1 ~]# /usr/local/nginx/sbin/nginx
  2. [root@web2 ~]# /usr/local/nginx/sbin/nginx
  3. [root@web3 ~]# /usr/local/nginx/sbin/nginx

附加知识（常见面试题）

1) 如何使用awk查看TCP连接状态？

答：ss -ant |awk '{print $1}'

netstat -ant |awk '{print $6}'

2) 有个txt文件内容如下：

http://a.domain.com/l.html

http://b.domain.com/l.html

http://c.domain.com/l.html

http://a.domain.com/2.html

http://b.domain.com/2.html

http://a.domain.com/3.html

要求：编写脚本获取主机名、域名，并统计每个域名出现的次数，并排序。

答：

  1. #！/bin/bash
  2. awk -F"[/.]" '{print $3}' txt    #单独获取主机名
  3. awk -F"[/]" '{print $3}'  txt    #获取完整域名
  4. awk -F"[/]" '{IP[$3]++} END{for(i in IP){print IP[i],i}}' txt | sort -n

3) 至少说出一种linux下实现高可用的方案名称？

答：keepalived，HeartBeat

4）简述下负载均衡与高可用的概念？

答：

LB（Load_balancing）: 多台服务器平均响应客户端的多次连接请求。

HA（High Availability）: 主备模式，主服务器宕机后，备用服务器才接替工作。

5）列举几种你知道的LVS调度算法？

答：

轮询（Round Robin）

加权轮询（Weighted Round Robin）

最少连接（Least Connections）

加权最少连接（ Weighted Least Connections ）

源地址哈希值（source hash）

6）如果你们公司的网站访问很慢，你会如何排查？

答：

查看流量(Zabbix,ifconfig,sar,ping延迟… …)

系统负载(Zabbix,uptime,sar,top,ps,free查看CPU和内存)

日志（数据库日志-慢查询日志、web服务器日志、ELK）

DNS解析；ss端口状态、并发量；本机时间（时间错误会导致服务器故障）

浏览器F12（开发者工具）

7）你会用什么方法来查看某个应用服务的流量使用情况?

答：

ifconfig eth0（查看网卡整体流量）

iftop（需要安装iftop软件包，实时查看具体IP、端口的流量，iftop -P）

iptraf-ng (需要安装iptraf-ng软件包，实时查看IP、端口的流量)

sar -n DEV（需要安装sysstat软件包，查看历史网卡流量，或者实时查看流量）

nethogs eth0（需要安装nethogs软件包，实时查看进程流量）

查看网站的访问日志（利用awk统计资源的大小并求和）

通过zabbix查看软件流量