haproxy部署与常用操作
目录

1. 简介
2. 安装
3. 配置
3.1. 规划目录
3.2. 主配置文件
3.3. 子配置
3.4. 详细配置说明
3.5. 启动管理
4. 访问管理
4.1. 前端
4.2. 后端

本文参考以下内容, 由个人重新整理验证发布

1. 简介

  • HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。
  • HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。
  • HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中, 同时可以保护你的web服务器不被暴露到网络上。
  • HAProxy实现了一种事件驱动, 单一进程模型,此模型支持非常大的并发连接数。多进程或多线程模型受内存限制 、系统调度器限制以及无处不在的锁限制,很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户空间(User-Space) 实现所有这些任务,所以没有这些问题。此模型的弊端是,在多核系统上,这些程序通常扩展性较差。这就是为什么他们必须进行优化以 使每个CPU时间片(Cycle)做更多的工作。

2. 安装

[root@00 software]# wget https://www.haproxy.org/download/1.8/src/haproxy-1.8.19.tar.gz [root@00 software]# tar -xzvf haproxy-1.8.19.tar.gz [root@00 software]# cd haproxy-1.8.19/ # 安装 # 内核版本,使用uname -r查看内核,如:2.6.18-371.el5,此时该参数就为linux26;kernel 大于2.6.28的用:TARGET=linux2628 [root@00 haproxy-1.8.19]# make TARGET=linux2628 ARCH=x86_64 PREFIX=/opt/haproxy # PREFIX=/opt/haproxy-1.8.19 [root@00 haproxy-1.8.19]# make install PREFIX=/opt/haproxy # PREFIX=/opt/haproxy-1.8.19 [root@00 haproxy-1.8.19]# useradd -u 1012 -M -s /sbin/nologin -d /opt/haproxy haproxy [root@00 haproxy-1.8.19]# chown -R haproxy.haproxy /opt/haproxy-1.8.19 # [root@00 haproxy-1.8.19]# ln -s /opt/haproxy-1.8.19 /opt/haproxy

3. 配置

3.1. 规划目录

# haproxy chroot,需要设置所有用户均不具有写权限 [root@00 haproxy-1.8.19]# mkdir /opt/haproxy/chroot && chmod 440 /opt/haproxy/chroot # 主配置文件目录 [root@00 haproxy-1.8.19]# mkdir /opt/haproxy/etc # 子配置文件目录,规划enabled 目录为 ready目录内正式启用的软连接文件 [root@00 haproxy-1.8.19]# mkdir /opt/haproxy/etc/{enabled,ready}/{tcp,http} -p # 完整目录结构 [root@00 haproxy-1.8.19]# tree /opt/haproxy/etc/ /opt/haproxy/etc/ ├── enabled │   ├── http │   │   └── example.cfg -> ../../ready/http/example.cfg │   └── tcp ├── haproxy.cfg └── ready ├── http │   └── example.cfg └── tcp 6 directories, 3 files

3.2. 主配置文件

# current config: /opt/haproxy/etc/haproxy.cfg ###### haproxy 进程信息设置 ###### global log 172.10.10. local0 maxconn 4096 #最大连接数 chroot /opt/haproxy/chroot #chroot装录 pidfile /opt/haproxy/haproxy.pid #haproxy pid stats socket /opt/haproxy/haproxy.sock mode 660 level admin #定义统计信息保存的位置,设置权限660,等级设置为管理,防止使用socat与sock通信是权限不够 user haproxy #用户nobody group haproxy #组nobody daemon #守护进程运行 nbproc 1 #进程数量 ##### 默认配置,均可通过后续设置覆盖当前设置 ###### defaults log global mode http #7层 http;4层tcp,如果要让haproxy支持虚拟主机,mode 必须设为http option httplog #记录haproxy 访问日志, http 日志格式 option httpclose #每次请求完毕后主动关闭http通道,haproxy不支持keep-alive,只能模拟这种模式的实现 option redispatch #serverId对应的服务器挂掉后,强制定向到其他健康的服务器 retries 3 #3次连接失败就认为是服务器不可用 option dontlognull #日志中不记录空连接,比如健康检查日志信息 option forwardfor header X-REAL-IP # 转发用户真实ip maxconn 2000 #最大连接数,受系统ulimit 设置影响 timeout connect 3600000 #连接超时(毫秒) timeout client 3600000 #客户端超时(毫秒) timeout server 3600000 #服务器超时(毫秒) listen stats bind 0.0.0.0:8888 stats enable # 显示状态页面 stats hide-version # 隐藏 haproxy 版本号 stats refresh 30s # 页面自动刷新时间 stats uri /haproxy-status # 统计页面url stats realm hello\ haproxy #统计页面密码框上提示文本 stats auth haproxy:haproxy # 设置监控页面的用户和密码,可以设置多个 #stats auth haproxy:haproxy

3.3. 子配置

# current config: /opt/haproxy/etc/ready/http/example.cfg ###### 前端配置 ###### frontend frontend_www.example.com_1 # bind 0.0.0.0:5000 mode http # acl url_static path_beg -i /static /images /javascript /stylesheets # acl url_static path_end -i .jpg .gif .png .css .js # use_backend static if url_static # 请求转发到那个后端 default_backend backend_www.example.com_1 #--------------------------------------------------------------------- # static backend for serving up images, stylesheets and such #--------------------------------------------------------------------- ###### 后端配置 ###### backend backend_www.example.com_1 option forwardfor header X-REAL-IP # 健康检查,发送一个HEAD请求,验证节点是否存活 option httpchk HEAD / HTTP/1.0 # 负载均衡模式roundrobin(轮询);source(ip hash);static-rr(权重轮询);leastconn(以服务器连接数轮询,连接数最低的优先连接) balance roundrobin # check: 启用健康检查 # inter 默认2秒检查 # rise 检查连续可以的次数,当超过该次数,加入该节点,可用次数一般设置稍大 # 1fall 检查连续不可用的次数,当超过该次数,剔除该节点 server node1 172.10.10.11:8081 check inter 2000 rise 30 fall 15 server node2 172.10.10.12:8081 check inter 2000 rise 30 fall 15

3.4. 详细配置说明

>> 点击展开 <<
###########全局配置######### global   log 127.0.0.1 local0 #[日志输出配置,所有日志都记录在本机,通过local0输出]   log 127.0.0.1 local1 notice #定义haproxy 日志级别[error warringinfo debug]   daemon #以后台形式运行harpoxy   nbproc 1 #设置进程数量   maxconn 4096 #默认最大连接数,需考虑ulimit-n限制   #user haproxy #运行haproxy的用户   #group haproxy #运行haproxy的用户所在的组   #pidfile /var/run/haproxy.pid #haproxy 进程PID文件   #ulimit-n 819200 #ulimit 的数量限制   #chroot /usr/share/haproxy #chroot运行路径   #debug #haproxy 调试级别,建议只在开启单进程的时候调试   #quiet ########默认配置############ defaults   log global   mode http #默认的模式mode { tcp|http|health },tcp是4层,http是7层,health只会返回OK   option httplog #日志类别,采用httplog   option dontlognull #不记录健康检查日志信息   retries 2 #两次连接失败就认为是服务器不可用,也可以通过后面设置   #option forwardfor #如果后端服务器需要获得客户端真实ip需要配置的参数,可以从Http Header中获得客户端ip   option httpclose #每次请求完毕后主动关闭http通道,haproxy不支持keep-alive,只能模拟这种模式的实现   #option redispatch #当serverId对应的服务器挂掉后,强制定向到其他健康的服务器,以后将不支持   option abortonclose #当服务器负载很高的时候,自动结束掉当前队列处理比较久的链接   maxconn 4096 #默认的最大连接数   timeout connect 5000ms #连接超时   timeout client 30000ms #客户端超时   timeout server 30000ms #服务器超时   #timeout check 2000 #心跳检测超时   #timeout http-keep-alive10s #默认持久连接超时时间   #timeout http-request 10s #默认http请求超时时间   #timeout queue 1m #默认队列超时时间   balance roundrobin #设置默认负载均衡方式,轮询方式   #balance source #设置默认负载均衡方式,类似于nginx的ip_hash   #balnace leastconn #设置默认负载均衡方式,最小连接数 ########统计页面配置######## listen stats   bind 0.0.0.0:1080 #设置Frontend和Backend的组合体,监控组的名称,按需要自定义名称   mode http #http的7层模式   option httplog #采用http日志格式   #log 127.0.0.1 local0 err #错误日志记录   maxconn 10 #默认的最大连接数   stats refresh 30s #统计页面自动刷新时间   stats uri /stats #统计页面url   stats realm XingCloud\ Haproxy #统计页面密码框上提示文本   stats auth admin:admin #设置监控页面的用户和密码:admin,可以设置多个用户名   stats auth Frank:Frank #设置监控页面的用户和密码:Frank   stats hide-version #隐藏统计页面上HAProxy的版本信息   stats admin if TRUE #设置手工启动/禁用,后端服务器(haproxy-1.4.9以后版本) ########设置haproxy 错误页面##### #errorfile 403 /home/haproxy/haproxy/errorfiles/403.http #errorfile 500 /home/haproxy/haproxy/errorfiles/500.http #errorfile 502 /home/haproxy/haproxy/errorfiles/502.http #errorfile 503 /home/haproxy/haproxy/errorfiles/503.http #errorfile 504 /home/haproxy/haproxy/errorfiles/504.http ########frontend前端配置############## frontend main   bind *:80 #这里建议使用bind *:80的方式,要不然做集群高可用的时候有问题,vip切换到其他机器就不能访问了。   acl web hdr(host) -i www.abc.com #acl后面是规则名称,-i为忽略大小写,后面跟的是要访问的域名,如果访问www.abc.com这个域名,就触发web规则,。   acl img hdr(host) -i img.abc.com #如果访问img.abc.com这个域名,就触发img规则。   use_backend webserver if web #如果上面定义的web规则被触发,即访问www.abc.com,就将请求分发到webserver这个作用域。   use_backend imgserver if img #如果上面定义的img规则被触发,即访问img.abc.com,就将请求分发到imgserver这个作用域。   default_backend dynamic #不满足则响应backend的默认页面 ###### >> ################################# ACL ################################# << ###### ########ACL策略定义######################### #如果请求的域名满足正则表达式返回true -i是忽略大小写 acl denali_policy hdr_reg(host) -i ^(www.inbank.com|image.inbank.com)$ #如果请求域名满足www.inbank.com 返回 true -i是忽略大小写 acl tm_policy hdr_dom(host) -i www.inbank.com #在请求url中包含sip_apiname=,则此控制策略返回true,否则为false acl invalid_req url_sub -i sip_apiname=#定义一个名为invalid_req的策略 #在请求url中存在timetask作为部分地址路径,则此控制策略返回true,否则返回false acl timetask_req url_dir -i timetask #当请求的header中Content-length等于0时返回 true acl missing_cl hdr_cnt(Content-length) eq 0 #########acl策略匹配相应################### #当请求中header中Content-length等于0 阻止请求返回403 block if missing_cl #block表示阻止请求,返回403错误,当前表示如果不满足策略invalid_req,或者满足策略timetask_req,则阻止请求。 block if !invalid_req || timetask_req #当满足denali_policy的策略时使用denali_server的backend use_backend denali_server if denali_policy #当满足tm_policy的策略时使用tm_server的backend use_backend tm_server if tm_policy #reqisetbe关键字定义,根据定义的关键字选择backend reqisetbe ^Host:\ img dynamic reqisetbe ^[^\ ]*\ /(img|css)/ dynamic reqisetbe ^[^\ ]*\ /admin/stats stats #以上都不满足的时候使用默认mms_server的backend default_backend mms ###### >> ################################# ACL ################################# << ###### ########backend后端配置############## backend webserver #webserver作用域   mode http   balance roundrobin #balance roundrobin 负载轮询,balance source 保存session值,支持static-rr,leastconn,first,uri等参数   option httpchk /index.html HTTP/1.0 #健康检查, 检测文件,如果分发到后台index.html访问不到就不再分发给它   server web1 10.16.0.9:8085 cookie 1 weight 5 check inter 2000 rise 2 fall 3   server web2 10.16.0.10:8085 cookie 2 weight 3 check inter 2000 rise 2 fall 3   #cookie 1表示serverid为1,check inter 1500 是检测心跳频率   #rise 2是2次正确认为服务器可用,fall 3是3次失败认为服务器不可用,weight代表权重 backend imgserver   mode http   option httpchk /index.php   balance roundrobin   server img01 192.168.137.101:80 check inter 2000 fall 3   server img02 192.168.137.102:80 check inter 2000 fall 3 backend dynamic   balance roundrobin   server test1 192.168.1.23:80 check maxconn 2000   server test2 192.168.1.24:80 check maxconn 2000 listen tcptest   bind 0.0.0.0:5222   mode tcp   option tcplog #采用tcp日志格式   balance source   #log 127.0.0.1 local0 debug   server s1 192.168.100.204:7222 weight 1   server s2 192.168.100.208:7222 weight 1

3.5. 启动管理

haproxy.init.sh
#!/bin/bash ################################################# # author 0x5c0f(初版作者https://zhang.ge/5125.html) # date 2019-04-11 收集整理 # email 1269505840@qq.com # web blog.cxd115.me # version 1.0 # last update 2019-04-11 # descript Use : haproxy.init.sh -h ################################################# PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin export PATH PROCESS_NAME=haproxy BASE_DIR=/opt/haproxy EXEC=$BASE_DIR/sbin/haproxy PID_FILE=$BASE_DIR/haproxy.pid DEFAULT_CONF=$BASE_DIR/etc/haproxy.cfg # COLOR print COLOR_RED=$(echo -e "\e[31;49m") COLOR_GREEN=$(echo -e "\e[32;49m") COLOR_RESET=$(echo -e "\e[0m") info() { echo "${COLOR_GREEN}$*${COLOR_RESET}"; } warn() { echo "${COLOR_RED}$*${COLOR_RESET}"; } print_usage() { info " Usage: $(basename $0) [start|stop|restart|status|test]" } #get Expanding configuration ext_configs() { CONFIGS= if [[ -d $BASE_DIR/etc/enabled ]]; then for FILE in $(find $BASE_DIR/etc/enabled -type l | sort -n); do CONFIGS="$CONFIGS -f $FILE" done echo $CONFIGS else echo fi } # check process status check_process() { PID=$(get_pid) if ps aux | awk '{print $2}' | grep -qw $PID 2>/dev/null; then true else false fi } # check Configuration file check_conf() { $EXEC -c -f $DEFAULT_CONF $(ext_configs) >/dev/null 2>&1 return $? } get_pid() { if [[ -f $PID_FILE ]]; then cat $PID_FILE else warn " $PID_FILE not found!" exit 1 fi } start() { if check_process; then warn " ${PROCESS_NAME} is already running!" else $EXEC -f $DEFAULT_CONF $(ext_configs) && echo -e " ${PROCESS_NAME} start [ $(info OK) ]" || echo -e " ${PROCESS_NAME} start [ $(warn Failed) ]" fi } stop() { if check_process; then PID=$(get_pid) kill -9 $PID >/dev/null 2>&1 echo -e " ${PROCESS_NAME} stop [ $(info OK) ]" else warn " ${PROCESS_NAME} is not running!" fi } restart() { if ! check_process ; then warn " ${PROCESS_NAME} is not running! Starting Now..." fi if $(check_conf); then PID=$(get_pid) $EXEC -f $DEFAULT_CONF $(ext_configs) -st $PID && echo -e " ${PROCESS_NAME} restart [ $(info OK) ]" || echo -e " ${PROCESS_NAME} restart [ $(warn Failed) ]" else warn " ${PROCESS_NAME} Configuration file is not valid, plz check!" echo -e " ${PROCESS_NAME} restart [ $(warn Failed) ]" fi } if [[ $# != 1 ]]; then print_usage exit 1 else case $1 in "start" | "START") start ;; "stop" | "STOP") stop ;; "restart" | "RESTART" | "-r") restart ;; "status" | "STATUS") if check_process; then info "${PROCESS_NAME} is running OK!" else warn " ${PROCESS_NAME} not running, plz check" fi ;; "test" | "TEST" | "-t") if check_conf; then info " Configuration file test Successfully." else warn " Configuration file test failed." fi ;; *) print_usage exit 1 ;; esac fi

4. 访问管理

4.1. 前端

  • 负载均衡vip 访问地址: http://0.0.0.0:5000
  • haproxy 管理访问地址: http://0.0.0.0:8888/haproxy-status

4.2. 后端

  1. 后端与haproxy socket 通信操作(需要socat支持)
# 节点启用维护模式 # echo "disable server backend_www.example.com_1/node1" |socat stdio /opt/haproxy/haproxy.sock # 节点关闭维护模式 # echo "enable server backend_www.example.com_1/node1" |socat stdio /opt/haproxy/haproxy.sock