冰河技术

# 《Nginx核心技术》第19章：Nginx实现四层负载均衡

作者：冰河
星球：http://m6z.cn/6aeFbs (opens new window)
博客：https://binghe.gitcode.host (opens new window)
文章汇总：https://binghe.gitcode.host/md/all/all.html (opens new window)
星球项目地址：https://binghe.gitcode.host/md/zsxq/introduce.html (opens new window)

沉淀，成长，突破，帮助他人，成就自我。

  • 本章难度：★★☆☆☆
  • 本章重点：用最简短的篇幅介绍Nginx最核心的知识，掌握Nginx实现四层负载均衡，并能够灵活运用到实际项目中，维护高可用系统。

大家好，我是冰河~~

今天给大家介绍《Nginx核心技术》的第19章：Nginx实现四层负载均衡，多一句没有，少一句不行，用最简短的篇幅讲述Nginx最核心的知识，好了，开始今天的内容。

# 19.1 静态负载均衡

Nginx的四层静态负载均衡需要启用ngx_stream_core_module模块，默认情况下，ngx_stream_core_module是没有启用的，需要在安装Nginx时，添加--with-stream配置参数启用，如下所示。

./configure --prefix=/usr/local/nginx-1.25.1 --with-openssl=/usr/local/src/openssl-1.0.2s --with-pcre=/usr/local/src/pcre-8.43 --with-zlib=/usr/local/src/zlib-1.2.11 --with-http_realip_module --with-http_stub_status_module --with-http_ssl_module --with-http_flv_module --with-http_gzip_static_module --with-cc-opt=-O3 --with-stream  --with-http_ssl_module
1

# 19.1.1 配置四层负载均衡

配置HTTP负载均衡时，都是配置在http指令下，配置四层负载均衡，则是在stream指令下，结构如下所示.

stream {
	upstream mysql_backend {
		......
	}
	server {
		......
	}
}
1
2
3
4
5
6
7
8

# 19.1.2 配置upstream

upstream mysql_backend {
	server 192.168.175.201:3306 max_fails=2 fail_timeout=10s weight=1;
	server 192.168.175.202:3306 max_fails=2 fail_timeout=10s weight=1;
	least_conn;
}
1
2
3
4
5

# 19.1.3 配置server

server {
	#监听端口，默认使用的是tcp协议，如果需要UDP协议，则配置成listen 3307 udp;
	listen 3307;
	#失败重试
	proxy_next_upstream on;
	proxy_next_upstream_timeout 0;
	proxy_next_upstream_tries 0;
	#超时配置
	#配置与上游服务器连接超时时间，默认60s
	proxy_connect_timeout 1s;
	#配置与客户端上游服务器连接的两次成功读/写操作的超时时间，如果超时，将自动断开连接
	#即连接存活时间，通过它可以释放不活跃的连接，默认10分钟
	proxy_timeout 1m;
	#限速配置
	#从客户端读数据的速率，单位为每秒字节数，默认为0，不限速
	proxy_upload_rate 0;
	#从上游服务器读数据的速率，单位为每秒字节数，默认为0，不限速
	proxy_download_rate 0;
	#上游服务器
	proxy_pass mysql_backend;
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

配置完之后，就可以连接Nginx的3307端口，访问数据库了。

# 19.1.4 Nginx完整配置

完整的Nginx配置如下：

user  hadoop hadoop;
worker_processes  auto;
 
error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;
 
#pid        logs/nginx.pid;
 
 
events {
	use epoll;
    worker_connections  1024;
}
 
stream {
	upstream mysql_backend {
		server 192.168.175.100:3306 max_fails=2 fail_timeout=10s weight=1;
		least_conn;
	}
	server {
		#监听端口，默认使用的是tcp协议，如果需要UDP协议，则配置成listen 3307 udp;
		listen 3307;
		#失败重试
		proxy_next_upstream on;
		proxy_next_upstream_timeout 0;
		proxy_next_upstream_tries 0;
		#超时配置
		#配置与上游服务器连接超时时间，默认60s
		proxy_connect_timeout 1s;
		#配置与客户端上游服务器连接的两次成功读/写操作的超时时间，如果超时，将自动断开连接
		#即连接存活时间，通过它可以释放不活跃的连接，默认10分钟
		proxy_timeout 1m;
		#限速配置
		#从客户端读数据的速率，单位为每秒字节数，默认为0，不限速
		proxy_upload_rate 0;
		#从上游服务器读数据的速率，单位为每秒字节数，默认为0，不限速
		proxy_download_rate 0;
		#上游服务器
		proxy_pass mysql_backend;
	}
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

# 19.2 动态负载均衡

配置Nginx四层静态负载均衡后，重启Nginx时，Worker进程一直不退出，会报错，如下所示。

nginx: worker process is shutting down;
1

这是因为Worker进程维持的长连接一直在使用，所以无法退出，只能杀掉进程。可以使用Nginx的四层动态负载均衡解决这个问题。

使用Nginx的四层动态负载均衡有两种方案：使用商业版的Nginx和使用开源的nginx-stream-upsync-module模块。 注意：四层动态负载均衡可以使用nginx-stream-upsync-module模块，七层动态负载均衡可以使用nginx-upsync-module模块。

使用如下命令为Nginx添加nginx-stream-upsync-module模块和nginx-upsync-module模块，此时，Nginx会同时支持四层动态负载均衡和HTTP七层动态负载均衡。

git clone https://github.com/xiaokai-wang/nginx-stream-upsync-module.git
git clone https://github.com/weibocom/nginx-upsync-module.git
git clone https://github.com/CallMeFoxie/nginx-upsync.git
cp -r nginx-stream-upsync-module/* nginx-upsync/nginx-stream-upsync-module/
cp -r nginx-upsync-module/* nginx-upsync/nginx-upsync-module/
 
./configure --prefix=/usr/local/nginx-1.25.1 --with-openssl=/usr/local/src/openssl-1.0.2s --with-pcre=/usr/local/src/pcre-8.43 --with-zlib=/usr/local/src/zlib-1.2.11 --with-http_realip_module --with-http_stub_status_module --with-http_ssl_module --with-http_flv_module --with-http_gzip_static_module --with-cc-opt=-O3 --with-stream --add-module=/usr/local/src/nginx-upsync --with-http_ssl_module
1
2
3
4
5
6
7

# 19.2.1 配置四层负载均衡

配置HTTP负载均衡时，都是配置在http指令下，配置四层负载均衡，则是在stream指令下，结构如下所示，

stream {
	upstream mysql_backend {
		......
	}
	server {
		......
	}
}
1
2
3
4
5
6
7
8

# 19.2.2 配置upstream

upstream mysql_backend {
	server 127.0.0.1:1111;	#占位server
	upsync 192.168.175.100:8500/v1/kv/upstreams/mysql_backend upsync_timeout=6m upsync_interval=500ms upsync_type=consul strong_dependency=off;
	upsync_dump_path /usr/local/nginx-1.25.1/conf/mysql_backend.conf;
}
1
2
3
4
5
  • upsync指令指定从consul哪个路径拉取上游服务器配置；
  • upsync_timeout配置从consul拉取上游服务器配置的超时时间；
  • upsync_interval配置从consul拉取上游服务器配置的间隔时间；
  • upsync_type指定使用consul配置服务器；
  • strong_dependency配置nginx在启动时是否强制依赖配置服务器，如果配置为on，则拉取配置失败时Nginx启动同样失败。
  • upsync_dump_path指定从consul拉取的上游服务器后持久化到的位置，这样即使consul服务器出现问题，本地还有一个备份。

# 19.2.3 配置server

server {
	#监听端口，默认使用的是tcp协议，如果需要UDP协议，则配置成listen 3307 udp;
	listen 3307;
	#失败重试
	proxy_next_upstream on;
	proxy_next_upstream_timeout 0;
	proxy_next_upstream_tries 0;
	#超时配置
	#配置与上游服务器连接超时时间，默认60s
	proxy_connect_timeout 1s;
	#配置与客户端上游服务器连接的两次成功读/写操作的超时时间，如果超时，将自动断开连接
	#即连接存活时间，通过它可以释放不活跃的连接，默认10分钟
	proxy_timeout 1m;
	#限速配置
	#从客户端读数据的速率，单位为每秒字节数，默认为0，不限速
	proxy_upload_rate 0;
	#从上游服务器读数据的速率，单位为每秒字节数，默认为0，不限速
	proxy_download_rate 0;
	#上游服务器
	proxy_pass mysql_backend;
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

# 19.2.4 从Consul添加上游服务器

curl -X PUT -d "{\"weight\":1, \"max_fails\":2, \"fail_timeout\":10}" http://192.168.175.100:8500/v1/kv/upstreams/mysql_backend/192.168.175.201:3306
curl -X PUT -d "{\"weight\":1, \"max_fails\":2, \"fail_timeout\":10}" http://192.168.175.100:8500/v1/kv/upstreams/mysql_backend/192.168.175.202:3306
1
2

# 19.2.5 从Consul删除上游服务器

curl -X DELETE http://192.168.175.100:8500/v1/kv/upstreams/mysql_backend/192.168.175.202:3306
1

# 19.2.6 配置upstream_show

server {
	listen 13307;
	upstream_show;
}
1
2
3
4

配置upstream_show指令后，可以通过curl http://192.168.175.100:13307/upstream_show查看当前动态负载均衡上游服务器列表。

# 19.2.7 Nginx完整配置

Nginx的完整配置如下：

user  hadoop hadoop;
worker_processes  auto;
 
error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;
 
#pid        logs/nginx.pid;
 
 
events {
	use epoll;
    worker_connections  1024;
}
 
stream {
	upstream mysql_backend {
		server 127.0.0.1:1111;	#占位server
		upsync 192.168.175.100:8500/v1/kv/upstreams/mysql_backend upsync_timeout=6m upsync_interval=500ms upsync_type=consul strong_dependency=off;
		upsync_dump_path /usr/local/nginx-1.25.1/conf/mysql_backend.conf;
	}
	server {
		#监听端口，默认使用的是tcp协议，如果需要UDP协议，则配置成listen 3307 udp;
		listen 3307;
		#失败重试
		proxy_next_upstream on;
		proxy_next_upstream_timeout 0;
		proxy_next_upstream_tries 0;
		#超时配置
		#配置与上游服务器连接超时时间，默认60s
		proxy_connect_timeout 1s;
		#配置与客户端上游服务器连接的两次成功读/写操作的超时时间，如果超时，将自动断开连接
		#即连接存活时间，通过它可以释放不活跃的连接，默认10分钟
		proxy_timeout 1m;
		#限速配置
		#从客户端读数据的速率，单位为每秒字节数，默认为0，不限速
		proxy_upload_rate 0;
		#从上游服务器读数据的速率，单位为每秒字节数，默认为0，不限速
		proxy_download_rate 0;
		#上游服务器
		proxy_pass mysql_backend;
	}
	server {
		listen 13307;
		upstream_show;
	}
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

好了，相信各位小伙伴们对Nginx实现四层负载均衡，有了进一步的了解，我是冰河，我们下期见~~

# 星球服务

加入星球，你将获得：

1.项目学习：微服务入门必备的SpringCloud Alibaba实战项目、手写RPC项目—所有大厂都需要的项目【含上百个经典面试题】、深度解析Spring6核心技术—只要学习Java就必须深度掌握的框架【含数十个经典思考题】、Seckill秒杀系统项目—进大厂必备高并发、高性能和高可用技能。

2.框架源码：手写RPC项目—所有大厂都需要的项目【含上百个经典面试题】、深度解析Spring6核心技术—只要学习Java就必须深度掌握的框架【含数十个经典思考题】。

3.硬核技术：深入理解高并发系列（全册）、深入理解JVM系列（全册）、深入浅出Java设计模式（全册）、MySQL核心知识（全册）。

4.技术小册：深入理解高并发编程（第1版）、深入理解高并发编程（第2版）、从零开始手写RPC框架、SpringCloud Alibaba实战、冰河的渗透实战笔记、MySQL核心知识手册、Spring IOC核心技术、Nginx核心技术、面经手册等。

5.技术与就业指导：提供相关就业辅导和未来发展指引，冰河从初级程序员不断沉淀，成长，突破，一路成长为互联网资深技术专家，相信我的经历和经验对你有所帮助。

冰河的知识星球是一个简单、干净、纯粹交流技术的星球，不吹水，目前加入享5折优惠，价值远超门票。加入星球的用户，记得添加冰河微信：hacker_binghe，冰河拉你进星球专属VIP交流群。

# 星球重磅福利

跟冰河一起从根本上提升自己的技术能力，架构思维和设计思路，以及突破自身职场瓶颈，冰河特推出重大优惠活动，扫码领券进行星球，直接立减149元，相当于5折， 这已经是星球最大优惠力度！


领券加入星球，跟冰河一起学习《SpringCloud Alibaba实战》、《手撸RPC专栏》和《Spring6核心技术》，更有已经上新的《大规模分布式Seckill秒杀系统》，从零开始介绍原理、设计架构、手撸代码。后续更有硬核中间件项目和业务项目，而这些都是你升职加薪必备的基础技能。

100多元就能学这么多硬核技术、中间件项目和大厂秒杀系统，如果是我，我会买他个终身会员！

# 其他方式加入星球

特别提醒： 苹果用户进圈或续费，请加微信 hacker_binghe 扫二维码，或者去公众号 冰河技术 回复 星球 扫二维码加入星球。

# 星球规划

后续冰河还会在星球更新大规模中间件项目和深度剖析核心技术的专栏，目前已经规划的专栏如下所示。

# 中间件项目

  • 《大规模分布式定时调度中间件项目实战（非Demo）》：全程手撸代码。
  • 《大规模分布式IM（即时通讯）项目实战（非Demo）》：全程手撸代码。
  • 《大规模分布式网关项目实战（非Demo）》：全程手撸代码。
  • 《手写Redis》：全程手撸代码。
  • 《手写JVM》全程手撸代码。

# 超硬核项目

  • 《从零落地秒杀系统项目》：全程手撸代码，在阿里云实现压测（已上新）。
  • 《大规模电商系统商品详情页项目》：全程手撸代码，在阿里云实现压测。
  • 其他待规划的实战项目，小伙伴们也可以提一些自己想学的，想一起手撸的实战项目。。。

既然星球规划了这么多内容，那么肯定就会有小伙伴们提出疑问：这么多内容，能更新完吗？我的回答就是：一个个攻破呗，咱这星球干就干真实中间件项目，剖析硬核技术和项目，不做Demo。初衷就是能够让小伙伴们学到真正的核心技术，不再只是简单的做CRUD开发。所以，每个专栏都会是硬核内容，像《SpringCloud Alibaba实战》、《手撸RPC专栏》和《Spring6核心技术》就是很好的示例。后续的专栏只会比这些更加硬核，杜绝Demo开发。

小伙伴们跟着冰河认真学习，多动手，多思考，多分析，多总结，有问题及时在星球提问，相信在技术层面，都会有所提高。将学到的知识和技术及时运用到实际的工作当中，学以致用。星球中不少小伙伴都成为了公司的核心技术骨干，实现了升职加薪的目标。

# 联系冰河

# 加群交流

本群的宗旨是给大家提供一个良好的技术学习交流平台，所以杜绝一切广告！由于微信群人满 100 之后无法加入，请扫描下方二维码先添加作者 “冰河” 微信(hacker_binghe)，备注：星球编号。

冰河微信

# 公众号

分享各种编程语言、开发技术、分布式与微服务架构、分布式数据库、分布式事务、云原生、大数据与云计算技术和渗透技术。另外，还会分享各种面试题和面试技巧。内容在 冰河技术 微信公众号首发，强烈建议大家关注。

公众号：冰河技术

# 视频号

定期分享各种编程语言、开发技术、分布式与微服务架构、分布式数据库、分布式事务、云原生、大数据与云计算技术和渗透技术。另外，还会分享各种面试题和面试技巧。

视频号：冰河技术

# 星球

加入星球 冰河技术 (opens new window)，可以获得本站点所有学习内容的指导与帮助。如果你遇到不能独立解决的问题，也可以添加冰河的微信：hacker_binghe， 我们一起沟通交流。另外，在星球中不只能学到实用的硬核技术，还能学习实战项目！

关注 冰河技术 (opens new window)公众号，回复 星球 可以获取入场优惠券。

知识星球：冰河技术

← 第20章：Nginx+Lua脚本+Redis实现自动封禁访问频率过高IP →