Swoole MySQL Proxy
一个基于MySQL协议,Swoole开发的MySQL数据库连接池
原理
将数据库连接作为对象存储在内存中,当用户需要访问数据库时,首次会建立连接,后面并非建立一个新的连接,
而是从连接池中取出一个已建立的空闲连接对象。 使用完毕后,用户也并非将连接关闭,而是将连接放回连接池中
,以供下一个请求访问使用。而连接的建立、断开都由连接池自身来管理。
同时,还可以通过设置连接池的参数来控制连接池中的初始连接数、连接的上下限数以及每个连接的最大使用次
数、最大空闲时间等等。 也可以通过其自身的管理机制来监视数据库连接的数量、使用情况等。
超出最大连接数会采用协程挂起,等到有连接关闭再恢复协程继续操作。
特性
- 支持读写分离
- 支持数据库连接池,能够有效解决PHP带来的数据库连接瓶颈
- 支持SQL92标准
- 支持协程调度
- 支持多个数据库连接,多个数据库,多个用户,灵活搭配
- 遵守MySQL原生协议,跨语言,跨平台的通用中间件代理
- 支持MySQL事务
- 支持HandshakeV10协议版本
- 完美兼容MySQL4.1-8.0
- 兼容各大框架,无缝提升性能
设计初衷
PHP 没有连接池,所以高并发时数据库会出现连接打满的情况,Mycat
等数据库中间件会出现部分 SQL
无法使
用,例如不支持批量添加等,而且过于臃肿。 所以就自己编写了这个仅支持连接池和读写分离的轻量级中间件,使
用Swoole
协程调度 HandshakeV10
协议转发使程序更加稳定,不用像 Mycat
一样解析所有 SQL
包体,增加复杂度。
环境要求
Swoole >= 2.1.3
PHP >= 7.0
安装
(推荐)直接下载最新发行版的 PHAR 文件,解压即用:
https://github.com/louislivi/SMProxy/releases/latest
或者使用 Git 切换任意版本:
1 | git clone https://github.com/louislivi/SMProxy.git |
运行
需要给予 bin/SMProxy
执行权限。
1 | SMProxy [ start | stop | restart | status | reload ] [ -c | --config <configuration_path> | --console ] |
Options
start/stop/restart/status/reload
- 运行/停止/重启/查询状态/平滑重启服务-h
帮助-v
查看当前服务版本-c
设置好配置项目录--console
前台运行(SMProxy>=1.2.5)
配置
配置文件位于 smproxy/conf
目录中,其中大写 ROOT
代表当前 SMProxy
根目录。
database.json
1 | { |
maxConns
,amxSpareConns
,startConns
- 推荐设置为
server.json
中配置的worker_num
的倍数swoole_cpu_num()*N
- 推荐设置为
多个读库,写库
- 目前采取的是随机获取连接,推荐将
maxConns
,startConns
,startConns
至少设置为max(读库,写库)*worker_num
的1
倍以上
- 目前采取的是随机获取连接,推荐将
timeout
- 设置2-5秒最佳
server.json
1 | { |
user
, ‘password’, ‘port’, ‘host’- 为
SMProxy
的账户|密码|端口|地址(非Mysql数据库账户|密码|端口|地址) - 可随意设置用于
SMProxy
登录验证 - 例如默认配置登录为
mysql -uroot -p123456 -P 3366 -h 127.0.0.1
SMProxy
登录成功MySQL COMMIT
会提示Server version: 5.6.0-SMProxy
- 为
worker_num
- 推荐使用
swoole_cpu_num()
或swoole_cpu_num()*N
- 推荐使用
在项目中如何进行配置
Laravel
.env
1 | DB_CONNECTION=mysql |
ThinkPHP
database.php
1 | 'type' => 'mysql', |
- 其他框架以此类推,只需要配置代码中连接数据库的
host
,port
,user
,password
与SMProxy
中server.json
中一致即可。
路由
注解
smproxy:db_type=[read | write]
强制使用读库
1
/** smproxy:db_type=read */select * from `user` limit 1
强制使用写库
1
/** smproxy:db_type=write */select * from `user` limit 1
MySQL8.0
SMProxy1.2.4
及以上可直接使用SMProxy1.2.4
以下需要做如下兼容处理:MySQL-8.0
默认使用了安全性更强的caching_sha2_password
插件,其他版本如果是从5.x
升级上来的,
可以直接使用所有MySQL
功能, 如是新建的MySQL
, 需要进入MySQL
命令行执行以下操作来兼容:将语句中的1
2ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY 'password';
flush privileges;'root'@'%'
替换成你所使用的用户,password
替换成其密码.
如仍无法使用, 应在my.cnf
中设置default_authentication_plugin = mysql_native_password
常见问题
SMProxy@access denied for user
- 请检查
serve.json
中的账号密码与业务代码中配置的是否一致。- 数据库
host
请勿配置localhost
。
SMProxy@Database config dbname write is not exists!
- 请将
database.json
中的dbname
项改为你的业务数据库名。
Config serverInfo->*->account is not exists!
- 请仔细比对
database.json
中databse->serverInfo->*->*->account
是否在database->account
下含有相对于的键值对。
Reach max connections! Cann't pending fetch!
- 适当增加
maxSpareConns
或增加database.json
中的timeout
项。
Must be connected before sending data!
- 检查
MySQL
是否有外网访问权限。- 检查MySQL验证插件是否为
mysql_native_password
或caching_sha2_password
- 排查是否有服务冲突,推荐使用
Docker
进行运行排查环境问题。
Connection * waiting timeout
- 检查
MySQL
是否有外网访问权限。- 启动出现数据库连接超时请检查数据库配置,若正常请降低
startConns
或增加database.json
中的timeout
项。
The server is not running
- 查看
SMProxy
下的日志mysql.log
和system.log
。查看SMProxy
下的日志mysql.log
和system.log
。
Supervisor || docker
- 使用
Supervisor
和docker
时需要使用前台运行模式(v1.2.5+使用--console
,否则使用daemonize
参数)否则无法正常启动。
502 Bad Gateway
- MySQL异常崩溃后连接出现502或连接超时,请不要开启长连接模式。
- SQL语句过大不要使用连接池,会导致连接阻塞,程序异常。
启动SMProxy后CPU占用过高
- 因
Swoole4.2.12
及以下未开启协程Client
读写分离所以CPU占比会比较大。- 升级
Swoole
版本到4.2.13
及以上并升级SMProxy
版本到1.2.8
及以上。