宁波网站开发制作,建站宝盒哪个牌子好,广东网站建设联系,合肥做网站的MAXWELL
一、maxwell是什么
maxwell 官网地址#xff1a;http://maxwells-daemon.io/
因为官网是纯英文的#xff0c;倒是不难懂#xff0c;但总觉得写的略粗糙#xff08;也可能笔者英文水平确实拉胯#xff0c;有待提高#xff09;。所以还是自己百度了一下。
当my…MAXWELL
一、maxwell是什么
maxwell 官网地址http://maxwells-daemon.io/
因为官网是纯英文的倒是不难懂但总觉得写的略粗糙也可能笔者英文水平确实拉胯有待提高。所以还是自己百度了一下。
当mysql的主库发生变更的时候DDL和DMLmaster会将日志记录到二进制日志文件中slave拷贝二进制日志并重做日志中的相关操作从而保证与master的一致性。
maxwell其实就是利用这个原理从mysql获取二进制文件Binlog并生成 JSON 格式的消息作为生产者发送给 KafkaKinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。
cannel也可以做这件事儿请参考一个大神写的
知乎帖(https://zhuanlan.zhihu.com/p/177001630) 原理类似
二、什么是Binlog
binlog记录了mysql的操作日志DDL和DML。一方面保证了主从一致另一方面也方便数据的恢复。
找到mysql的配置文件
locate my.cnf在参数节 [mysqld] 下可以配置参数 log-bin。参数值列表如下
参数值说明优势不足statement语句级记录每次一执行写操作的语句节约空间可能会导致主从数据不一致update某张表的时间字段为 now()row记录每次操作后每行记录的变化确保数据一致性空间消耗较大mixed混合级别默认还是 statement某些情况下会以row方式维护节省空间同时兼顾了一定的一致性仍然会有不一致的情况
三、安装部署
1、安装
上传安装包并解压
tar -zxvf 安装包路径 -C 安装路径2、配置maxwell知识库
登录mysql库
mysql -uroot -p密码创建maxwell库
create database maxwell;修改密码级别
密码最小长度为4密码强度为0
set global validate_password_length4;
set global validate_password_policy0;具体参数参考本文档的 五、其他
3、修改mysql配置文件 sudo vim /etc/my.cnf在 [mysqld] 下添加参数
server_id1
log-binmysql-bin
binlog_formatrow
#binlog-do-dbtest_maxwell重启mysql sudo systemctl restart mysqld查看日志
sudo ls -l /var/lib/mysql四、启动
1、命令启动
bin/maxwell --usermaxwell --password123456 --hosthadoop102 --producerstdoutproducer 生产者模式(stdout控制台 kafkakafka 集群)
2、配置文件启动
cp config.properties.example config.properties修改 config.properties
bin/maxwell --config ./config.properties五、其他
1、MYSQL密码策略
查看密码策略
show variables like validate_password%;属性值描述validate_password_check_user_nameOFF设置为ON的时候表示能将密码设置成当前用户名validate_password_dictionary_file于检查密码的字典文件的路径名默认为空validate_password_length4密码的最小长度validate_password_mixed_case_count1如果密码策略是中等或更强的validate_password要求密码具有的小写和大写字符的最小数量。对于给定的这个值密码必须有那么多小写字符和那么多大写字符。validate_password_number_count1密码必须包含的数字个数validate_password_policyLOWright-aligned 密码强度检验等级可以使用数值0、1、2或相应的符号值LOW、MEDIUM、STRONG来指定。0/LOW只检查长度。1/MEDIUM检查长度、数字、大小写、特殊字符。2/STRONG检查长度、数字、大小写、特殊字符、字典文件。validate_password_special_char_count1密码必须包含的特殊字符个数殊字符个数
