怎么看网站的收录,哈尔滨做网站,wordpress 商城小程序,腾讯企业邮箱官网入口AutoMQ 在 2024.02 正式发布了基于 Apache Kafka 3.4.0 的云原生重构版本 1.0.0#xff0c;AutoMQ 1.0.0 版本相比原版提供了 Serverless、自动负载均衡、秒级分区迁移和 All in 对象存储能力#xff0c;让 Kafka 用户能充分利用云的弹性能力和廉价存储#xff0c;实现十倍成…AutoMQ 在 2024.02 正式发布了基于 Apache Kafka 3.4.0 的云原生重构版本 1.0.0AutoMQ 1.0.0 版本相比原版提供了 Serverless、自动负载均衡、秒级分区迁移和 All in 对象存储能力让 Kafka 用户能充分利用云的弹性能力和廉价存储实现十倍成本优势。
AutoMQ 基于 Apache Kafka 3.4.0 版本开始进行 Kafka 云原生重构在此期间 Apache Kafka 社区在 trunk 分支上提交了 1700 个 Commits版本也从 3.4.0 演进到 3.7.0新增了大量的特性、优化和修复。
AutoMQ 为了保障 100% 与 Apache Kafka 兼容在 AutoMQ 1.0.0 版本稳定后就立刻开始了对 Apache Kafka 最新代码的合并工作。得益于 AutoMQ 存算分离的架构对 Apache Kafka 的修改主要限制在存储切面存储代码仅占整个项目不到 2%因此 AutoMQ 合并跟进 Apache Kafka 的代码成本很低。
3.7.0 代码合并后经过评审、Chaos 测试和 500 E2E 测试我们很高兴宣布 AutoMQ 1.1.0-RC0 版本正式发布内核版本从 3.4.0 升级到 3.7.0。
https://github.com/AutoMQ/automq/releases/tag/1.1.0-rc0
新特性优化
Apache Kafka 内核从 3.4.0 升级到 3.7.0 新增重要的特性和优化如下
Kafka Broker, Controller, Producer, Consumer
ꔷ KIP-881消费者分区分配支持 Rack-aware节省跨 AZ 流量费用3.5.0
ꔷ KIP-887增加 EnvVarConfigProvider 支持从环境变量加载配置3.5.0
ꔷ KIP-900kafka-storage.sh API 增加对 Kraft SCRAM 验证支持3.5.0
ꔷ KIP-890事务消息服务端防御避免特殊场景下的事务悬挂问题3.6.0 / 3.7.0
ꔷ KIP-797IPv4/IPv6 支持绑定到相同端口3.6.0ꔷ KIP-863CompletedFetch#parseRecord 内存拷贝优化3.6.0
ꔷ KIP-868KRaft 支持以事务模式提交一系列 Records3.6.0
ꔷ KIP-714新增多语言统一的客户端 Metrics提供从服务端查询客户端 Metrics 的能力3.7.0
ꔷ KIP-848Early Access下一代消费者重平衡协议3.7.0
ꔷ KIP-951客户端分区 Leader 发现优化降低发送/消费的时间3.7.0
ꔷ KIP-580客户端指数退避重试3.7.0
Kafka Streams
ꔷ KIP-889新增 Versioned State Stores 提升在乱序场景下的 join 准确性3.5.0ꔷ KIP-923为流表 Join 添加宽限期提升乱序处理能力3.6.0
ꔷ KIP-941Range 查询上下界支持 null3.6.0
ꔷ KIP-925Kafka Streams 支持 Rack aware 任务分配3.7.0
ꔷ KIP-954扩展默认的 DSL 存储配置支持自定义类型3.7.0
ꔷ KIP-968Versioned State Stores 新增 IQ 支持3.7.0
Kafka Connect
ꔷ KIP-710MirrorMaker 2.0 支持分布式模式3.5.0
ꔷ KIP-898Connect 插件服务发现能力增强3.6.0
ꔷ KIP-976新增集群维度动态日志等级调节3.7.0
ꔷ KIP-980支持创建停止状态的 Connectors3.7.0
参考资料
[1] https://archive.apache.org/dist/kafka/3.5.0/RELEASE\_NOTES.html
[2] https://archive.apache.org/dist/kafka/3.6.0/RELEASE\_NOTES.html
[3] https://downloads.apache.org/kafka/3.7.0/RELEASE\_NOTES.html
[4] https://www.confluent.io/blog/introducing-apache-kafka-3-7/
END
关于我们
我们是来自 Apache RocketMQ 和 Linux LVS 项目的核心团队曾经见证并应对过消息队列基础设施在大型互联网公司和云计算公司的挑战。现在我们基于对象存储优先、存算分离、多云原生等技术理念重新设计并实现了 Apache Kafka 和 Apache RocketMQ带来高达 10 倍的成本优势和百倍的弹性效率提升。 GitHub 地址https://github.com/AutoMQ/automq 官网https://www.automq.com B站AutoMQ官方账号 视频号AutoMQ
关注我们一起学习更多云原生技术干货
