建设厅官方网站职称,cmsv6官方免费下载,西安注册公司流程及资料,p2p信贷网站建设简介#xff1a;本文对消息队列 Kafka「检索组件」进行详细介绍#xff0c;首先通过对消息队列使用过程中的痛点问题进行介绍#xff0c;然后针对痛点问题提出相应的解决办法#xff0c;并对关键技术技术进行解读#xff0c;旨在帮助大家对消息队列 Kafka「检索组件」的特…简介本文对消息队列 Kafka「检索组件」进行详细介绍首先通过对消息队列使用过程中的痛点问题进行介绍然后针对痛点问题提出相应的解决办法并对关键技术技术进行解读旨在帮助大家对消息队列 Kafka「检索组件」的特点及使用方式更加熟悉以期可以帮助大家更有效的解决在消息排查过程中遇到的痛点问题。
作者KafkaTablestore团队
前言
还在为消息队列使用时不能高效排查重复和失败的消息而困扰吗
还在为消息队列使用时无法准确查找消息内容和定位问题而苦恼吗
。。。
消息队列 Kafka「检索组件」来帮您
本文对消息队列 Kafka「检索组件」进行详细介绍首先通过对消息队列使用过程中的痛点问题进行介绍然后针对痛点问题提出相应的解决办法并对关键技术技术进行解读旨在帮助大家对消息队列 Kafka「检索组件」的特点及使用方式更加熟悉以期可以帮助大家更有效的解决在消息排查过程中遇到的痛点问题。
痛点问题介绍
在消息队列的使用过程中业内默认的是假设消息进入消息队列后消息是可靠的丢失的概率也是低的。但实际应用中会面临各种各样的问题
应用时面临的痛点问题
由于分布式系统的特性消息的失败、重复是不可避免的对于失败和重复的排查通常是依靠客户端的日志来推导但如果规模庞大客户手动做这个事情的难度也会很大这就会使消息的可靠性受到挑战此外较大的项目一般由多人或多团队协作完成消息发送和消费的代码实现方式也各异这会给消息最终是否成功完成使命带来挑战除了对问题结果的排查外消息会不会在产生时就不符合预期呢这同样也是困扰客户的难点之一。从目前消息队列的体系来看还无法提供按照内容查看的方式来排查导致了业务的正确性排查难度较大。
简单来说消息领域往往每条消息都能代表具体的含义和动作一旦出现失败、丢失和错误在业内现有的消息队列现状下很难排查具体问题从而会导致定位整个上下游链路的问题难度较大。
技术侧面临的痛点问题
以上是客户在消息应用的场景中会面临的问题。基于应用场景问题在技术侧同样会面临不少痛点在处理消息问题排查时
首先需要研发的代码投入、部署和运维同时运维人员需要比较熟悉 Kafka 的使用需要通过使用 Kafka 客户端进行消费者消费然后按照遍历的方式进行消息确认从而确认消息的存在除了需要研发的代码投入、部署和运维外可能还需要引入其他产品如对接流计算通过流计算遍历消息等。
更为麻烦的是目前这种排查往往是非常频繁的经常以周、甚至以天为单位会使得研发、部署和运维投入较高的时间成本同时每次需要确认的元信息都不一样会导致投入较大而且灵活性也不高。
总结来说消息队列在使用过程中对失败和重复等问题排查时一来在没有较好的工具和方式完成对内容的检索排查难度较高准确性和易用性都不足二来需要投入较高的时间和人力成本投入大且不灵活。这些问题都会给用户在进行消息问题排查时带来不少困扰。
Kafka 检索组件介绍
通过上述痛点问题的介绍可以看到目前在消息领域对消息排查等存在比较多的痛点问题为了解决以上问题阿里云消息队列 Kafka 版重磅推出消息检索组件。下面对组件内容进行详细介绍
检索组件简介
消息队列 Kafka「检索组件」是一个全托管、高弹性、交互式的检索组件具备万亿级别消息内容检索的秒级响应能力。
主要面向运维人员故障排查和恢复场景用于消息相关的全链路消息排查包括消息的发送、重复生产和丢失校验主要功能包括支持消息按 Topic 分区、位点范围和时间范围检索同时支持按消息 Key 和 Value 关键字检索等主要用来解决业内消息产品不支持检索消息内容的难题。
消息队列 Kafka「消息检索」借助 Kafka Connect 功能及表格存储Tablestore实现通过 Connector 对 Topic 中的消息进行转储然后发送到表格存储中的数据表中最后通过表格存储索引功能提供消息检索的能力。
其核心是提供了完备的消息内容检索能力可以快速定位问题同时便捷操作、节省人力当用户使用时在完成消息队列 Kafka 实例创建后仅需简单五步即可实现对 Kafka 检索组件的应用 下面简要对消息队列 Kafka 版消息检索的操作步骤进行介绍。
检索组件操作介绍
1开通消息检索
首先开通某个实例下 Topic 的消息检索功能以便根据需要对其 Topic 中的消息进行检索。步骤如下
登录消息队列 Kafka 版控制台在概览页面的资源分布区域选择地域在左侧导航栏单击消息检索在消息检索页面从选择实例的下拉列表选择需检索 Topic 消息所属的实例然后单击开通消息检索开通消息检索面板填写开通参数然后单击确定。2测试发送消息
开通消息检索后可以向消息队列 Kafka 版的数据源 Topic 发送消息以此来调度任务和测试消息检索是否创建成功。
在消息检索页面找到需要测试的目标 Topic根据任务状态在对应位置操作在快速体验消息收发面板中发送测试消息。3搜索消息
在消息检索页面找到目标 Topic在其操作列单击搜索在搜索面板设置搜索条件在搜索项下拉列表中选择需要添加的搜索项单击添加搜索项添加搜索项并在值列设置搜索信息然后单击确定即可。4查看消息检索任务详情
开通消息检索后即可查看自动创建的 Topic、Group、表格存储实例名称、表格存储数据表表名等详细信息也可以在详情中直接进入表格存储数据表在消息检索页面找到目标 Topic在其操作列单击详情在任务详情页面可以查看到目标 Topic 相关消息检索的详细信息也可以在基础信息区域的目标服务栏单击表格存储即可进入数据表详情页面查看。5查看消费详情
支持查看订阅当前 Topic 的在线 Group 在 Topic 各个分区的消费进度了解消息的消费和堆积情况。
在消息检索页面找到需要查看消费进度的目标 Topic在其操作列单击消费进度如下图在消费详情页面可以查看 Topic 各分区的消费情况除以上功能外在运行消息检索功能时还可以实现暂停消息检索任务、启用消息检索任务和删除消息检索任务等操作。
Kafka 检索组件技术解读
之前消息队列 Kafka 版的消息检索方式仅支持根据消费位点或创建时间的两种范围来查找依靠 Kafka 系统本身无法很好的支持用户对于通过关键字检索消息的需求。
为了更好的解决这个问题Kafka 与 Tablestore 强强联合将 Kafka 消息通过 Connector 导入 Tablestore 的数据表中利用 Tablestore 的能力实现关键字检索。 下面对关键技术进行解读
Kafka Connect
Kafka Connect 的核心是为解决异构数据的同步问题。解决的思路是在各个数据源之间加一层消息中间件所有的数据都经过消息中间件进行存储和分发。 这样做的好处有以下两点
1通过消息中间件做异步解耦所有系统只和消息中间件通信
2需要开发的解析工具数量也从原来的 n 平方个变成线性的 2*n 个Kafka Connect 则用于连接消息系统和数据源根据数据的流向不同连接可以分为 Source Connector 和 Sink Connector。
其原理也很简单Source Connector 负责解析来源数据转换成标准格式的消息通过 Kafka Producer 发送到 Kafka Broker中。同理Sink Connector 则通过 Kafka Consumer 消费对应的 Topic然后投递到目标系统中。在整个过程中Kafka Connect 统一解决了任务调度、与消息系统交互、自动扩缩容、容错以及监控等问题大大减少了重复劳动。
消息队列 Kafka 版提供了全托管、免运维的 Kafka Connect用于消息队列 Kafka 版和其他阿里云服务之间的数据同步。如下图所示可以看到消息队列 Kafka 版支持了表格存储 Tablestore、Mysql Source Connector、OSS Sink Connector、MaxCompute Sink Connector 以及 FC Sink Connector 等主流的 Connector。如果用户想要使用这些 Connector 进行数据同步只用在消息队列 Kafka 控制台的图形界面上做几个配置就可以一键拉起 Connector 任务。 表格存储 Tablestore
表格存储 Tablestore 是构建在阿里云飞天分布式系统之上的海量结构化数据存储服务。基于飞天盘古分布式文件系统作为存储底座采用存储计算分离架构弹性共享资源池设计实现了一个云原生的 Serverless 存储产品。内置分布式索引系统可根据写入流量自动扩展构建索引所需的计算资源支撑极高的写入流量。同时优化了索引结构能够支持更快速的模糊查询。存算分离架构、高吞吐实时索引等关键能力让 Tablestore 能够支撑 Kafka 中海量数据的写入与高效搜索帮助快速有效检索所需信息。 技术领先性
KafkaKafka Connect 表格存储 Tablestore 的云原生数据应用解决方案通过 Kafka Connect 作为实时处理任务触发器能够实时接收到新发送到消息队列集群的数据然后转发到表格存储 Tablestore。
作为后续数据流转中的一环Kafka Connect 除了保障数据的实时性以外还解决了任务调度、与消息系统交互、自动扩缩容、容错以及监控等问题大大减少了重复劳动。数据到了表格存储 Tablestore 以后借助表格存储的分布式存储和强大的索引引擎能够支持 PB 级存储、千万 TPS 和毫秒级延迟的服务能力同时支持全托管、高弹性、交互式的检索组件从而可实现秒级响应的万亿级别消息内容检索能力。
面向用户的价值与优势
Kafka 检索组件功能不仅具备较强的技术优势同时还能为用户的实际工作带来更多便利
1、排查成本低
只需要控制台的简单配置就能实现 Kafka 服务器集群内所有的消息的查看
2、排查速度快
免开发、免资源评估、免部署、免运维只要建立好检索条件即可实现秒级查询响应
3、排查准确性高
该检索组件功能由消息商业化团队和 Tablestore 团队核心研发联合打造依托于阿里云云原生的能力检索准确性高可靠性和可用性可以得到很好的保障。
总结来说Kafka 检索组件功能在实际业务中具备如下优势
快速定位问题可实现消息上下游产品的故障、异常快速恢复减少业务资损节省企业成本减少运维、研发等人员投入降低学习成本对消息产品的理解机制要求降低。总结
阿里云消息队列 Kafka「检索组件」是消息队列领域内率先支持交互式消息内容检索的组件具备免开发、免运维、高弹性的特点。对于在消息领域中的中、重度用户来说阿里云消息队列 Kafka「检索组件」是日常排查消息存在 正确性的利器。 原文链接
本文为阿里云原创内容未经允许不得转载。
