太原网站制作开发,网站建设大忌,男女做暧视频网站免费,asp.net 网站管理工具 遇到错误作者#xff1a;澈尔、墨飏
业内较为常见的高频短时 ETL 数据加工场景#xff0c;即频率高时延短#xff0c;一般均可归类为调用密集型场景。此场景有着高并发、海量调用的特性#xff0c;往往会产生高额的计算费用#xff0c;而业内推荐方案一般为攒批处理#xff0c;业…作者澈尔、墨飏
业内较为常见的高频短时 ETL 数据加工场景即频率高时延短一般均可归类为调用密集型场景。此场景有着高并发、海量调用的特性往往会产生高额的计算费用而业内推荐方案一般为攒批处理业务实时性会有一定的影响。基于此痛点函数计算 FC 推出定向减免方案让 ETL 数据加工更简单、更自动化、容错能力更强且业务实时性更高、计算费用更低。
自 2024 年 01 月 01 日 0 时起函数计算定向减免来自阿里云消息类产品和云工作流CloudFlow的函数调用次数费用即通过以上产品事件触发函数计算所产生的函数调用次数不再计入费用账单。定向减免函数调用次数费用的产品包括
阿里云消息类产品 消息服务 MNS云消息队列 RocketMQ 版消息队列 RabbitMQ 版云消息队列 Kafka 版云消息队列 MQTT 版事件总线 EventBridge 云工作流CloudFlow
这样用 FCETL 场景可立省 87% 计算费用
某出行领域客户基于函数计算 FC 构建免运维、自动化的 ETL 数据加工场景如下
每天处理 10 亿条 Kafka 消息数据每次处理平均耗时 10 毫秒算力规格 0.1c0.5g其费用组成为
vCPU 使用量0.1 * 1000000000 * 0.01 * 0.00009 90 元内存使用量0.5 * 1000000000 * 0.01 * 0.000009 45 元函数调用次数费用1000000000 / 10000 * 0.009 900 元 注意 以上均按照函数计算阶梯计费的阶梯0单价进行计价忽略免费额度定价参考 若定向减免该 ETL 场景下的函数调用次数费用则该 ETL 场景可立省 87% 计算费用不同场景的降本数字需结合实际业务需求进行测算。
基于函数计算 FC 的热门 ETL 场景
数据投递分析
在数据投递分析场景中函数计算可以为用户的投递以及数据分析提供高自由度的模板能力和自定义能力提供海量下游投递能力。 数据加工清洗转存
数据清洗加工和转存场景函数计算可以提供数据 Transform 处理能力供数据加工。 业务消息处理
函数计算 FC 有丰富的事件响应场景消息作为事件驱动的重要数据源可以驱动函数计算执行一系列业务逻辑构建完整的事件驱动架构。 立即开始
阿里云消息类产品
函数计算 FC 和阿里云消息产品家族通过产品集成只需要简单“点点点”即可实现自动化、高可用的弹性消息 ETL 方案大幅简化了 ETL 任务的难开发、难运维的痛点。
Connector 生态集成
在 Kafka、RocketMQ、RabbitMQ 控制台配置 Connector 实现消息 ETL 任务选择函数计算 FC 模板即可实现预置过滤、转换、投递等基础需求。如若需要实现更自定义的转换需求也可以在函数计算 FC 控制台创建事件函数进行定制开发然后在 Connector 界面选择指定的函数即可运行特定 ETL 任务。
同时也可以通过此类 ETL 任务实现消息数据快速投递至存储、大数据等实现数据转储需求。 EventBridge 事件流
在 EventBridge 控制台配置事件流快速创建消息队列、数据库等数据 ETL 任务选择函数计算 FC 模板即可实现预置过滤、转换、投递等基础需求。如若需要实现更自定义的转换需求也可以在函数计算 FC 控制台创建事件函数进行定制开发然后在 Connector 界面选择指定的函数即可运行特定 ETL 任务。
同时也可以通过此类 ETL 任务实现消息数据快速投递至存储、大数据等实现数据转储需求。 云工作流 CloudFlow
云工作流CloudFlow是用来协调多个分布式任务执行的全托管 Serverless 云服务简化开发、运行业务流程需要的任务协调、状态管理和错误处理等繁琐工作。云工作流配合函数计算 FC 支持简单拖放即可实现复杂业务流程无需编写代码即可编排 300 云服务实现工作流程自动化实现流程式编程新范式。
下面是云工作流函数计算 FC 搭建一个高可用的数据处理流水线的最佳实践
来自不同数据源的计量数据被收集到日志服务函数计算 FC 的定时器每小时触发工作流云工作流利用函数计算 FC 对多个 Shard 的计量数据做并行处理并将结果分别写回日志服务服务然后可以将所有 Shard 产生文件进行聚合写入表格存储 OTS最后为每个用户生成账单。工作流支持对流程中的单个步骤失败进行重试降低流程失败概率。工作流支持动态并行任务执行实现数据处理能力的高可扩展性。 铭师堂峰值流量破万后的实时 ETL 任务解决方案
业务背景
杭州铭师堂一家在线教育高科技企业成立十余年来一直致力于用“互联网教育”的科技手段让更多的学生能享有优质的教育。学生做完作业后会将作业拍照然后上传到作业批阅系统后端系统此时会有多个动作 将作业照片上传到 OSS 将用户作业信息落到数据库 发送消息到 Kafka通过 Kafka Connector 驱动实时 ETL 任务。
该 ETL 任务承载了所有的处理逻辑通过图像识别和数据分类算法自动识别作业的完成情况。在一年的大多数时间里业务流量都比较平稳但在寒暑假时一般会迎来一年中的高峰在 2022 年暑假期间平均每天需要处理 100 多万条作业图片处理峰值流量更是达到了万级别。
业务痛点
铭师堂的 ETL 任务原先部署在 Kubernetes (简称 K8s)通过订阅 Kafka 的 topic获取数据路径从 OSS 获取数据进行处理涉及到数据并发度的处理主要存在两方面问题 Kafka 消费端并发度受限于 topic partition消费端数最多只能跟 partition 数齐平超过时会导致部分消费端无法订阅数据 消费端将消费到的数据进行 ETLK8s 方案铭师堂在实现时将消费端数和 partition 保持一致但因为 K8s 的弹性策略相对滞后平峰时问题不大但高峰期因弹性不足会经常导致任务堆积实时性无法保证。
为了保证 ETL 任务的实时性铭师堂架构组一直在寻求一种弹性能力更强的新架构。经过实测对比基于阿里云函数计算 FC 构建的实时 ETL 任务解决方案是最适配铭师堂业务需求且弹性能力最强、成本最优的选择。
解决方案 铭师堂基于函数计算构建的实时 ETL 任务解决方案步骤如下 用户提交作业出发提交流程将请求打到后端服务 后端服务将用户提交的作业图片上传到 OSS并将 OSS 地址作为一条消息发送到 Kafka 函数计算的 Kafka 触发器实时的感知 Kafka topic当有新数据到达实时触发函数处理 函数计算获取到事件数据从 OSS 获取数据并对数据进行处理将处理结果发回到 Kafka topic 后端程序订阅 Kafka topic对处理结果进行存储和下一步的展示。
业务收益
以上解决方案整体开发流程顺利项目上线后有超出预期的收益 执行时间快 业务高峰期对比 K8s 方案单请求响应时延 100200ms函数计算 FC 方案则维持在 50ms 左右大大超出预期。经过分析主要原因在于函数计算 FC 资源隔离每个任务实例均独占计算资源高峰期突发流量来临时也不会出现资源争抢ETL 任务的执行性能得到保障 弹性效率高 K8s 方案依赖 metrics 数据“滞后”地执行 HPA 策略调度资源而 FC 方案则依赖任务并发“提前”实时调度资源。业务高峰期正在执行的 ETL 任务独占实例而新任务则通过 FC 的“百毫秒弹性能力”实时拉起新实例FC 会最大化地复用实例减少因为“冷启动”而带来的实时性、利用率损耗 提效还降本 对比 K8s 方案需要预留和管控资源水位基于 FC 的实时 ETL 任务解决方案实现了按需调度、按量付费没有任务时资源缩 0高峰期按业务需求实时调度资源利用率大大提升。且函数计算 FC 定向减免来自阿里云消息队列 Kafka 的函数调用次数费用业务成本得到进一步优化。
铭师堂将业务上线到函数计算 FC 后很好地解决了 K8s 方案高峰期的任务堆积问题且通过函数计算 FC 内置的监控和日志服务问题排查效率也得到提升。当然最重要的一点铭师堂通过函数计算 FC 的实时弹性不再需要提前规划资源、预留水位、冗余备份资源成本大幅降低。 链接汇总
计费详情
https://help.aliyun.com/zh/fc/product-overview/billing-overview
函数计算官网
https://www.aliyun.com/product/fc
