网站开发商官网,湘潭市 网站建设,濮阳网络电视台直播,中铁建设集团内网登录简介#xff1a; 客户通过把日志数据迁移到SLS#xff0c;替代原有的kafka、ES、ClickHouse#xff0c;累积节省成本达到30%#xff0c;同时满足了稳定性、扩展性需求#xff0c;以及对日志查询分析的需求。
更多存储标杆案例 欢迎点击下方链接查看
阿里云存储标杆案例样…简介 客户通过把日志数据迁移到SLS替代原有的kafka、ES、ClickHouse累积节省成本达到30%同时满足了稳定性、扩展性需求以及对日志查询分析的需求。
更多存储标杆案例 欢迎点击下方链接查看
阿里云存储标杆案例样板间
公司介绍 哈啰出行是国内领先的专业移动出行平台致力于为用户提供便捷、高效、普惠、安全的出行工具和服务。公司于2016年9月在上海成立。成立四年多来秉持着“科技推动出行进化”的使命凭借卓越的创新能力、差异化的发展战略和技术驱动下的优异运营能力哈啰从激烈的市场竞争中脱颖而出。目前公司已经进化为包括两轮出行哈啰单车、哈啰助力车、哈啰电动车、小哈换电、四轮出行哈啰顺风车、全依托于智能锁赋能了在线的实时调度。单车数据、APP数据无缝打通因而催生了数据的实时采集、分析、存储需求。业务场景介绍2网叫车、哈啰打车等的综合化移动出行平台APP累计注册用户超4亿。 截至2020年10月底哈啰出行旗下哈啰单车已经进驻全国超460城用户累计骑行240亿公里累计减少碳排放量近280万吨哈啰助力车已进入全国超400城用户累计骑行近80亿公里节约碳排放28万吨哈啰顺风车已覆盖全国超300城认证车主逾1800万名。
业务场景介绍 依托于智能锁赋能了在线的实时调度。单车数据、APP数据无缝打通因而催生了数据的实时采集、分析、存储需求。
每天增量数据TB级别影响系统稳定性 客户原有架构是数据采集到kafka然后应用日志写入ELK做查询同时写入ClickHouse做分析。由于每天增量数据在TB级别对ES稳定性压力比较大。当查询数据操作会影响ES的写入延时。由于写入量大查询基本处于不可用状态。因此当天数据采用单副本隔天再生成多副本。这种方式对数据的可靠性时很大的挑战。同时自建Kafka、ES、ClickHouse成本较高急需降低成本。
日志服务提供TB级别日志的实时采集、弹性扩容、实时查询 阿里云日志服务为客户提供了TB级别日志的实时采集、弹性扩容、实时查询的能力。 在数据采集方面原来把数据采集到kafka在分发到下游ES、ClickHouse。SLS原生支持Kafka协议。各个客户端只需把kafka的地址设置成SLS的kafka协议地址即实现了无缝迁移。
在弹性扩容方面SLS采用Shard模型当流量发生上涨时在控制台动动手指分裂Shard即可实现写入带宽的扩容。也可以设置成自动分裂当流量打到上限时自动扩容出新的Shard。
在查询和分析方面客户原来采用ES做查询ClickHouse做分析。而由于流量比较大ES查询基本不可用。SLS同时提供了查询和分析能力。在查询方面支持关键字检索、数值范围查询、json字段的递归查询、多条件组合查询。在数据分析方面支持以SQL92语法分析日志秒级别即可分析数百亿条日志。SQL语法支持200函数以及支持join计算可与OSS、MySQL数据源做关联分析。同时一些特有的函数例如同比环比函数、IP地理位置函数等等。
在可视化方面SLS控制台作为阿里云排名Top 5的控制台为可以提供所见即所得的查询分析体验。同时控制台还可以供客户做二次开发嵌入到自己的后台运维系统中。
达到的效果 客户通过把日志数据迁移到SLS替代原有的kafka、ES、ClickHouse累积节省成本达到30%同时满足了稳定性、扩展性需求以及对日志查询分析的需求。
原文链接 本文为阿里云原创内容未经允许不得转载。
