用python做的大型网站,企业备案网站服务内容,外包公司设计完网站谁负责运营,哪个网站建设好前言
作为一个有丰富经验的微服务系统架构师#xff0c;经常有人问我#xff0c;“应该选择RabbitMQ还是Kafka#xff1f;”
基于某些原因#xff0c; 许多开发者会把这两种技术当做等价的来看待。的确#xff0c;在一些案例场景下选择RabbitMQ还是Kafka没什么差别…前言
作为一个有丰富经验的微服务系统架构师经常有人问我“应该选择RabbitMQ还是Kafka”
基于某些原因 许多开发者会把这两种技术当做等价的来看待。的确在一些案例场景下选择RabbitMQ还是Kafka没什么差别但是这两种技术在底层实现方面是有许多差异的。
不同的场景需要不同的解决方案选错一个方案能够严重的影响你对软件的设计开发和维护的能力。
这篇文章会先介绍RabbitMQ和Apache Kafka内部实现的相关概念。紧接着会主要介绍这两种技术的主要不同点以及他们各自的优缺点最后我们会说明一下怎样选择这两种技术。
缓存雪崩
我们首先看下这个正常的缓存流程是怎样的如下图所示 可以看到首先这个用户访问这个某东然后这个某东去访问这个 Redis如果 Redis 有该访问数据就会直接返回查缓存拿到的数据如果 Redis 缓存没有查到该数据就会去 MySql 数据库中查询查询到有结果把从 MySql 中查到的数据同步至 Redis 缓存中去同时会把这个查询到的结果返回回去。
这是一个简单的正常的缓存流程。 那么我们基于这个正常的缓存流程来看下什么是缓存的雪崩。
首先给大家举个例子就是在双十一的时候在某东买东西进入它的这个首页由于是双十一首页的访问量是非常大的所以首页的很多数据是缓存在 redis 里面的。
假设首页数据存储在 redis 里的 100 个 key设置的缓存失效时间是两个小时当在双十一期间购物超过两个小时之后这个首页数据的 redis 缓存在这瞬间会全部失效导致所有的请求都打到这个 MySql 数据库上此时数据库的访问压力增大造成这个 MySql 数据库响应不及时而挂掉从而某东的首页就没办法继续对外提供服务了然后东哥就特别不开心把这次的技术负责人送去了非洲。
那么通过这个举例我们来看下面这个图 就是说用户访问某东这个时候 redis 里面的 key 大量失效导致这个某东直接访问数据库把大量的请求都打到来数据库这种现象就是缓存雪崩。简单来说就是 redis 缓存在同一时间大量失效就像这个雪崩来了一样。
那么缓存雪崩它的解决方案有几种呢下面来说下
设置这个缓存的失效时间不让大量的 key 在同一时间失效即在设置这个缓存的时候可以将 key 的失效时间分散开。我们部署 redis 一般是集群部署的可以把这些热点的 key 放到不同的节点上去让这些热点的 key 均匀的分布在不同的 redis 节点上。还有就是比较暴力的方法不设置这个缓存失效的时间让 key 永不失效。
缓存穿透
接下来我们再来介绍什么是缓存穿透。
还是举个例子比如说某位老哥开发了一个网站然后这个网站非常的受欢迎某一天突然遭到了黑客疯狂的攻击他的这个攻击手段就是采用这个缓存穿透的原理。
大家都知道通常情况下数据库的主键是从0开始递增的是没有负数的那么这位黑客就利用这点他不断的用 ID 小于零的参数发请求过来。这位老哥刚开始是把网站的所有数据放到了 redis 缓存里面去但是黑客是用 ID 小于零的数来请求redis 缓存里面并没有这个 ID 小于零的数据这样 redis 就查不到这个结果一旦 redis 查不到结果就会去数据库中查那么所有请求都会打到数据库而且会一直打到数据库中去因为 redis 缓存这层根本拦截不到这样的数据。
redis 缓存直接被这种数据穿透了直接穿透到数据库里面。同样我们来看下面这个图 首先这 点击领取2024完整开源项目《一线大厂Java面试题解析后端开发学习笔记最新架构讲解视频实战项目源码讲义》 个恶意用户访问某东用 id-1 的数据去请求然后这个 id-1 的数据在 redis 缓存里面没有查到就到数据库里面查询也没有查到该条数据只能返回空数据给前端了。
这个恶意用户黑客用脚本不断的发这个数据去请求直接穿透 redis 打到这个数据库上这就是所谓的缓存穿透。 简单来说缓存穿透就是指缓存和数据库中都没有这样的数据一般出现这种情况都不是正常的用户在访问。
那么缓存穿透的解决方案有以下几点
请求如果穿透 redis直接到数据库那么数据库无论查出什么结果都写回到 redis 缓存里面去这样下次用同一个参数发来请求的时候就直接被 redis 缓存拦截掉了就不回打到数据库了。对请求的参数做合法性校验。比较直接、简单粗暴的方法把这个 IP 拉黑。最后是使用布隆过滤器这是一个非常好的方式。
缓存击穿
我们再来讲最后一个问题就是缓存的击穿。
还是拿双十一来举例东哥在双十一的时候发话说想搞一个大活动说想把自己20年前用的电脑拿出来拍卖然后有巨多人对这个电脑感兴趣于是东哥决定在双十一当天九点拍卖这台电脑然后某东的开发程序员把这台电脑数据放到了 redis 缓存里即对应 redis 缓存里的一个 key。
拍卖的时候大家热情都非常的高涨持续拍卖了将近三个小时还没有结束这场线上拍卖但是这台电脑对应的 redis 缓存 key 的失效时间是三个半小时。 当大家拍卖到三个半小时的时候这台电脑的缓存 key 突然失效了导致这个大量的拍卖请求在 redis 里面查不到数据从而这些大量请求就会直接打到数据库上此时数据库的瞬间压力增大造成响应不及时而挂掉。 这个时候呢东哥看到自己的这台电脑还没拍卖出去有点生气于是把这个程序员送去了非洲。
同样我们也来看下面这个图 用户访问某东然后去 redis 请求某个拍卖秒杀商品在缓存没有失效的时候redis 可以把这个查询到的缓存 key 的结果返回回去但是当这个缓存的 key 失效了这个请求就会击穿这个 redis直接打到数据库上。
这里大家注意的是这里是某一个热点的 key大量的用户请求不断的访问这个热点的 key当这个热点的 key 突然失效把请求都打到数据库上这个过程就是叫做缓存击穿了。记住它是击穿某个一个非常热点的 key。
那么这个缓存击穿的解决方案是
让这个热点 key 不过期即不设置失效时间不推荐。使用分布式锁如果是单体应用的话使用互斥锁分布式锁后续文章会讲。
惊喜
最后还准备了一套上面资料对应的面试题有答案哦和面试时的高频面试算法题如果面试准备时间不够那么集中把这些算法题做完即可命中率高达85% 达85%
[外链图片转存中…(img-vsjT2VYy-1709732500622)]
[外链图片转存中…(img-XYpkJyQQ-1709732500623)] 本文已被CODING开源项目【一线大厂Java面试题解析核心总结学习笔记最新讲解视频实战项目源码】收录
