禅城区建网站公司,asp 网站名字,河北省网站备案管理系统,网站推广都做什么内容http://blog.csdn.net/zhiguozhu/article/details/50517527Redis原生session与redis中的session区别原生session在服务器上是以文件的形式存储的#xff0c;所以其有一些磁盘io上的缺点 1#xff09; 有哪几种类型的数据结构String——字符串 value 不仅可以是 String所以其有一些磁盘io上的缺点 1 有哪几种类型的数据结构String——字符串 value 不仅可以是 String也可以是数字 应用:计数器 (自增)Hash——字典 将一些结构化的信息打包成 hashmap在客户端序列化后存储为一个字符串的值一般是 JSON 格式 修改的时候不需要取出来 在修改值,再存回去 Redis 的 Hash 结构可以使你像在数据库中 Update 一个属性一样只修改某一项属性值。List——列表 redis 使用双端链表实现的 List 可以直接查询删除 List 中某一段的元素。 应用:可以实现消息队列 利用 List 的 *PUSH 操作将任务存在 List 中然后工作线程再用 POP 操作将任务取出进行执行Set——集合 一堆不重复值的组合 为集合提供了求交集、并集、差集等操作 可以实现共同关注、共同喜好、二度好友Sorted Set——有序集合 Sorted Sets是将 Set 中的元素增加了一个权重参数 score, 使得集合中的元素能够按 score 进行有序排列 应用:带权重的队列 排行榜 需要精准设定过期时间的应用时间戳作为Score2 Redis为单进程单线程模式 采用队列模式将并发访问变为串行访问 3 如何做集群有哪些方案 # 一个Master可以有多个Slaves # Slaves能通过接口其他slave的链接除了可以接受同一个master下面slaves的链接以外还可以接受同一个结构图中的其他slaves的链接 # redis复制是在master段是非阻塞的这就意味着master在同一个或多个slave端执行同步的时候还可以接受查询 # 复制在slave端也是非阻塞的假设你在redis.conf中配置redis这个功能当slave在执行的新的同步时它仍可以用旧的数据信息来提供查询否则你可以配置当redis slaves和master失去联系时slave会给发送一个客户端错误 #slve在完成同步后slave 需要删除老数据加载新数据在这个阶段slave 会阻止连接进来 # 为了有多个slaves可以做只读查询复制可以重复2次甚至多次具有可扩展性例如slaves对话与重复的排序操作有多份数据冗余就相对简单了 # 他可以利用复制去避免在master端保存数据只要对master端redis.conf进行配置就可以避免保存所有的保存操作然后通过slave的链接来实时的保存在slave端 4 和memcache、ehcache有什么区别 5 如何做持久化RDB 指出在多长时间内有多少个key的更新操作就将数据同步到数据文件rdb 相当于条件触发抓取快照这个可以多个条件配合 # 比如默认配置文件中的设置就设置了三个条件 # save 900 1 900 秒内至少有 1 个 key 被改变 # save 900 1 # save 300 10 300 秒内至少有 10个 key 被改变 # save 300 10 # save 60 10000 60 秒内至少有 10000 个 key 被改变 # save 60 10000RDB是一个非常紧凑的文件,它保存了某个时间点得数据集,非常适用于数据集的备份 RDB是一个紧凑的单一文件, 非常适用于灾难恢复 RDB在保存RDB文件时父进程唯一需要做的就是fork出一个子进程,接下来的工作全部由子进程来做父进程不需要再做其他IO操作所以RDB持久化方式可以最大化redis的性能 与AOF相比,在恢复大的数据集的时候RDB方式会更快一些AOF(重启时优先载入) AOF持久化方式记录每次对服务器写的操作 比RDB文件保存的数据集要完整 # Redis 支持三种同步 AOF 文件的策略 : # no: 不进行同步系统去操作 Faster. 让 Redis 能更高效的运行你也可以设置为 no 让操作系统决定什么时候去执行 # always: 表示每次有写操作都进行同步 Slow, Safest. 让数据更安全你也可以设置为 always # everysec(默认): 表示对写操作进行累积每秒同步一次 Compromise. 速度和安全折中这是最好的 #redis重启的时候会优先载入AOF文件来恢复原始的数据,因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整 使用AOF 会让你的Redis更加耐久: 你可以使用不同的fsync策略无fsync,每秒fsync,每次写的时候fsync AOF文件是一个只进行追加的日志文件,所以不需要写入seek Redis 可以在 AOF 文件体积变得过大时自动地在后台对 AOF 进行重写 AOF 文件有序地保存了对数据库执行的所有写入操作 这些写入操作以 Redis 协议的格式保存 因此 AOF 文件的内容非常容易被人读懂 对文件进行分析parse也很轻松。 导出export AOF 文件也非常简单5、 redis事务 # MULTI(开启事务) 、 EXEC (执行事务)、 DISCARD (撤销)和 WATCH (开启事务之前监视,乐观锁) UNWATCH(取消监视) 是 Redis 事务的基础 # 事务是一个单独的隔离操作事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中不会被其他客户端发送来的命令请求所打断 # Redis 的 Transactions 提供的并不是严格的 ACID 的事务 # Redis 还提供了一个 Watch 功能你可以对一个 key 进行 Watch然后再执行 Transactions在这过程中如果这个 Watched 的值进行了修改那么这个 Transactions 会发现并拒绝执行 用MULTI/EXEC 来把多个命令组装成一次发送达到原子性 比如123这三个命令 在exec之前都只是暂存,并未执行,在执行exec之后才依次执行,如果2执行失败,13是可以正常执行成功的 用WATCH提供的乐观锁功能在你EXEC的那一刻如果被WATCH的键发生过改动则MULTI到EXEC之间的指令全部不执行不需要rollback DISCARD指令只是用来撤销EXEC之前被暂存的指令并不是回滚 6.缓存雪崩 缓存雪崩是由于原有缓存失效(过期)新缓存未到期间。所有请求都去查询数据库而对数据库CPU和内存造成巨大压力严重的会造成数据库宕机。从而形成一系列连锁反应造成整个系统崩溃key 缓存的key缓存标记 缓冲标记变量 设置过期时间h key 缓存的key 缓存的value 设置过期时间2h 这里的时间适业务场景而定查询时查询 缓存的key缓存标记 查询 缓存的key 如果 缓存的key缓存标记 存在 则返回 缓存的key 对应的value不存在 则更新 缓存的key 的过期时间 7. 缓存穿透 缓存穿透是指用户查询数据在数据库没有自然在缓存中也不会有。这样就导致用户查询的时候在缓存中找不到每次都要去数据库再查询一遍然后返回空。这样请求就绕过缓存直接查数据库这也是经常提的缓存命中率问题。如果查询数据库也为空直接设置一个默认值存放到缓存这样第二次到缓冲中获取就有值了而不会继续访问数据库8.重复提交问题(规定时间内验证码获取,流控策略) key:用户id value:0 incr自增 第一次获取自增value value变为1 如果vlaue为1 设置过期时间为60 (s) 第二次获取自增value 不为1 则报错前台提示(前台已经做了规定时间内获取验证码按钮不可点击) ******************************************************************************************************************************************************Redis配置文件详解******************************************************************************************************************************************************* #daemonize no 默认情况下 redis 不是在后台运行的如果需要在后台运行把该项的值更改为 yesdaemonize yes# 当 redis 在后台运行的时候 Redis 默认会把 pid 文件放在 /var/run/redis.pid 你可以配置到其他地址。# 当运行多个 redis 服务时需要指定不同的 pid 文件和端口pidfile /var/run/redis_6379.pid# 指定 redis 运行的端口默认是 6379port 6379# 在高并发的环境中为避免慢客户端的连接问题需要设置一个高速后台日志tcp-backlog 511# 指定 redis 只接收来自于该 IP 地址的请求如果不进行设置那么将处理所有请求# bind 192.168.1.100 10.0.0.1# bind 127.0.0.1# 设置客户端连接时的超时时间单位为秒。当客户端在这段时间内没有发出任何指令那么关闭该连接# 0 是关闭此设置timeout 0# TCP keepalive# 在 Linux 上指定值秒用于发送 ACKs 的时间。注意关闭连接需要双倍的时间。默认为 0 。tcp-keepalive 0# 指定日志记录级别生产环境推荐 notice# Redis 总共支持四个级别 debug 、 verbose 、 notice 、 warning 默认为 verbose# debug 记录很多信息用于开发和测试# varbose 有用的信息不像 debug 会记录那么多# notice 普通的 verbose 常用于生产环境# warning 只有非常重要或者严重的信息会记录到日志loglevel notice# 配置 log 文件地址# 默认值为 stdout 标准输出若后台模式会输出到 /dev/null 。logfile /var/log/redis/redis.log# 可用数据库数# 默认值为 16 默认数据库为 0 数据库范围在 0- database-1 之间databases 16################################ 快照################################## 保存数据到磁盘格式如下 :# save # 指出在多长时间内有多少次更新操作就将数据同步到数据文件 rdb 。# 相当于条件触发抓取快照这个可以多个条件配合# 比如默认配置文件中的设置就设置了三个条件# save 900 1 900 秒内至少有 1 个 key 被改变# save 300 10 300 秒内至少有 300 个 key 被改变# save 60 10000 60 秒内至少有 10000 个 key 被改变# save 900 1# save 300 10# save 60 10000# 后台存储错误停止写。stop-writes-on-bgsave-error yes# 存储至本地数据库时持久化到 rdb 文件是否压缩数据默认为 yesrdbcompression yes# RDB 文件的是否直接偶像 chcksumrdbchecksum yes# 本地持久化数据库文件名默认值为 dump.rdbdbfilename dump.rdb# 工作目录# 数据库镜像备份的文件放置的路径。# 这里的路径跟文件名要分开配置是因为 redis 在进行备份时先会将当前数据库的状态写入到一个临时文件中等备份完成# 再把该该临时文件替换为上面所指定的文件而这里的临时文件和上面所配置的备份文件都会放在这个指定的路径当中。# AOF 文件也会存放在这个目录下面# 注意这里必须制定一个目录而不是文件dir /var/lib/redis-server/################################# 复制 ################################## 主从复制 . 设置该数据库为其他数据库的从数据库 .# 设置当本机为 slav 服务时设置 master 服务的 IP 地址及端口在 Redis 启动时它会自动从 master 进行数据同步# slaveof # 当 master 服务设置了密码保护时 ( 用 requirepass 制定的密码 )# slave 服务连接 master 的密码# masterauth # 当从库同主机失去连接或者复制正在进行从机库有两种运行方式# 1) 如果 slave-serve-stale-data 设置为 yes( 默认设置 ) 从库会继续响应客户端的请求# 2) 如果 slave-serve-stale-data 是指为 no 出去 INFO 和 SLAVOF 命令之外的任何请求都会返回一个# 错误 SYNC with master in progressslave-serve-stale-data yes# 配置 slave 实例是否接受写。写 slave 对存储短暂数据在同 master 数据同步后可以很容易地被删除是有用的但未配置的情况下客户端写可能会发送问题。# 从 Redis2.6 后默认 slave 为 read-onlyslaveread-only yes# 从库会按照一个时间间隔向主库发送 PINGs. 可以通过 repl-ping-slave-period 设置这个时间间隔默认是 10 秒# repl-ping-slave-period 10# repl-timeout 设置主库批量数据传输时间或者 ping 回复时间间隔默认值是 60 秒# 一定要确保 repl-timeout 大于 repl-ping-slave-period# repl-timeout 60# 在 slave socket 的 SYNC 后禁用 TCP_NODELAY# 如果选择“ yes ” ,Redis 将使用一个较小的数字 TCP 数据包和更少的带宽将数据发送到 slave 但是这可能导致数据发送到 slave 端会有延迟 , 如果是 Linux kernel 的默认配置会达到 40 毫秒 .# 如果选择 no 则发送数据到 slave 端的延迟会降低但将使用更多的带宽用于复制 .repl-disable-tcp-nodelay no# 设置复制的后台日志大小。# 复制的后台日志越大 slave 断开连接及后来可能执行部分复制花的时间就越长。# 后台日志在至少有一个 slave 连接时仅仅分配一次。# repl-backlog-size 1mb# 在 master 不再连接 slave 后后台日志将被释放。下面的配置定义从最后一个 slave 断开连接后需要释放的时间秒。# 0 意味着从不释放后台日志# repl-backlog-ttl 3600# 如果 master 不能再正常工作那么会在多个 slave 中选择优先值最小的一个 slave 提升为 master 优先值为 0 表示不能提升为 master 。slave-priority 100# 如果少于 N 个 slave 连接且延迟时间 M 秒则 master 可配置停止接受写操作。# 例如需要至少 3 个 slave 连接且延迟 10 秒的配置# min-slaves-to-write 3# min-slaves-max-lag 10# 设置 0 为禁用# 默认 min-slaves-to-write 为 0 禁用 min-slaves-max-lag 为 10################################## 安全 #################################### 设置客户端连接后进行任何其他指定前需要使用的密码。# 警告因为 redis 速度相当快所以在一台比较好的服务器下一个外部的用户可以在一秒钟进行 150K 次的密码尝试这意味着你需要指定非常非常强大的密码来防止暴力破解# requirepass foobared# 命令重命名 .# 在一个共享环境下可以重命名相对危险的命令。比如把 CONFIG 重名为一个不容易猜测的字符。# 举例 :# rename-command CONFIG b840fc02d524045429941cc15f59e41cb7be6c52# 如果想删除一个命令直接把它重命名为一个空字符 即可如下# rename-command CONFIG ################################### 约束####################################设置同一时间最大客户端连接数默认无限制 #Redis 可以同时打开的客户端连接数为 Redis 进程可以打开的最大文件描述符数#如果设置 maxclients 0 表示不作限制。#当客户端连接数到达限制时 Redis 会关闭新的连接并向客户端返回 max number of clients reached 错误信息# maxclients 10000# 指定 Redis 最大内存限制 Redis 在启动时会把数据加载到内存中达到最大内存后 Redis 会按照清除策略尝试清除已到期的 Key# 如果 Redis 依照策略清除后无法提供足够空间或者策略设置为 ”noeviction” 则使用更多空间的命令将会报错例如 SET, LPUSH 等。但仍然可以进行读取操作# 注意 Redis 新的 vm 机制会把 Key 存放内存 Value 会存放在 swap 区# 该选项对 LRU 策略很有用。# maxmemory 的设置比较适合于把 redis 当作于类似 memcached 的缓存来使用而不适合当做一个真实的 DB 。# 当把 Redis 当做一个真实的数据库使用的时候内存使用将是一个很大的开销# maxmemory # 当内存达到最大值的时候 Redis 会选择删除哪些数据有五种方式可供选择# volatile-lru - 利用 LRU 算法移除设置过过期时间的 key (LRU: 最近使用 Least RecentlyUsed )# allkeys-lru - 利用 LRU 算法移除任何 key# volatile-random - 移除设置过过期时间的随机 key# allkeys-random - remove a randomkey, any key# volatile-ttl - 移除即将过期的 key(minor TTL)# noeviction - 不移除任何可以只是返回一个写错误# 注意对于上面的策略如果没有合适的 key 可以移除当写的时候 Redis 会返回一个错误# 默认是 : volatile-lru# maxmemory-policy volatile-lru # LRU 和 minimal TTL 算法都不是精准的算法但是相对精确的算法 ( 为了节省内存 ) 随意你可以选择样本大小进行检测。# Redis 默认的灰选择 3 个样本进行检测你可以通过 maxmemory-samples 进行设置# maxmemory-samples 3############################## AOF################################ 默认情况下 redis 会在后台异步的把数据库镜像备份到磁盘但是该备份是非常耗时的而且备份也不能很频繁如果发生诸如拉闸限电、拔插头等状况那么将造成比较大范围的数据丢失。# 所以 redis 提供了另外一种更加高效的数据库备份及灾难恢复方式。# 开启 append only 模式之后 redis 会把所接收到的每一次写操作请求都追加到 appendonly.aof 文件中当 redis 重新启动时会从该文件恢复出之前的状态。# 但是这样会造成 appendonly.aof 文件过大所以 redis 还支持了 BGREWRITEAOF 指令对 appendonly.aof 进行重新整理。# 你可以同时开启 asynchronous dumps 和 AOFappendonly no# AOF 文件名称 ( 默认 : appendonly.aof)# appendfilename appendonly.aof# Redis 支持三种同步 AOF 文件的策略 :# no: 不进行同步系统去操作 . Faster.# always: always 表示每次有写操作都进行同步 . Slow, Safest.# everysec: 表示对写操作进行累积每秒同步一次 . Compromise.# 默认是 everysec 按照速度和安全折中这是最好的。# 如果想让 Redis 能更高效的运行你也可以设置为 no 让操作系统决定什么时候去执行# 或者相反想让数据更安全你也可以设置为 always# 如果不确定就用 everysec.# appendfsync alwaysappendfsync everysec# appendfsync no# AOF 策略设置为 always 或者 everysec 时后台处理进程 ( 后台保存或者 AOF 日志重写 ) 会执行大量的 I/O 操作# 在某些 Linux 配置中会阻止过长的 fsync() 请求。注意现在没有任何修复即使 fsync 在另外一个线程进行处理# 为了减缓这个问题可以设置下面这个参数 no-appendfsync-on-rewriteno-appendfsync-on-rewrite no# AOF 自动重写# 当 AOF 文件增长到一定大小的时候 Redis 能够调用 BGREWRITEAOF 对日志文件进行重写# 它是这样工作的 Redis 会记住上次进行些日志后文件的大小 ( 如果从开机以来还没进行过重写那日子大小在开机的时候确定 )# 基础大小会同现在的大小进行比较。如果现在的大小比基础大小大制定的百分比重写功能将启动# 同时需要指定一个最小大小用于 AOF 重写这个用于阻止即使文件很小但是增长幅度很大也去重写 AOF 文件的情况# 设置 percentage 为 0 就关闭这个特性auto-aof-rewrite-percentage 100auto-aof-rewrite-min-size 64mb################################ LUASCRIPTING ############################## 一个 Lua 脚本最长的执行时间为 5000 毫秒 5 秒如果为 0 或负数表示无限执行时间。lua-time-limit 5000################################LOW LOG################################# Redis Slow Log 记录超过特定执行时间的命令。执行时间不包括 I/O 计算比如连接客户端返回结果等只是命令执行时间# 可以通过两个参数设置 slow log 一个是告诉 Redis 执行超过多少时间被记录的参数 slowlog-log-slower-than( 微妙 ) # 另一个是 slow log 的长度。当一个新命令被记录的时候最早的命令将被从队列中移除# 下面的时间以微妙为单位因此 1000000 代表一秒。# 注意指定一个负数将关闭慢日志而设置为 0 将强制每个命令都会记录slowlog-log-slower-than 10000# 对日志长度没有限制只是要注意它会消耗内存# 可以通过 SLOWLOG RESET 回收被慢日志消耗的内存# 推荐使用默认值 128 当慢日志超过 128 时最先进入队列的记录会被踢出slowlog-max-len 128################################ 事件通知 ############################## 当事件发生时 Redis 可以通知 Pub/Sub 客户端。# 可以在下表中选择 Redis 要通知的事件类型。事件类型由单个字符来标识# K Keyspace 事件以 _keyspace_ 的前缀方式发布# E Keyevent 事件以 _keysevent_ 的前缀方式发布# g 通用事件不指定类型像 DEL, EXPIRE, RENAME, …# $ String 命令# s Set 命令# h Hash 命令# z 有序集合命令# x 过期事件每次 key 过期时生成# e 清除事件当 key 在内存被清除时生成# A g$lshzxe 的别称因此 ”AKE” 意味着所有的事件# notify-keyspace-events 带一个由 0 到多个字符组成的字符串参数。空字符串意思是通知被禁用。# 例子启用 list 和通用事件# notify-keyspace-events Elg# 默认所用的通知被禁用因为用户通常不需要改特性并且该特性会有性能损耗。# 注意如果你不指定至少 K 或 E 之一不会发送任何事件。notify-keyspace-events “”############################## 高级配置 ################################ 当 hash 中包含超过指定元素个数并且最大的元素没有超过临界时# hash 将以一种特殊的编码方式大大减少内存使用来存储这里可以设置这两个临界值# Redis Hash 对应 Value 内部实际就是一个 HashMap 实际这里会有 2 种不同实现# 这个 Hash 的成员比较少时 Redis 为了节省内存会采用类似一维数组的方式来紧凑存储而不会采用真正的 HashMap 结构对应的 valueredisObject 的 encoding 为 zipmap,# 当成员数量增大时会自动转成真正的 HashMap, 此时 encoding 为 ht 。hash-max-zipmap-entries 512hash-max-zipmap-value 64 # 和 Hash 一样多个小的 list 以特定的方式编码来节省空间。# list 数据类型节点值大小小于多少字节会采用紧凑存储格式。list-max-ziplist-entries 512list-max-ziplist-value 64# set 数据类型内部数据如果全部是数值型且包含多少节点以下会采用紧凑格式存储。set-max-intset-entries 512# 和 hashe 和 list 一样 , 排序的 set 在指定的长度内以指定编码方式存储以节省空间# zsort 数据类型节点值大小小于多少字节会采用紧凑存储格式。zset-max-ziplist-entries 128zset-max-ziplist-value 64# Redis 将在每 100 毫秒时使用 1 毫秒的 CPU 时间来对 redis 的 hash 表进行重新 hash 可以降低内存的使用# 当你的使用场景中有非常严格的实时性需要不能够接受 Redis 时不时的对请求有 2 毫秒的延迟的话把这项配置为 no 。# 如果没有这么严格的实时性要求可以设置为 yes 以便能够尽可能快的释放内存activerehashing yes# 客户端的输出缓冲区的限制因为某种原因客户端从服务器读取数据的速度不够快# 可用于强制断开连接一个常见的原因是一个发布 / 订阅客户端消费消息的速度无法赶上生产它们的速度。# 可以三种不同客户端的方式进行设置# normal - 正常客户端# slave - slave 和 MONITOR 客户端# pubsub - 至少订阅了一个 pubsub channel 或 pattern 的客户端# 每个 client-output-buffer-limit 语法 :# client-output-buffer-limit # 一旦达到硬限制客户端会立即断开或者达到软限制并保持达成的指定秒数连续。# 例如如果硬限制为 32 兆字节和软限制为 16 兆字节 /10 秒客户端将会立即断开# 如果输出缓冲区的大小达到 32 兆字节客户端达到 16 兆字节和连续超过了限制 10 秒也将断开连接。# 默认 normal 客户端不做限制因为他们在一个请求后未要求时以推的方式不接收数据# 只有异步客户端可能会出现请求数据的速度比它可以读取的速度快的场景。# 把硬限制和软限制都设置为 0 来禁用该特性client-output-buffer-limit normal 0 0 0client-output-buffer-limit slave 256mb 64mb60client-output-buffer-limit pubsub 32mb 8mb60# Redis 调用内部函数来执行许多后台任务如关闭客户端超时的连接清除过期的 Key 等等。# 不是所有的任务都以相同的频率执行但 Redis 依照指定的“ Hz ”值来执行检查任务。# 默认情况下“ Hz ”的被设定为 10 。# 提高该值将在 Redis 空闲时使用更多的 CPU 时但同时当有多个 key 同时到期会使 Redis 的反应更灵敏以及超时可以更精确地处理。# 范围是 1 到 500 之间但是值超过 100 通常不是一个好主意。# 大多数用户应该使用 10 这个预设值只有在非常低的延迟的情况下有必要提高最大到 100 。hz 10 # 当一个子节点重写 AOF 文件时如果启用下面的选项则文件每生成 32M 数据进行同步。aof-rewrite-incremental-fsync yes转载于:https://www.cnblogs.com/xxj0316/p/9213228.html
