想找人做网站和app,网站设计需求表,2022最新国际新闻10条简短,招商平台公司文章目录 分片索引设置分片获取索引分片信息示例 分片分配集群级分片分配索引级分片分配索引级分片筛选每个节点的分片总数索引恢复优先级节点掉线时延时分配 分片
和数据库中的表空间类似#xff0c;不过分片是为每个索引设置#xff0c;一个索引可以有多个分片#xff0c… 文章目录 分片索引设置分片获取索引分片信息示例 分片分配集群级分片分配索引级分片分配索引级分片筛选每个节点的分片总数索引恢复优先级节点掉线时延时分配 分片
和数据库中的表空间类似不过分片是为每个索引设置一个索引可以有多个分片分片分为主分片和副本分片主分片和副本分片类似于数据库中的主库和备库。
主分片shards可以有一个或多个但至少会有一个默认为1。多个主分片类似于分表可以提高大量数据情况下的性能和吞吐量压力。副本分片replicas是针对主分片的副本默认为1也可以有多个。在主分片节点掉线或故障时会升级为主分片来提供服务。副本分片可以提供查询等服务提高查询效率和可用性。 注主分片并不等于主节点主分片可能存在于 ES 集群的非主节点上。这是由分片分配功能决定的。这个我们下面会说。 索引设置分片 在创建索引的时候通过 settings 参数设置索引的分片数量比如我们创建一个 索引 students PUT /students{settings:{index:{number_of_shards: 2, // 设置主分片数量(数量限制为1024每个索引建议不要太多)number_of_replicas: 1 // 每个主分片对应一个副本分片}}, mappings: {properties: {age: { type: integer}, birthday: { type: date,format:yyyy-MM-dd HH:mm:ss }, name: { type: keyword },height: {type: float},id: {type: long},sex:{type: byte},remark:{type:text}}}
}分片的数量信息在创建索引时设置请不要修改。修改可能造成问题。虽然 number_of_replicas 是动态索引设置但我还是建议不要去修改它。如确实需要修改请重建索引。更多的索引设置请查看官网 索引设置 获取索引分片信息
GET /target/_shard_storesGET /_shard_stores路径参数 target一个或多个索引的名称多个用英文逗号隔开即可 查询参数 status status 可选字符串以逗号分隔的分片健康状态列表用于限制请求。 有效值包括 green 分配了主分片和所有副本分片。yellow 一个或多个副本分片未分配。red 主分片未分配all 返回所有分片无论运行状况如何。 默认为yellow,red 这意味着如果我们的集群正常不使用status参数查询不出结果 示例 比如我们目前集群只有两个节点 192.168.1.10 和 192.168.1.11 GET /students/_shard_stores?statusgreen{indices: {students: {shards: { // 分片信息对象0: { // 第 0 个分片stores: [{oj5FEiVMRpuWV386zdwy3w: {name: myNode1,ephemeral_id: Au6ZYmTZQFOlGqIelj4ceQ,transport_address: 192.168.1.10:9300,external_id: myNode1,attributes: {ml.allocated_processors_double: 4.0,xpack.installed: true,ml.machine_memory: 6087233536,ml.allocated_processors: 4,ml.max_jvm_size: 3045064704},roles: [data,data_cold,data_content,data_frozen,data_hot,data_warm,ingest,master,ml,remote_cluster_client,transform]},allocation_id: fhR4UEA6SS2OnBnlQ2f-Lw,allocation: primary // 表示其为主分片},{AST-4rnFRdagsd0juerSaw: {name: myNode2,ephemeral_id: 1VlBaXYYRAeveu6BX_BpYw,transport_address: 192.168.1.11:9300,external_id: myNode2,attributes: {ml.allocated_processors_double: 4.0,xpack.installed: true,ml.machine_memory: 6087098368,ml.allocated_processors: 4,ml.max_jvm_size: 3045064704},roles: [data,data_cold,data_content,data_frozen,data_hot,data_warm,ingest,master,ml,remote_cluster_client,transform]},allocation_id: LqDP66XYQkuBh204S9HNIQ,allocation: replica // 表示其为副本分片}]},1: { // 第 1 个分片stores: [{AST-4rnFRdagsd0juerSaw: {name: myNode2,ephemeral_id: 1VlBaXYYRAeveu6BX_BpYw,transport_address: 192.168.1.11:9300,external_id: myNode2,attributes: {ml.allocated_processors_double: 4.0,xpack.installed: true,ml.machine_memory: 6087098368,ml.allocated_processors: 4,ml.max_jvm_size: 3045064704},roles: [data,data_cold,data_content,data_frozen,data_hot,data_warm,ingest,master,ml,remote_cluster_client,transform]},allocation_id: x9N8h80WQ5aJ0aLkXicGRQ,allocation: primary},{oj5FEiVMRpuWV386zdwy3w: {name: myNode1,ephemeral_id: Au6ZYmTZQFOlGqIelj4ceQ,transport_address: 192.168.1.10:9300,external_id: myNode1,attributes: {ml.allocated_processors_double: 4.0,xpack.installed: true,ml.machine_memory: 6087233536,ml.allocated_processors: 4,ml.max_jvm_size: 3045064704},roles: [data,data_cold,data_content,data_frozen,data_hot,data_warm,ingest,master,ml,remote_cluster_client,transform]},allocation_id: NcS8BiuYQs2qip5DIhGEKA,allocation: replica}]}}}}
}可以看到结果我们有两个两两对应的主副分片分别在集群的两个节点上且均匀分布的。 查询结果中可能会出现 “store_exception”: … 信息其表示打开分片索引或早期引擎故障时遇到的任何异常信息 分片分配
我们上面提到分片是均匀分布在 ES 集群的但这个不是绝对的。比如受节点所在服务器的内存、磁盘等各种情况的限制各个节点之间可能存在性能差异等 ES 集群会通过一些策略对分片进行合理的分配。这些策略默认是理想情况下的均匀分配策略在实际情况中我们可以进行相应的策略配置使 ES 尽可能的按照我们提供的策略进行分片分配。 分片分配是将分片分配给节点的过程。在初始恢复、副本分配、重新平衡或添加或删除节点时发生。主节点的主要角色之一就是决定将哪些分片分配给哪个节点以及何时在节点之间移动分片以重新平衡集群。 集群级分片分配
确定分片被分配到哪个节点以及分片在集群之间的移动策略等的配置。我们这里不做扩展讲解可以在官网 集群级分片分配 中进行详细查看。
索引级分片分配
索引级分片筛选
通过索引级分片筛选可以将索引按你设置的策略进行分片的分配如 _name 按节点名称进分配、_host_ip 按主机 IP 分配节点。
该配置通过 index.routing.allocation 来配置
属性说明_name按节点名称匹配节点_host_ip按主机IP地址匹配节点与主机名关联的IP_publish_ip按发布IP地址匹配节点_ip匹配其中之一_host_ip或_publish_ip_host按主机名匹配节点_id按节点id匹配节点_tier按节点匹配节点数据层角色。data_content、data_hot、data_warm、data_cold、data_frozen
例如
PUT person/_settings
{index.routing.allocation.include._ip: 192.168.2.*
}将 tset 索引分片分配到 包含 192.168.2.* ip的地址。 require表示必须满足所有条件exclude条件之外include必须至少满足其中一个条件 每个节点的分片总数
集群级分片分配器尝试将单个索引的分片分散到尽可能多的节点上。 index.routing.allocation.total_shards_per_node 将分配给单个索引的最大分片数副本和主分片。默认为无边界。 cluster.routing.allocation.total_shards_per_node (动态)分配给每个节点的最大主分片和副本分片数。默认为-1无限制
例如 当前有三个节点设置的最大分片数都为 100 节点A当前100个分片 节点B当前59个分片 节点C当前20个分片 当节点 C 故障时 ES 集群会将分片分配给节点 B因为节点 A 已经达到了分片数量的限制。
索引恢复优先级
ES 会尽可能的按优先级顺序恢复未分配到分片默认情况下ES 按如下优先级顺序
index.priority设置值大优先索引创建日期日期越大越优先索引名称先高后低
我们可以动态的通过 index.priority 设置优先级UPDATE 修改索引设置
PUT person/_settings
{index.priority: 1
}节点掉线时延时分配
当某个节点丢失离开集群时主节点
将副本分片替换该节点的主分片重新分配丢失的副本分片在其余的节点上重新平衡分片 这个过程会给集群增加负载当节点丢失的时间很短几分钟内就恢复了那么此过程其实是可以避免的我们可以通过 index.unassigned.node_left.delayed_timeout 来设置分配延迟时间该配置默认为 1m 1分钟可以在索引或所有索引上更新此设置 PUT _all/_settings
{settings: {index.unassigned.node_left.delayed_timeout: 5m}
}
