网站建设公司未来方向,wordpress如何做导航网站,瑞安自适应网站建设,天津搜索引擎优化公司文章目录 Elasticsearch_8.11.4_kibana_8.11.4_metricbeat_8.11.4安装及本地部署_ELK日志部署分布式引擎Elasticsearch_8.11.4安装及本地部署系统环境要求1 Windows 安装 Elasticsearch下载完成后进行解压,进入 bin 目录,找到elasticsearch.bat脚本文件执行一键启动.启动都选允… 文章目录 Elasticsearch_8.11.4_kibana_8.11.4_metricbeat_8.11.4安装及本地部署_ELK日志部署分布式引擎Elasticsearch_8.11.4安装及本地部署系统环境要求1 Windows 安装 Elasticsearch下载完成后进行解压,进入 bin 目录,找到elasticsearch.bat脚本文件执行一键启动.启动都选允许访问网络启动后,特别注意一下 cmd 窗口的一个用户名和一个密码信息,访问登录需要这个用户名密码看到启动的端口访问时候报错版本8以上默认SSL证书是开启我尝试证书关闭是没有成功下面是生成证书第一步生成证书我们在ES的bin目录路径下执行自动在目录生成文件 第二步对生成的证书进行验证在ES的bin目录路径下执行指令keystore和truststore设置密码生成文件在根目录下 1.1 config参数解释和详细配置可参考文件路径window环境下路径问题默认是从D盘开始的一定要设定在有效的elasticSearch文件安装的目录下的config文件夹下才会识别成功这个很重要elasticsearch.yml配置文件释义设置文件路径的只配置这两个jvm文件修改config配置文件夹中修改jvm.options 配置设置jvm启动内存的大小 启动进行访问这个界面就是启动成功 1.2 其他服务指令,查找服务2 kibana 安装下载后解压后的目录结构配置文件中主要配置访问超时的时间改成汉化设置好后进入bin目录双击kibana.bat运行下面常用几个配置kibana中配置ES中配置的kibana账号密码即可连接ES认证默认端口是5601127.0.0.1:5601进行访问我这边都是默认进入页面这两个点击任何一个都一样我选择的是Explore on my own滚动屏幕,选择监控点击默认选项提示安装Download Metricbeat 3 Metricbeat安装及部署执行报错修改执行策略允许本地脚本和远程签名脚本 RemoteSigned配置文件说明: metricbeat.yml配置文件主要修改如下其他默认启动指令start metricbeat 重新打开页面发现页面有了变化 4 ELK日志分析 Elasticsearch_8.11.4_kibana_8.11.4_metricbeat_8.11.4安装及本地部署_ELK日志部署
分布式引擎Elasticsearch_8.11.4安装及本地部署
Elasticsearch是一个基于 Lucene 库的分布式搜索和分析引擎它提供了一个分布式、多租户的全文搜索引擎具有 HTTP Web 接口和无模式 JSON 文档,同时也是是一个非常强大的工具可以用于各种用途例如日志分析、搜索引擎、安全分析等等。
远程连接的好处在于可以让用户从远程位置访问 Elasticsearch集群这样可以方便地进行数据查询和管理。具体好处如下
1 方便远程协作远程连接可以让多个用户从不同的地方同时访问 Elasticsearch 集群方便团队协作和数据共享。 2 提高数据安全性远程连接可以让用户在本地进行数据查询和管理避免了在服务器上直接操作数据的风险提高了数据的安全性。 3 方便数据备份远程连接可以让用户方便地将数据备份到本地避免了数据丢失的风险。 4 提高数据处理效率远程连接可以让用户在本地进行数据处理和分析避免了数据传输的时间和带宽限制提高了数据处理效率。
下面介绍在 Windows 安装 Elasticsearch 并结合 Cpolar 实现远程连接和访问!
系统环境要求
安装前–》需要JDK 1.8的环境
1 Windows 安装 Elasticsearch
相关b站视频学习:https://www.bilibili.com/video/BV1o4411j7cX?p2vd_source07fe8b0af86975fbc5f3de79fd3d6186
中文官网https://www.elastic.co/cn/
进入官方下载界面: https://www.elastic.co/downloads/elasticsearch,选择windows版本下载,Elasticsearch 运行需要 java 环境,如果没有安装环境,需要提前安装 JDK. 下载完成后进行解压,进入 bin 目录,找到elasticsearch.bat脚本文件执行一键启动. 启动都选允许访问网络 启动后,特别注意一下 cmd 窗口的一个用户名和一个密码信息,访问登录需要这个用户名密码 用户elastic 密码Dd1ScBihh_*-W2vYTLci看到启动的端口 访问时候报错版本8以上默认SSL证书是开启我尝试证书关闭是没有成功下面是生成证书
Elasticsearch 启动后访问报错[2024-01-12T21:02:18,560][WARN ][o.e.t.TcpTransport ] [20230605-170021] exception caught on transport layer [Netty4TcpChannel{localAddress/127.0.0.1:9300, remoteAddress/127.0.0.1:10465, profiledefault}], closing connectionio.netty.handler.codec.DecoderException: javax.net.ssl.SSLHandshakeException: Empty client certificate chainat io.netty.codec4.1.94.Final/io.netty.handler.codec.ByteToMessageDecoder.callDecode(ByteToMessageDecoder.java:499)at io.netty.codec4.1.94.Final/io.netty.handler.codec.ByteToMessageDecoder.channelRead(ByteToMessageDecoder.java:290)at io.netty.transport4.1.94.Final/io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:444)at io.netty.transport4.1.94.Final/io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:420)at io.netty.transport4.1.94.Final/io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:412)第一步生成证书我们在ES的bin目录路径下执行
bin/elasticsearch-certutil ca生成ca证书在期间会提示我们输入生成文件名(可直接回车跳过)提示我们输入证书密码(可直接回车跳过也可以设置一个密码密码尽量统一)这样我们就可以得到一个以.p12结尾的ca证书其文件名默认为elastic-stack-ca.p12 自动在目录生成文件 第二步对生成的证书进行验证在ES的bin目录路径下执行指令
bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12 #依次输入上一个步骤的密码。回车文件使用默认名密码建议与上一步密码相同bin/elasticsearch-keystore add xpack.security.transport.ssl.keystore.secure_password #输入密码第一步中设置的密码例如本样例中的123456bin/elasticsearch-keystore add xpack.security.transport.ssl.truststore.secure_password #输入密码第一步中设置的密码例如本样例中的12345keystore和truststore设置密码 生成文件在根目录下 1.1 config参数解释和详细配置可参考
文件路径window环境下路径问题默认是从D盘开始的一定要设定在有效的elasticSearch文件安装的目录下的config文件夹下才会识别成功这个很重要 elasticsearch.yml配置文件释义
#集群名字目前是单节点
cluster.name: “test”
#节点名
node.name: “es_test”
#配置可进行数据交互的ip
network.host: 0.0.0.0
#允许http跨域访问es_head插件必须开启
http.cors.enabled: true
http.cors.allow-origin: “*”
#数据存储路径
path.data: /usr/share/elasticsearch/dat
#启动的端口
http.port: 9200
#日志存储路径
path.logs: /usr/share/elasticsearch/logs
#不锁定jvm内存
bootstrap.memory_lock: false
#备份库
path.repo: [“/usr/share/elasticsearch/data/backup”]
#主节点
cluster.initial_master_nodes: [“es_test”]
#es_head连接时读取用户名密码
http.cors.allow-headers:
Authorization,X-Requested-With,Content-Length,Content-Type
# 集群
discovery.seed_hosts: [host1, host2]
# 有哪些节点可以成为主节点
cluster.initial_master_nodes: [node-1, node-2]
#开启密码认证
xpack.security.enabled: true
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path:【es的安装路径】/config/XXX/elastic-certificates.p12
Linux:---------- /usr/share/elasticsearch/config/certs/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path:【es的安装路径】/config/XXX/elastic-certificates.p12
Linux:---------- /usr/share/elasticsearch/config/certs/elastic-certificates.p12设置文件路径的只配置这两个
xpack.security.transport.ssl.keystore.path:
xpack.security.transport.ssl.truststore.path# Enable security features
xpack.security.enabled: truexpack.security.enrollment.enabled: true# Enable encryption for HTTP API client connections, such as Kibana, Logstash, and Agents
xpack.security.http.ssl:enabled: truekeystore.path: certs/http.p12# Enable encryption and mutual authentication between cluster nodes
xpack.security.transport.ssl:enabled: trueverification_mode: certificatekeystore.path: elastic-certificates.p12truststore.path: elastic-certificates.p12jvm文件修改
config配置文件夹中修改jvm.options 配置设置jvm启动内存的大小
-Xms512m
-Xmx512m启动
./bin/elasticsearch -d #逐个启动节点进行访问这个界面就是启动成功 1.2 其他服务指令,查找服务
tasklist | find java.exe # 检查java服务是否运行
taskkill /F /IM java.exe # 结束java服务
java -jar path/java/service.jar #启动服务需要日环java实际的jar包路径2 kibana 安装
Kibana是一个针对Elasticsearch的开源分析及可视化平台用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana可以通过各种图表进行高级数据分析及展示。Kibana让海量数据更容易理解。它操作简单基于浏览器的用户界面可以快速创建仪表板(dashboard)实时显示Elasticsearch查询动态。设置Kibana非常简单。无需编码或者额外的基础架构几分钟内就可以完成Kibana安装并启动Elasticsearch索引检测。
Kibana版本要和ES一致
官方下载地址https://www.elastic.co/cn/downloads/kibana 下载后解压后的目录结构 配置文件中主要配置
elasticsearch.hosts: [http://localhost:9200] # 填写的elasticsearch服务地址访问超时的时间 改成汉化 设置好后进入bin目录双击kibana.bat运行 下面常用几个配置kibana中配置ES中配置的kibana账号密码即可连接ES认证
elasticsearch.username: kibana
elasticsearch.password: XXX
elasticsearch.hosts: [http://1.1.1.1:9200,http://2.2.2.2:9200,http://3.3.3.3:9200]
server.port: 5601默认端口是5601127.0.0.1:5601进行访问我这边都是默认 进入页面这两个点击任何一个都一样我选择的是Explore on my own 滚动屏幕,选择监控 点击默认选项 提示安装Download Metricbeat 3 Metricbeat安装及部署
下载注意与elastic要保持版本的基本一致
Metricbeat是一个轻量级的托运程序可以安装在服务器上定期从操作系统和服务器上运行的服务收集度量。Metricbeat获取它收集的度量和统计数据并将它们发送到您指定的输出例如Elasticsearch或Logstash。
Metricbeat通过从服务器上运行的系统和服务收集指标帮助您监控服务器例如
ApacheHAProxyMongoDBMySQLNginxPostgreSQLRedisSystemZookeeper
详细官方安装教程
下载地址
1 将zip文件的内容解压到C:\Program Files中
2 将“Metricbeat-8.11.4-windows-x86_64”目录重命名为“Metricbeat”。
3 以管理员身份打开PowerShell提示符(右键单击PowerShell图标并选择以管理员身份运行)。PS cd C:\Program Files\MetricbeatPS C:\Program Files\Metricbeat .\install-service-metricbeat.ps14 如果您的系统禁用脚本执行则需要设置执行策略: PowerShell.exe -ExecutionPolicy UnRestricted -File .\install-service-metricbeat.ps1执行报错
PS C:\Program Files\Metricbeat .\install-service-metricbeat.ps1
.\install-service-metricbeat.ps1 : File C:\Program Files\Metricbeat\install-service-metricbeat.ps1 cannot be loaded bec
ause running scripts is disabled on this system. For more information, see about_Execution_Policies at https:/go.micros
oft.com/fwlink/?LinkID135170.
At line:1 char:1.\install-service-metricbeat.ps1~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ CategoryInfo : SecurityError: (:) [], PSSecurityException FullyQualifiedErrorId : UnauthorizedAccess修改执行策略允许本地脚本和远程签名脚本 RemoteSigned
执行策略修改https://learn.microsoft.com/zh-cn/powershell/module/microsoft.powershell.core/about/about_execution_policies?viewpowershell-7.4
PS C:\Program Files\Metricbeat Set-ExecutionPolicy -ExecutionPolicy RemoteSignedExecution Policy Change
The execution policy helps protect you from scripts that you do not trust. Changing the execution policy might expose
you to the security risks described in the about_Execution_Policies help topic at
https:/go.microsoft.com/fwlink/?LinkID135170. Do you want to change the execution policy?
[Y] Yes [A] Yes to All [N] No [L] No to All [S] Suspend [?] Help (default is N): y
PS C:\Program Files\Metricbeat .\install-service-metricbeat.ps1
[SC] DeleteService SUCCESSStatus Name DisplayName
------ ---- -----------
Stopped metricbeat metricbeat 配置文件说明: metricbeat.yml
# Metricbeat配置文件# Metricbeat模块配置
metricbeat.config.modules:path: ${path.config}/modules.d/*.ymlreload.enabled: false# 设置模板配置
setup.template.settings:index.number_of_shards: 1index.codec: best_compression# 设置Kibana相关配置
setup.dashboards.enabled: true
setup.kibana:host: 192.168.122.118:5601# 输出到Elasticsearch的配置
output.elasticsearch:# Elasticsearch集群节点hosts: [https://192.168.122.118:9200, https://192.168.122.119:9200, https://192.168.122.120:9200]protocol: httpsusername: elasticpassword: elastic# SSL配置ssl.certificate_authorities: [/opt/module/metricbeat-8.11.0/certs/elasticsearch-ca.pem]ssl.certificate: /opt/module/metricbeat-8.11.0/certs/instance.crtssl.key: /opt/module/metricbeat-8.11.0/certs/instance.key# Metricbeat处理器配置
processors:- add_host_metadata: ~- add_cloud_metadata: ~- add_docker_metadata: ~- add_kubernetes_metadata: ~# 直接发送elasticsearch
output.elasticsearch:hosts: [192.168.0.1:9200]# 要加载仪表板可以在metricbeat设置中启用仪表板加载。当仪表板加载被启用时Metricbeat使用Kibana API来加载样本仪表板。只有当Metricbeat启动时才会尝试仪表板加载。
# 设置kibana服务地址
setup.kibana.host: 172.30.1.45:5601
# 加载默认的仪表盘样式
setup.dashboards.enabled: true
# 设置如果存在模板则不覆盖原有模板
setup.template.overwrite: false配置文件主要修改如下其他默认 启动指令start metricbeat
# 启用modules
# metricbeat modules enable 模块名# 禁用modules
# metricbeat modules disable 模块名# # 启动system监控如果想监控mysql、redis等则相应打开相关功能
# metricbeat modules enable system.\metricbeat.exe modules list
.\metricbeat.exe setup -e # 加载资源
.\metricbeat.exe modules enable elasticsearch-xpack # 启动PS C:\Program Files\Metricbeat start metricbeat # 启动会自动黑框无需操作等待.\metricbeat.exe setup --dashboards # 开启面板命令执行完成后可以在计算机管理-服务中看到metricbeat服务是启动状态在kibana可视化中可以看到Windows主机信息了。 重新打开页面发现页面有了变化 整个Elasticsearch安装中间走了很多弯路最后是成功安装如何使用后续会更新
4 ELK日志分析
在安装和配置Metricbeat前需确保ELK(Elasticsearch、Logstash、Kibana)已正确安装和工作关于ELK部署安装请参照文章《ELK日志监控分析系统的探索与实践(一)利用Filebeat监控Springboot日志》
