网站上线前营销推广工作准备,站群源码,做一个公司网站的费用,有没有做花卉种子的网站啊目录 elasticsearch1.创建网络2.拉取镜像3.创建容器如果出现启动失败#xff0c;提示目录挂载失败#xff0c;可以考虑如下措施 开放防火墙端口4.验证安装成功重置es密码关闭https连接创建kibana用户创建新账户给账户授权 kibana1.创建容器2.验证安装成功3.es为kibana创建用户… 目录 elasticsearch1.创建网络2.拉取镜像3.创建容器如果出现启动失败提示目录挂载失败可以考虑如下措施 开放防火墙端口4.验证安装成功重置es密码关闭https连接创建kibana用户创建新账户给账户授权 kibana1.创建容器2.验证安装成功3.es为kibana创建用户4.修改中文以及配置登陆es的账号和密码常见问题没有自动连接ESChrome提示请升级浏览器 创建filebeat用户1.创建filebeat用户 配置文件异常导致docker无法启动之后如何修改配置文件方法一方法二 filebeatfilebeat启动windowslinux filebeat配置日志采集filebeat控制台打印2.修改filebeat输出到es的配置 kibana数据展示 注意参考文章 elasticsearch
1.创建网络
因需要与kibana互联所以将kibana和elasticsearch创建在共同网络中
docker network create elastic2.拉取镜像
docker pull elasticsearch:8.13.0
docker pull kibana:8.13.0如果不带版本号则默认拉取lasteddocker下载完后如果留意下镜像的修改日期如果docker版本太低可能拉取的lasted不是最新版先remove该镜像卸载docker升级docker然后重新拉取lasted
yum erase docker
yum install docker-ce如果不先remove老镜像直接升级docker可能会存在无法删除老镜像的问题可以通过rm -rf /var/lib/docker 解决注意注意注意该命令会删除所有的镜像在删除前要先备份好需要保存的镜像。
3.创建容器
docker run --name elasticsearch --network elastic -p 19200:9200 -p 19300:9300 -v /home/docker/elasticsearch/data:/usr/share/elasticsearch/data --privileged -e discovery.typesingle-node -d elasticsearch:8.13.0命令解释:
–network elastic 加入一个名为elastic的网络中 -p 19200:9200端口映射配置物理机容器 -e 表示额外参数 “discovery.typesingle-node” 表示 指定 Elasticsearch 节点在单节点模式下运行即启动一个独立的 Elasticsearch 实例而不是一个多节点集群 -d 表示后台运行 -v 命令的意思是将Docker内部创建的名为data 的数据卷挂载到容器内的 /usr/share/elasticsearch/data 目录。这样Elasticsearch的数据就会被存储在 es-data 这个数据卷中而不是容器内部的存储层从而实现了数据的持久化。
如果出现启动失败提示目录挂载失败可以考虑如下措施
1.我试着没用 CentOS7中的安全模块selinux把权限禁掉了无法使用-v命令进行挂载需要添加selinux规则将要挂载的目录添加到白名单
chcon -Rt svirt_sandbox_file_t /home/dockerfile/tomcat/logs2.用chmod 777命
开放防火墙端口
#开放19200端口用于http通信
firewall-cmd --zonepublic --add-port19200/tcp --permanent
#开放19300端口用于ES集群间通信
firewall-cmd --zonepublic --add-port19300/tcp --permanent
#重新加载防火墙使开放的端口即时生效
firewall-cmd --reload4.验证安装成功
浏览器访问https//ip19200如果出现如下这种信息则es安装成功 es默认开启了ssl验证所以需要使用https
重置es密码
Elasticsearch8默认用户名为elastic 密码可以使用以下命令进行重置 进入docker容器
docker exec -it elasticsearch /bin/bash执行
elasticsearch-reset-password -u elastic如果启动报错received plaintext http traffic on an https channel, closing connection Netty4 Http Channel
关闭https连接
1.默认是没有vi命令的所以需要先安装vim需要root权限
docker exec -u 0 -it some-kibana bash #使用root用户的命令-u 0 先更新apt执行
apt-get update然后再执行安装vim命令
apt-get install vimcd /usr/share/elasticsearch/config打开 elasticsearch.yml 文件 找到 xpack.security.http.ssl: //启用https
enabled: true
keystore.path: certs/http.p12这样就可以直接 使用http访问
重新启动es
docker restart elasticsearch创建kibana用户
无法使用elastic用户登陆kibana所以需要为kibana创建用户
[FATAL][root] Error: [config validation of [elasticsearch].username]: value of “elastic” is forbidden. This is a superuser account that cannot write to system indices that Kibana needs to function. Use a service account token instead.
创建新账户
elasticsearch-users useradd 用户名给账户授权
elasticsearch-users roles -a superuser 用户名
elasticsearch-users roles -a kibana_system 用户名kibana
1.创建容器
docker run -d --name kibana --network elastic -p 15601:5601 kibana:8.13.0容器创建完成后会自动连接同一网络中的es
2.验证安装成功
浏览器访问http://ip:15601如果出现如下这种信息则kibana安装成功 3.es为kibana创建用户
4.修改中文以及配置登陆es的账号和密码
cd /usr/share/kibana/config打开 kibana.yml 文件 增加i18n.locale: “zh-CN” 配置中文 将elasticsearch.hosts: [ “http://elasticsearch:9200” ] 改为 具体 Elasticsearch 通信地址 增加
elasticsearch.username: elastic elasticsearch.password: elastic # 和这行常见问题
没有自动连接ES
如果没有自动连接可以使用 elasticsearch-create-enrollment-token 工具。 Kibana 生成一个新的注册令牌 进入docker容器
docker exec -it elasticsearch /bin/bash执行
elasticsearch-create-enrollment-token -s kibana在15601管理界面输入后开始连接es如下图
如果可以访问但是提示kibana未成功运行则意味着kibana虽启动成功但是连接es失败可以通过docker logs kibana查看容器日志
Chrome提示请升级浏览器
.如果使用Chrome提示请升级浏览器则可以尝试关闭所有插件查看能否访问后期可以逐个开启插件来排除问题插件
创建filebeat用户
1.创建filebeat用户
1.1 首先创建个角色名为beats_write集群权限为monitormanage_index_templates 1.2 此角色对索引的操作权限为write、delete、create_index monitor 1.3 新建一个用户拥有此权限
配置文件异常导致docker无法启动之后如何修改配置文件
方法一
把docker容器中的配置文件复制到主机中然后在主机中修改修改完成后再复制到docker容器中
复制docker容器的文件到主机中
docker cp [容器id]docker容器中配置文件路径 主机路径
docker cp mysql:/etc/mysql/my.cnf /home/my.cnf修改配置文件中出错的部分配置文件到docker容器中
docker cp 主机文件路径 容器iddocker容器中配置文件路径
docker cp /home/my.cnf mysql:/etc/mysql/my.cnf重启容器
方法二
运行命令
docker inspect [CONTAINER ID],可以找到如下的内容
看到MergedDir: cd到 MergedDir, 会发现和容器里的目录结构是一样的. 这样我们就可以在前者中也就是在容器已经 “exit” 的情况下修改容器中的配置文件, 修改完成后重启容器.
filebeat
filebeat启动
windows
下载filebeat后cmd进入文件夹内执行命令启动程序filebeat.yml为配置文件
filebeat -e -c filebeat.ymllinux
filebeat配置
日志采集
filebeat.inputs:# filestream is an input for collecting log messages from files.
- type: log #filestream为单行输入无法进行多行匹配# Unique ID among all inputs, an ID is required.id: my-filestream-id# Change to true to enable this input configuration.enabled: true# Paths that should be crawled and fetched. Glob based paths.paths: # 日志存放路径# /var/log/*.log- C:\rzxh\adminlogs\*.log#encoding: GB2312 # 防止中文乱码不是必须的出现乱码再处理multiline.pattern: ^\d{2}:\d{2}:\d{2}\.\d{3} # 匹配以 HH:mm:ss.SSS 开头的行multiline.negate: true # 忽略不匹配多行模式的行multiline.match: after # 匹配模式后的行将被合并到上一行processors:- decode_json_fields:fields: [message]target: overwrite_keys: true- dissect:tokenizer: %{time} [%{thread}] %{level} %{logger} - [%{method},%{line}] - %{message} #将数据以json形式存储field: messagetarget_prefix: rzxhlog_ # 字段前缀如果不填写会议dissect为前缀target_type: textfilebeat控制台打印
output.console:pretty: true2.修改filebeat输出到es的配置
output.elasticsearch:# Array of hosts to connect to.hosts: [ip:19200]# Protocol - either http (default) or https.protocol: http# Authentication credentials - either API key or username/password.#api_key: id:api_keyusername: 用户名password: 密码indices:- index: rzxh127-other-%{yyyy.MM.dd}when.contains:message: INFO # 如果message包含INFO进入该索引- index: rzxh127-error-%{yyyy.MM.dd}when.contains:message: ERROR # 如果message包含ERROR进入该索引codec.json:pretty: falseescape_html: truejson.keys_under_root: true # 开启json格式
json.overwrite_keys: true### 加入以下内容output.elasticsearch.index 才会生效
setup.ilm.enabled: false # 关闭索引生命周期
setup.template.enabled: false # 允许自动生成index模板
setup.template.overwrite: true # 如果存在模块则覆盖
#setup.template.name: docker # 生成index模板的名称
#setup.template.pattern: docker-* # 生成index模板匹配的index格式修改完之后需要重启filebeat
kibana数据展示
展示收集的日志信息 这样就将日志信息收集展示出来了。
注意
文中所有8.13.0为本文所用版本需要根据自己的版本调整 文中所有的15601、19200、19300需要根据自己的服务器端口调整 文中所有的中文用户名、密码、ip、端口需要自己根据实际情况修改
参考文章
Docker上安装部署Elasticsearch(ES)详细教程 https://blog.csdn.net/djdjfjf1/article/details/134775443
Docker安装ElasticSearch8.X docker安装elasticsearch8.X完整详细教程https://blog.csdn.net/qq_40739917/article/details/131654563
Docker run 容器使用-v挂载目录总会启动失败的解决方案 https://blog.csdn.net/csdn_life18/article/details/126168588
docker 容器内报错 E: List directory /var/lib/apt/lists/partial is missing. - Acquire ( : No such file or directory) 或者其他权限 PermissionError: [Errno 13] Permission denied:https://www.cnblogs.com/maxiaohei/p/16321356.html
docker pull 拉取镜像错误missing signature keyhttps://blog.csdn.net/m0_38138371/article/details/133276396
Elasticsearch8重置elastic用户密码https://blog.csdn.net/liboi11/article/details/124266367
Kibana使用 Docker 安装 Kibana - 8.xhttps://blog.csdn.net/UbuntuTouch/article/details/130921373
Docker安装Elasticsearch8Kibana8自定义Docker目录情景下的配置修改https://blog.csdn.net/Sucrapipple/article/details/136950567
docker镜像无法删除解决https://www.cnblogs.com/hongweigg/p/16979765.html
elasticsearch7.x 开启安全认证xpack以及kibana、logstash、filebeat组件连接开启安全认证的eshttps://blog.csdn.net/qq_44930876/article/details/128653811
kibana设置中文访问界面https://blog.csdn.net/m0_62755217/article/details/133813292
docker安装kibana并配置es的密码https://blog.csdn.net/qq_52594679/article/details/136257664
docker容器无法启动修改容器内文件2种方式https://blog.csdn.net/JineD/article/details/109577016
容器部署es和kibana挂载数据卷并开启es安全验证https://blog.csdn.net/weixin_46030885/article/details/128784226
手把手系列 - 搭建 efk 8 收集 docker 容器日志 https://www.cnblogs.com/hukey/p/16454187.html
ELK相关问题及解决办法https://zhuanlan.zhihu.com/p/685830904
Filebeat之多行匹配模式理解记忆方式https://blog.csdn.net/sinat_33622098/article/details/112648307
Filebeat输出json格式的日志并指定message字段的值https://blog.csdn.net/kali_yao/article/details/124637646
