ELK日志收集--收集k8s集群中以pod方式运行的应用日志

前言

filebeat+elk的构建与解释参考
链接: k8s学习–基于k8s的elk日志收集的详细过程
本章不再重复描述

环境

虚拟机

版本 centos7.9
已部署k8s-1.27
elk服务器已部署filebeat+elk

通过在应用程序pod中运行filebeat（sidecar边车）实现,本次将以tomcat为例进行说明。

一、准备tomcat数据目录

默认tomcat容器中没有网站首页文件，不添加会导致pod中容器无法正常运行。

work01主机操作

mkdir /opt/tomcatwebroot
echo "tomcat is running" > /opt/tomcatwebroot/index.html

二、编写tomcat应用资源清单文件

master主机操作

vim tomcat-logs.yaml

apiversion: apps/v1
kind: deployment
metadata:
  name: tomcat-demo
  namespace: default
spec:
  replicas: 2
  selector:
    matchlabels:
      project: www
      app: tomcat-demo
  template:
    metadata:
      labels:
        project: www
        app: tomcat-demo
    spec:
      nodename: worker01
      containers:
      - name: tomcat
        image: tomcat:latest
        imagepullpolicy: ifnotpresent
        ports:
        - containerport: 8080
          name: web
          protocol: tcp
        resources:
          requests:
            cpu: 0.5
            memory: 500mi
          limits:
            cpu: 1
            memory: 1gi
        livenessprobe:
          httpget:
            path: /
            port: 8080
          initialdelayseconds: 60
          timeoutseconds: 20
        readinessprobe:
          httpget:
            path: /
            port: 8080
          initialdelayseconds: 60
          timeoutseconds: 20
        volumemounts:
        - name: tomcat-logs
          mountpath: /usr/local/tomcat/logs
        - name: tomcatwebroot
          mountpath: /usr/local/tomcat/webapps/root

      - name: filebeat
        image: docker.io/elastic/filebeat:7.17.2
        imagepullpolicy: ifnotpresent
        args: [
          "-c", "/etc/filebeat.yml",
          "-e",
        ]
        resources:
          limits:
            memory: 500mi
          requests:
            cpu: 100m
            memory: 100mi
        securitycontext:
          runasuser: 0
        volumemounts:
        - name: filebeat-config
          mountpath: /etc/filebeat.yml
          subpath: filebeat.yml
        - name: tomcat-logs
          mountpath: /usr/local/tomcat/logs
      volumes:
      - name: tomcat-logs
        emptydir: {}
      - name: tomcatwebroot
        hostpath:
          path: /opt/tomcatwebroot
          type: directory
      - name: filebeat-config
        configmap:
          name: filebeat-config
---
apiversion: v1
kind: configmap
metadata:
  name: filebeat-config
  namespace: default

data:
  filebeat.yml: |-
    filebeat.inputs:
    - type: log
      paths:
        - /usr/local/tomcat/logs/catalina.*

      fields:
        app: www
        type: tomcat-catalina
      fields_under_root: true
      multiline:
        pattern: '^\['
        negate: true
        match: after

    setup.ilm.enabled: false
    setup.template.name: "tomcat-catalina"
    setup.template.pattern: "tomcat-catalina-*"

    output.logstash:
      hosts: ['192.168.10.17:5056']

这个yaml定义了一个 tomcat 和 filebeat 的 deployment 以及 filebeat 的配置文件，让我们依次解释一下
部署文件 (deployment)部分

apiversion: apps/v1
kind: deployment
metadata:
  name: tomcat-demo
  namespace: default
spec:
  replicas: 2
  selector:
    matchlabels:
      project: www
      app: tomcat-demo
  template:
    metadata:
      labels:
        project: www
        app: tomcat-demo
    spec:
      nodename: worker01
      containers:
      - name: tomcat
        image: tomcat:latest
        imagepullpolicy: ifnotpresent
        ports:
        - containerport: 8080
          name: web
          protocol: tcp
        resources:
          requests:
            cpu: 0.5
            memory: 500mi
          limits:
            cpu: 1
            memory: 1gi
        livenessprobe:
          httpget:
            path: /
            port: 8080
          initialdelayseconds: 60
          timeoutseconds: 20
        readinessprobe:
          httpget:
            path: /
            port: 8080
          initialdelayseconds: 60
          timeoutseconds: 20
        volumemounts:
        - name: tomcat-logs
          mountpath: /usr/local/tomcat/logs
        - name: tomcatwebroot
          mountpath: /usr/local/tomcat/webapps/root

      - name: filebeat
        image: docker.io/elastic/filebeat:7.17.2
        imagepullpolicy: ifnotpresent
        args: [
          "-c", "/etc/filebeat.yml",
          "-e",
        ]
        resources:
          limits:
            memory: 500mi
          requests:
            cpu: 100m
            memory: 100mi
        securitycontext:
          runasuser: 0
        volumemounts:
        - name: filebeat-config
          mountpath: /etc/filebeat.yml
          subpath: filebeat.yml
        - name: tomcat-logs
          mountpath: /usr/local/tomcat/logs
      volumes:
      - name: tomcat-logs
        emptydir: {}
      - name: tomcatwebroot
        hostpath:
          path: /opt/tomcatwebroot
          type: directory
      - name: filebeat-config
        configmap:
          name: filebeat-config

metadata: 定义了 deployment 的名称和命名空间。
spec: 包含 deployment 的详细规范。
replicas: 指定了副本数量，即运行两个 tomcat 实例。
selector: 定义了选择器，用于匹配 pod 标签。
template: 描述了 pod 模板，包括 metadata 和 spec。
nodename: 指定了 pod 运行的节点名称（worker01）。
containers: 定义了两个容器：tomcat 和 filebeat。

tomcat 容器:
image: 使用 tomcat:latest 镜像。
ports: 暴露 8080 端口。
resources: 定义了资源请求和限制。
livenessprobe 和 readinessprobe: 用于健康检查。
volumemounts: 挂载了两个卷。

filebeat 容器:
image: 使用 filebeat:7.17.2 镜像。
args: 指定了启动参数。
resources: 定义了资源请求和限制。
securitycontext: 以 root 用户运行。
volumemounts: 挂载了两个卷。

volumes:
tomcat-logs: 使用 emptydir 卷。
tomcatwebroot: 使用 hostpath 卷。
filebeat-config: 使用 configmap 卷。

配置文件 (configmap)部分

apiversion: v1
kind: configmap
metadata:
  name: filebeat-config

解释
metadata: 定义了 configmap 的名称。
data: 应包含 filebeat 的配置内容（在此省略）。

三、编写logstash配置文件

elk主机配置
编写logstash配置文件，不影响以往配置文件

vim /etc/logstash/conf.d/tomcat-logstash-to-elastic.conf

input {
  beats {
    host => "0.0.0.0"
    port => "5056"
  }
}

filter {

}


output {
    elasticsearch {
      hosts => "192.168.10.17:9200"
      index => "tomcat-catalina-%{+yyyy.mm.dd}"
    }
}

运行

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/tomcat-logstash-to-elastic.conf --path.data /usr/share/logstash/data3 &

验证端口是否启动

ss -anput | grep ":5056"

四、应用tomcat资源清单文件

master主机操作

kubectl apply -f tomcat-logs.yaml

等一会因为需要下载镜像
然后查看pod
注:需要vpn

kubectl get deployment.apps
kubectl get pods

五、验证pod 中tomcat及filebeat是否正常

查看tomcat产生日志 (-c: container)

查看filebeat收集日志

 kubectl logs tomcat-demo-664584f857-k8whd -c filebeat

六、再kiana页面中添加索引

宿主机浏览器访问

192.168.10.17:5601

可以看到已经看到日志了

完成
如果对您有帮助可以点下关注