skywalking使用ES做存储在K8S上的部署，使用实践

本来不打算写这块来的，当初觉得这部分相对来说比较简单，主要部署好skywalking-oap server 跟展示端 skywalking-ui就完事了，结果在实际部署过程中发现，通过ssl协议连接es这块居然是个卡点，搞了半天，网上也没啥文章能照着做通的，唯一让我有实质性帮助的是chatgpt…为了给人类扳回一程，我不得不写下此篇！！

顺便吐槽一下apache开源体系丰富是丰富，真是有点乱，一个项目一个标准。就ssl通讯这块，es节点之间主要用的pk12证书，kinbana连es 变成了pem证书(java客户端用的应该也是这个)，到sktwalking这了又改成用jks证书，就这么点事都不能统一，非得各搞各的，给人感觉像故意体现项目独特性。

--------------------- 原创不易，如果大家看完觉得有帮助，希望能多多点赞关注，感谢各位的支持 ----------------------

k8s部署skywalking的oap server并不是复杂，就一套yml

• service
• statefulset
  直接贴出来

service部署

service我照例用的是固定ip

apiversion: v1
kind: service
metadata:
  name: skywalking-oap-svc
  namespace:  devops-tools
  annotations: 
    desc : skywalking-oap-server服务访问入口
spec:
  selector:
    k8s-app:  skywalking-oap
  type: clusterip   #type:  clusterip【默认】 | nodeport | loadbalancer(外部负载均衡) | externalname (外部dns解析)
  clusterip: 10.106.160.105
  ports:
  - port: 12800
    targetport: 12800
    name: rest
  - port: 11800
    targetport: 11800
    name: grpc

statefulset部署

要点说明

• 与之前一样，为了便于自动部署，我使用jenkions做了文件存储，基于jenkins的账号验证提供初级的文件安全保证，使用initcontainers在启动容器前，下载所需的证书，通过配置env给容器获取账号、密码，此外还增加禁止下载的env变量，以便于在特殊情况下屏蔽下载(比如jenkins 宕机了)；
• 完整版的skywalking配置文件太长了，这里我用了几个主要的环境变量做了配置，环境变量完整支持官方文档在这里，可以根据实际需要进行参考配置skywalking-oap server 环境变量支持
• 环境变量使用说明，如何生成jks证书下面会说

 - name: sw_storage #声明使用es做存储
  value: "elasticsearch"
 - name: sw_namespace #skywalking 使用的es索引前缀配置
  value: "skywalking-log"
 - name: sw_storage_es_cluster_nodes #集群连接地址
  value: "es-01-svc.es:9200"
 - name: sw_storage_es_http_protocol #集群连接协议，简单点直接用http也不是不行
  value: "https"
 - name: sw_es_user #连接es集群用户
  value: "elastic" 
 - name: sw_es_password #连接es集群用户密码
  value: "password"
 - name: sw_storage_es_ssl_jks_path #ssl协议证书存储位置
  value: "/local-certs/es01_http.jks"
 - name: sw_storage_es_ssl_jks_pass #ssl协议证书密码
  value: "jks密码"
 - name: "sw_storage_es_super_dataset_index_shards_factor" #skywalking 索引分片数 默认5
  value: "1"
 - name: sw_core_record_data_ttl  #skywalking 明细数据存储时长，单位：天，默认3
  value: "14"
 - name: sw_core_metrics_data_ttl #skywalking 统计数据存储时长，单位：天，默认7
  value: "30"

• 想要回顾如何部署es集群可以参考之前的文档 k8s 部署 es8.12.0

apiversion: apps/v1
kind: statefulset # deployment | statefulset | daemonset | jobset
metadata: 
  name:   skywalking-oap
  namespace:  devops-tools
spec: 
  replicas: 1  #运行副本数
  selector: 
    matchlabels: 
      k8s-app:  skywalking-oap #与下方template节点中的 labels 保持一致
  revisionhistorylimit: 10 #设定保留最近的几个revision 用于回滚，默认10
  updatestrategy: #更新策略 [statefulset]
  #strategy: #更新策略 [deployment]
    type: rollingupdate # rollingupdate (滚动更新) | ondelete (删除时更新)
    rollingupdate:
      partition: 0 #[statefulset] 灰度发布控制器，每次只更新部署的pod序号 >= partition的pod，如果有5个pod[0-4]，0=更新所有,4=更新1pod,3=更新2pod
  persistentvolumeclaimretentionpolicy: # retain |  delete
    whendeleted: delete
    whenscaled: retain
  volumeclaimtemplates:     #statefulset 专属动态创建pod的存储
  - metadata:    
      name: skywalking-oap-volume
    spec:
      storageclassname: "local-path" ## 基于pv的动态创建
      accessmodes:
      - readwriteonce
      resources:
        requests:
          storage: 10gi
  template: 
    metadata: 
      labels: 
         k8s-app: skywalking-oap
      annotations:
        #"cni.projectcalico.org/ipaddrs": "[\"10.244.220.10\"]"  #pod绑定固定ip，依赖于calico ipam插件，必须使用calico 3.24.1以上的版本才可以
    spec: 
      restartpolicy: always 
      terminationgraceperiodseconds: 30 #容器被删除变为terminating状态的等待时间，默认是30s，以便于做一些容器删除前的处理工作
      initcontainers:
       - name: init-skywalking-oap
         image: apache/skywalking-oap-server:latest
         #securitycontext:
         #  runasuser: 0  #由于需要更改挂在目录的归属用户，需要以root运行 
         command: 
         - "bash" 
         - "-c"
         # 可执行多行命令  
         - > 
           echo $down_load_urls;
           ifs=',' read -r -a my_array <<< "$down_load_urls";
           for url in "${my_array[@]}"; do
               echo 'url:'$url;
               file=$(echo $url | awk -f '/' '{print $nf}');
               save_path='/local-certs';
               
               if [ ! -f $save_path"/"$file ] || [ "$down_load" = "true" ];then
                   res_status=$(curl -u $download_access_user:$download_access_pass  -i -m 10 -o /dev/null -s -w %{http_code} $url);
                   echo 'res_status: ' $res_status;
                   if [ "$res_status" != "200" ];then
                     echo "=====================     "$file"不可下载    =======================";
                   else
                     echo "=====================     "$file"可下载，执行下载    =======================";
                     cd $save_path;
                     curl -u $download_access_user:$download_access_pass $url -o;
                     ls $save_path;
                   fi
               else
                       echo "=====================    "$file"已存在 或 env:down_load=false  =======================";
               fi
           done
      
         env:   #环境变量配置
         - name: down_load
           value: "true"
         - name: "down_load_urls"
           value: "http://xxxxx/xxx/es01_http.jks" #jks证书下载url
         - name: download_access_user 
           value: "http auth 用户名"
         - name: download_access_pass
           value: "http auth 密码"
         - name: pod_name
           valuefrom: 
             fieldref: 
               apiversion: v1
               fieldpath: metadata.name
         volumemounts: 
         - name: skywalking-oap-volume  #挂载存储目录
           mountpath: /local-certs
           subpath: local-certs
         
      containers:  
        - name: skywalking-oap
          image: apache/skywalking-oap-server:latest
          imagepullpolicy: ifnotpresent # ifnotpresent | always | never
          resources:
            requests:
              memory: "2000mi" #gi=g mi=m 只支持整数
              cpu: "500m" #1000m=1cpu (cpu物理线程)
            limits:
              memory: "2200mi" #gi=g mi=m 只支持整数
              cpu: "1000m"  #1000m=1cpu (cpu物理线程)
          ports: 
          - containerport: 11800
            protocol: tcp
          - containerport: 12800
            protocol: tcp
          - | 
            docker-entrypoint.sh;
            sleep 3600;

          env:   #环境变量配置
          - name: sw_storage
            value: "elasticsearch"
          - name: sw_namespace
            value: "skywalking-log"
          - name: sw_storage_es_cluster_nodes
            value: "es-01-svc.es:9200"
          - name: sw_storage_es_http_protocol
            value: "https"
          - name: sw_es_user
            value: "elastic"
          - name: sw_es_password
            value: "1q2w3e4r"
          - name: sw_storage_es_ssl_jks_path
            value: "/local-certs/es01_http.jks"
          - name: sw_storage_es_ssl_jks_pass
            value: "1q2w3e"
          #es index 分片数 默认5
          - name: "sw_storage_es_super_dataset_index_shards_factor"
            value: "1"
          - name: sw_core_record_data_ttl
            value: "14"
          - name: sw_core_metrics_data_ttl	
            value: "30"
          - name: pod_name
            valuefrom: 
              fieldref: 
                apiversion: v1
                fieldpath: metadata.name
          - name: pod_ip
            valuefrom:
              fieldref:
                fieldpath: status.podip
          volumemounts: 
          - name: skywalking-oap-volume    #挂载部署目录
            mountpath: /skywalking/data
            subpath: data
          - name: skywalking-oap-volume  #挂载部署目录
            mountpath: /skywalking/logs
            subpath: logs
          - name: skywalking-oap-volume  #挂载存储目录
            mountpath: /local-certs
            subpath: local-certs
          - name: skywalking-oap-config  #挂载配置文件
            mountpath: /config
          - name: host-time  #挂载本地时区
            mountpath: /etc/localtime
            readonly: true
      volumes: 
      - name: host-time
        hostpath: #挂载本地时区
          path: /etc/localtime
          type: ""

生成jks证书

登录到要连接的es集群的任意节点上，使用es集群的http.p12证书进行生成
注意

• http.p12证书如果有密码的话，需要在-srcstorepass “$http12证书密码"参数中设定，没有也要设为”"，不能少参数
• -storepass "jks证书密码"这个密码必须有，哪怕http.p12没有密码，这个证书也要设置至少6位的密码

/usr/share/elasticsearch/jdk/bin/keytool   -importkeystore -destkeystore ./es_http.jks -deststoretype jks  -srckeystore /usr/share/elasticsearch/config/local-certs/http.p12 -srcstoretype pkcs12 -storepass "jks证书密码" -srcstorepass "$http12证书密码"

这样skywalking-oap server就部署好了。

skywalking-ui

接下来是skywalking-ui，这个更简单，只要设定好要连接的skywalking-oap server的地址就行了，yml部署文件如下

# api service

apiversion: v1
kind: service
metadata:
  name: skywalking-ui-svc
  namespace:  devops-tools
  annotations: 
    desc : skywalking-ui服务访问入口
spec:
  selector:
    k8s-app:  skywalking-ui
  type: clusterip   #type:  clusterip【默认】 | nodeport | loadbalancer(外部负载均衡) | externalname (外部dns解析)
  clusterip: 10.106.160.106
  ports:
  - port: 80
    targetport: 8080
    name: http

---

apiversion: apps/v1
kind: statefulset # deployment | statefulset | daemonset | jobset
metadata: 
  name:   skywalking-ui
  namespace:  devops-tools
spec: 
  replicas: 1  #运行副本数
  selector: 
    matchlabels: 
      k8s-app: skywalking-ui #与下方template节点中的 labels 保持一致
  revisionhistorylimit: 10 #设定保留最近的几个revision 用于回滚，默认10
  #servicename: "nginx-headless" #设置绑定的service，以支持内部dns访问 <pod-name>.<svc-name>.<namespace>.svc.cluster.local
  updatestrategy: #更新策略 [statefulset]
  #strategy: #更新策略 [deployment]
    type: rollingupdate # rollingupdate (滚动更新) | ondelete (删除时更新)
    rollingupdate:
      #maxsurge: 1  #[deployment]支持-升级过程中可以启动超过原先设置的pod数量的上限：数量 或 百分比 1 | 20%
      #maxunavailable: 1 #[deployment]支持-升级过程中无法提供服务的pod数量的上限：数量 或 百分比 1 | 20%，最好与maxsurge保持一致，这样能确保更新过程中的服务能力不会下降
      partition: 0 #[statefulset] 灰度发布控制器，每次只更新部署的pod序号 >= partition的pod，如果有5个pod[0-4]，0=更新所有,4=更新1pod,3=更新2pod
  persistentvolumeclaimretentionpolicy: # retain |  delete
    whendeleted: delete
    whenscaled: retain
  volumeclaimtemplates:     #statefulset 专属动态创建pod的存储
  - metadata:    
      name: skywalking-ui-volume
    spec:
      storageclassname: "local-path" ## 基于pv的动态创建
      accessmodes:
      - readwriteonce
      resources:
        requests:
          storage: 10gi
  template: 
    metadata: 
      labels: 
         k8s-app: skywalking-ui
      annotations:
        #"cni.projectcalico.org/ipaddrs": "[\"10.244.220.10\"]"  #pod绑定固定ip，依赖于calico ipam插件，必须使用calico 3.24.1以上的版本才可以
    spec: 
      restartpolicy: always 
      terminationgraceperiodseconds: 30 #容器被删除变为terminating状态的等待时间，默认是30s，以便于做一些容器删除前的处理工作
       containers:  
        - name: skywalking-ui
          image: apache/skywalking-ui
          imagepullpolicy: ifnotpresent # ifnotpresent | always | never
          #securitycontext: ##开启特权，因为要调整系统内核
          #  privileged: true
          resources:
            requests:
              memory: "256mi" #gi=g mi=m 只支持整数
              cpu: "250m" #1000m=1cpu (cpu物理线程)
            limits:
              memory: "512mi" #gi=g mi=m 只支持整数
              cpu: "500m"  #1000m=1cpu (cpu物理线程)
          #securitycontext: ###添加参数启用容器root权限
          #  privileged: true
          ports: 
          - containerport: 8080
            protocol: tcp
          env:  
          - name: sw_oap_address #设定好slkywalking-oap server的地址
            value: http://skywalking-oap-svc:12800
          - name: pod_name
            valuefrom: 
              fieldref: 
                apiversion: v1
                fieldpath: metadata.name
          - name: pod_ip
            valuefrom:
              fieldref:
                fieldpath: status.podip
          volumemounts: 
          - name: skywalking-ui-volume    #挂载部署目录
            mountpath: /skywalking-ui/data
            subpath: data
          - name: skywalking-ui-volume  #挂载部署目录
            mountpath: /skywalking-ui/logs
            subpath: logs
          - name: host-time  #挂载本地时区
            mountpath: /etc/localtime
            readonly: true
      volumes: 
      - name: host-time
        hostpath: #挂载本地时区
          path: /etc/localtime
          type: ""

skywalking-agent部署

这里一般有2种方式
1.通过init-containers将agent文件部署到容器内，同时在应用启动脚本中添加java-agent jvm参数来实现；
2.将agent文件放置到应用项目中，同时在应用启动脚本中添加java-agent jvm参数来实现
我推荐使用第1种方式，这种方式对项目代码无侵入，具体过程如下：

• 下载skywaling-agent包，下载地址
• 解压缩下载下来的tgz，将里面的skywalking-agent目录重新打包为zip或tar
• 将打好的skywalking-agent的压缩包上传至jenkins
• 在部署应用容器的k8s ymal中init-containers的command中，下载压缩包并解压缩到pvc存储的指定目录中
• 给容器挂载存放agent文件的pvc存储目录
• 在容器启动命令中添加参数，这里以java应用为例

-javaagent:/data/deploy/skywalking-agent/skywalking-agent.jar=agent.service_name=${app_group}::${app_name},collector.backend_service=skywalking-oap-server:11800,logging.dir=/data/logs,logging.level=warn,logging.max_history_files=10

这里我设定了几个参数

agent.service_name=${app_group}::${app_name} 【必须设定】当前应用的service名称，可以使用${app_group}::${app_name}来给服务分组，相同的${app_group}在skywalking-ui中展示的时候会分到同一组中

collector.backend_service=skywalking-oap-server:11800 【必须设定】 这个没啥好说的

logging.dir=/data/logs,logging.level=warn,logging.max_history_files=10 【可选】设定日志存储位置，级别，最多几个

完整参数支持可以参考官方文档 agent参数配置
一定要注意格式：
-javaagent:/data/deploy/skywalking-agent/skywalking-agent.jar=key:value,key:value

最后再给大家贴一下我的java 应用容器部署模板片段

 initcontainers:
      - name: init-deploy
        image: registry:80/web/openjdk17lts:1.1 #我的私服
        imagepullpolicy: ifnotpresent # ifnotpresent | always | never
        command: 
        - "bash" 
        - "-c"
        # 
        # 初始化用于部署的文件资源
        - >  
          cd $down_load_path;
          echo "第 67 次构建";
          echo "app_pack_url: " http://jenkins/job/xxjob/ws/deploy/app-version.jar;
          res_status=$(curl -u $download_access_user:$download_access_pass  -i -m 10 -o /dev/null -s -w %{http_code} http://jenkins/job/xxjob/ws/deploy/app-version.jar);
          echo 'res_status: ' $res_status;
          if [ "$res_status" != "200" ]];then
            echo "=====================     部署包不存在，不需要执行下载    =======================";
          else
            echo "=====================     部署包存在，执行下载    =======================";
            curl -u $download_access_user:$download_access_pass http://jenkins/job/xxjob/ws/deploy/app-version.jar -o /deploy;
            ls;
          fi;
          echo "需要下载的文件urls: "$down_load_urls;
          ifs=',' read -r -a my_array <<< "$down_load_urls";
          for url in "${my_array[@]}"; do
              echo 'url:'$url;
              file=$(echo $url | awk -f '/' '{print $nf}');
              save_path=$down_load_path;
              if [ ! $file = "" ];then
                if [ ! -f $save_path"/"$file ] || [ "$down_load" = "1" ];then
                    res_status=$(curl -u $download_access_user:$download_access_pass  -i -m 10 -o /dev/null -s -w %{http_code} $url);
                    echo 'res_status: ' $res_status;
                    if [ "$res_status" != "200" ];then
                      echo "=====================     "$file"不可下载    =======================";
                    else
                      echo "=====================     "$file"可下载，执行下载    =======================";
                      cd $save_path;
                      curl -u $download_access_user:$download_access_pass $url -o;
                      echo "=====================    获取文件后缀    =======================";
                      name=${file%.*};
                      ext_name=${file##*.};
                      if [ "$down_load_unzip" = "1" ];then
                        if [ "$ext_name" = "zip" ];then
                          echo "=====================    unzip -o"$file"  =======================";
                          unzip -o $file;
                        elif [ "$ext_name" = "tar" ];then
                          echo "=====================    tar -xvf "$file"  =======================";
                          tar -xvf $file;
                        elif [ "$ext_name" = "tar.gz" ];then
                          echo "=====================    tar -zxvf "$file"  =======================";
                          tar -zxvf $file;
                        fi
                      fi                        
                      ls $save_path;
                    fi
                else
                        echo "=====================    "$file"已存在 或 env:down_load="$down_load"  =======================";
                fi
              fi
          done;
        env:   #环境变量配置
         - name: down_load_path
           value: "/data/deploy" #下载文件存放目录位置
         - name: down_load
           value: "1" #是否强制执行下载(即使文件存在) 
         - name: down_load_urls
           value: ",http://jenkins/job/deploy-need-files/ws/deploy/skywalking-agent.zip" #下载文件的url,多个以','分隔
         - name: download_access_user 
           value: "user" #用于访问下载url的basic auth 用户
         - name: download_access_pass
           value: "password" #用于访问下载url的basic auth 密码
         - name: down_load_unzip
           value: "1" # 针对zip\tar\tar.gz下载后是否自动解压缩 0 不处理 1自动解压缩
        volumemounts:
        - name: webdemo-volume  #挂载部署目录
          mountpath: /data/deploy
          subpath: data/deploy
      containers: 
        - name: app
          image: registry:80/web/openjdk17lts:1.1 #使用私服
          imagepullpolicy: ifnotpresent # ifnotpresent | always | never
          resources:
            limits:
              memory: "2200mi"
              cpu: "1000m"
            requests:
              memory: "2gi"
              cpu: "200m"
          ports: 
            - containerport: 8080
              protocol: tcp
          command: ["/bin/sh","-c"] #添加registry垃圾回收定时任务，并启动系统定时调度服务
          args: #可以设置多行命令,不过启动后初始化还是推荐使用poststart钩子函数来执行，不能有#注释符
          - | 
            java -server -xms1g -xmx1g -xss256k -xlog:gc:/data/logs/gc.log -xx:+usezgc -xx:metaspacesize=256m -xx:maxmetaspacesize=512m --add-opens java.base/java.lang=all-unnamed -dfile.encoding=utf-8 -denv=pro -javaagent:/data/deploy/skywalking-agent/skywalking-agent.jar=agent.service_name=app_group::=app,collector.backend_service=skywalking-oap-server:11800,logging.dir=/data/logs,logging.level=warn,logging.max_history_files=10  -jar /data/deploy/app-$versioin.jar 
          volumemounts: 
          - name: app-volume  #挂载部署目录
            mountpath: /data/deploy
            subpath: deploy
          - name: app-volume #挂载数据目录
            mountpath: /data/logs
            subpath: logs
          - name: host-time  #挂载本地时区
            mountpath: /etc/localtime
            readonly: true
      volumes: 
      - name: app-volume  #使用pvc
        persistentvolumeclaim:
          claimname: app-pvc
      - name: host-time
        hostpath: #挂载本地时区
          path: /etc/localtime
          type: ""

本期文章到此结束，希望对大家有所帮助

--------------------- 原创不易，如果大家看完觉得有帮助，希望能多多点赞关注，感谢各位的支持 ----------------------