docker-compose java.net.UnknownHostException问题_云虚拟主机

docker-compose java.net.unknownhostexception

在这里插入图片描述

historyserver | caused by: java.lang.runtimeexception: could not resolve kerberos principal name: java.net.unknownhostexception: historyserver: historyserver: name or service not known
historyserver | at org.apache.hadoop.security.authenticationfilterinitializer.getfilterconfigmap(authenticationfilterinitializer.java:90)
historyserver | at org.apache.hadoop.http.httpserver2.getfilterproperties(httpserver2.java:454)
historyserver | at org.apache.hadoop.http.httpserver2.constructsecretprovider(httpserver2.java:445)
historyserver | at org.apache.hadoop.http.httpserver2.<init>(httpserver2.java:339)
historyserver | ... 8 more
historyserver | caused by: java.net.unknownhostexception: historyserver: historyserver: name or service not known
historyserver | at java.net.inetaddress.getlocalhost(inetaddress.java:1496)
historyserver | at org.apache.hadoop.security.securityutil.getlocalhostname(securityutil.java:190)
historyserver | at
...

注释 network_mode: ‘host’

[root@localhost module]# cat docker-compose-hadoop-cluster.yaml
version: "2.2"
services:
  namenode:
    image: bde2020/hadoop-namenode:1.1.0-hadoop2.7.1-java8
    hostname: namenode
    container_name: namenode
    ports:
      - 9000:9000
      - 50070:50070
    restart: always
    #network_mode: 'host'
    environment:
      - cluster_name=test
      - hdfs_conf_dfs_permissions=false
    env_file:
      - ./hadoop.env

  resourcemanager:
    image: bde2020/hadoop-resourcemanager:1.1.0-hadoop2.7.1-java8
    hostname: resourcemanager
    container_name: resourcemanager
    ports:
      - 8030:8030
      - 8031:8031
      - 8032:8032
      - 8033:8033
      - 8088:8088
    restart: always
    #network_mode: 'host'
    depends_on:
      - namenode
      - datanode1
      - datanode2
      - datanode3
    env_file:
      - ./hadoop.env

  historyserver:
    image: bde2020/hadoop-historyserver:1.1.0-hadoop2.7.1-java8
    hostname: historyserver
    container_name: historyserver
    ports:
      - 8188:8188
    restart: always
    #network_mode: 'host'
    depends_on:
      - namenode
      - datanode1
      - datanode2
      - datanode3
    #volumes:
    #  - ./hadoop/historyserver:/hadoop/yarn/timeline
    env_file:
      - ./hadoop.env

  nodemanager1:
    image: bde2020/hadoop-nodemanager:1.1.0-hadoop2.7.1-java8
    hostname: nodemanager1
    container_name: nodemanager1
    ports:
      - 8040:8040
      - 8041:8041
      - 8042:8042
    restart: always
    #network_mode: 'host'
    depends_on:
      - namenode
      - datanode1
      - datanode2
      - datanode3
    env_file:
      - ./hadoop.env


  datanode1:
    image: bde2020/hadoop-datanode:1.1.0-hadoop2.7.1-java8
    hostname: datanode1
    container_name: datanode1
    restart: always
    #network_mode: 'host'
    environment:
      - hdfs_conf_dfs_datanode_address=0.0.0.0:50010
      - hdfs_conf_dfs_datanode_ipc_address=0.0.0.0:50020
      - hdfs_conf_dfs_datanode_http_address=0.0.0.0:50075
    ports:
      - 50010:50010
      - 50020:50020
      - 50075:50075
    depends_on:
      - namenode
    #volumes:
    #  - ./hadoop/datanode1:/hadoop/dfs/data
    env_file:
      - ./hadoop.env

  datanode2:
    image: bde2020/hadoop-datanode:1.1.0-hadoop2.7.1-java8
    hostname: datanode2
    container_name: datanode2
    restart: always
    #network_mode: 'host'
    environment:
      - hdfs_conf_dfs_datanode_address=0.0.0.0:50012
      - hdfs_conf_dfs_datanode_ipc_address=0.0.0.0:50022
      - hdfs_conf_dfs_datanode_http_address=0.0.0.0:50072
    ports:
      - 50012:50012
      - 50022:50022
      - 50072:50072
    depends_on:
      - namenode
    #volumes:
    #  - ./hadoop/datanode2:/hadoop/dfs/data
    env_file:
      - ./hadoop.env

  datanode3:
    image: bde2020/hadoop-datanode:1.1.0-hadoop2.7.1-java8
    hostname: datanode3
    container_name: datanode3
    restart: always
    #network_mode: 'host'
    environment:
      - hdfs_conf_dfs_datanode_address=0.0.0.0:50013
      - hdfs_conf_dfs_datanode_ipc_address=0.0.0.0:50023
      - hdfs_conf_dfs_datanode_http_address=0.0.0.0:50073
    ports:
      - 50013:50013
      - 50023:50023
      - 50073:50073
    depends_on:
      - namenode
    #volumes:
    #  - ./hadoop/datanode3:/hadoop/dfs/data
    env_file:
      - ./hadoop.env

docker compose各参数配置介绍

docker compose 是一个用于定义和运行多个 docker 容器的工具，通过使用简单的 yaml 文件来配置应用程序的服务、网络和卷等。

使用 docker compose 可以方便地定义和管理容器化应用程序的服务栈。在配置文件中，你可以指定各个服务所需的镜像、环境变量、端口映射、数据卷挂载等信息。通过一次性执行 docker-compose up 命令，docker compose 将会自动下载所需的镜像，并启动所有服务。此外，还可以使用 docker-compose down 命令停止服务并清理容器。

使用 docker compose 的好处是，它使得部署和管理多个容器变得简单而高效。你可以将整个应用程序的服务定义放在一个文件中，便于版本控制和共享。同时，通过 docker compose，你可以轻松部署一致性的开发、测试和生产环境，减少因环境差异而造成的问题。

docker compose 各项参数

version: 指定 docker compose 文件的版本。例如，version: '3' 表示使用 docker compose 文件格式的版本 3。
services: 定义各个服务。在这个部分中，你可以为每个服务指定名称、镜像、环境变量、端口映射等信息。
image: 指定服务所使用的镜像。例如，image: nginx:latest 表示使用最新版本的 nginx 镜像。
environment: 设置环境变量。你可以通过 environment 参数为服务指定所需的环境变量及其值。例如，environment: - mysql_root_password=example 表示设置 mysql 服务的 mysql_root_password 环境变量为 "example"。
ports: 指定端口映射。通过 ports 参数，你可以将容器内部的端口映射到主机的指定端口上。例如，ports: - 8080:80 表示将容器的 80 端口映射到主机的 8080 端口上。
volumes: 配置数据卷挂载。使用 volumes 参数可以将容器内的路径与主机上的目录或卷进行映射。例如，volumes: - ./data:/app/data 表示将主机上的 ./data 目录挂载到容器的 /app/data 路径上。
networks: 配置网络。通过 networks 参数，你可以为服务指定要连接到的网络。这个参数可用于定义自定义网络以及连接到现有网络。
depends_on: 设置服务依赖。使用 depends_on 参数可以指定服务之间的依赖关系。例如，depends_on: - db 表示该服务依赖于名为 db 的服务。

这些只是 docker compose 配置文件中一些常用的参数。建议查阅 docker compose 官方文档，了解更多参数和配置选项的详细介绍。

代码演示

services:
    client:
    build:
    context: ./client
    dockerfile: ./dockerfile
    restart: always
    ports:
 
        - 9540:9540
 
    volumes:
 
        - upload:/usr/share/nginx/html/static
 
    depends_on:
 
        - servers
 
 
servers:
 
    build:
    context: ./servers
    dockerfile: ./dockerfile
    command: npm run start:docker
    restart: always
 
    ports:
 
        - 8080:8080
 
    volumes:
 
        - upload:/upload
 
    depends_on:
 
        - mysql
        - redis
    
 
 
mysql:
 
    image: mysql
 
    command: mysqld --character-set-server=utf8mb4 --collation-                            
    server=utf8mb4_unicode_ci
 
    restart: always
    
    ports:
 
        - 20003:3306
 
    environment:
 
    mysql_root_password: 'root'
    mysql_database: 'base_db'
 
    volumes:
 
        - mysql:/var/lib/mysql
        - ./db/kapok.sql:/docker-entrypoint-initdb.d/kapok.sql
 
adminer:
 
    image: adminer
    restart: always
    ports:
    8088:8080
  
redis:
 
    image: redis
    restart: always
 
    ports:
 
        - 20004:6379
 
    volumes:
 
        - redis:/data

client 服务：这是一个前端服务，使用了一个 dockerfile 来构建镜像。它将容器内部的 9540 端口映射到主机的 9540 端口上，并将容器内的 /usr/share/nginx/html/static 路径挂载到名为 upload 的数据卷上。此服务依赖于名为 servers 的服务。
servers 服务：这是一个后端服务，同样使用了一个 dockerfile 来构建镜像。它通过运行 npm run start:docker 命令来启动服务。该服务将容器内部的 8080 端口映射到主机的 8080 端口上，并将容器内的 /upload 路径挂载到名为 upload 的数据卷上。此服务依赖于名为 mysql 和 redis 的服务。
mysql 服务：这是一个 mysql 数据库服务，使用了官方的 mysql 镜像。该服务将容器内部的 3306 端口映射到主机的 20003 端口上，并设置了一些环境变量来配置 mysql 实例。此服务还将容器内的 /var/lib/mysql 路径挂载到名为 mysql 的数据卷上，并将主机上的 ./db/kapok.sql 文件挂载到容器内的 /docker-entrypoint-initdb.d/kapok.sql 路径上。
redis 服务：这是一个 redis 缓存服务，使用了官方的 redis 镜像。该服务将容器内部的 6379 端口映射到主机的 20004 端口上，并将容器内的 /data 路径挂载到名为 redis 的数据卷上。

最后，还定义了三个数据卷 mysql、redis 和 upload，用于持久化存储数据库数据、redis 数据和前端上传的文件。