본문으로 건너뛰기
Vault SWLB용도의 nginx
  • Vault의 HA구성 시에는 LB가 필요한데, LB대용으로 SWLB를 이용하여 Vault를 사용할 수 있다.
    • 해당 페이지에서는 nginx를 사용하였지만, HAproxy도 비슷하게 사용이 가능하다.

nginx job 파일

job "nginx" {
  datacenters = ["dc1"]

  group "nginx" {

    constraint {
      attribute = "${attr.unique.hostname}"
      value     = "slave0"
    }

    #Vault tls가 있고 nomad client hcl 파일에 host volume이 명시되어 있는 설정 값
    volume "cert-data" {
      type      = "host"
      source    = "cert-data"
      read_only = false
    }

    #실패 없이 되라고 행운의 숫자인 7을 4번 줌
    network {
      port "http" {
        to     = 7777
        static = 7777
      }
    }

    service {
      name = "nginx"
      port = "http"
    }

    task "nginx" {
      driver = "docker"

      volume_mount {
        volume      = "cert-data"
        destination = "/usr/local/cert"
      }

      config {
        image = "nginx"

        ports = ["http"]
        volumes = [
          "local:/etc/nginx/conf.d",

        ]
      }
      template {
        data = <<EOF        
#Vault는 active서버 1대외에는 전부 standby상태이며 
#서비스 호출 시(write)에는 active 서비스만 호출해야함으로 아래와 같이 consul에서 서비스를 불러옴

upstream backend {
{{ range service "active.vault" }}
  server {{ .Address }}:{{ .Port }};
{{ else }}server 127.0.0.1:65535; # force a 502
{{ end }}
}

server {
   listen 7777 ssl;
   #위에서 nomad host volume을 mount한 cert를 가져옴
   ssl on;
   ssl_certificate /usr/local/cert/vault/global-client-vault-0.pem;
   ssl_certificate_key /usr/local/cert/vault/global-client-vault-0-key.pem;
   #vault ui 접근 시 / -> /ui redirect되기 때문에 location이 /외에는 되지 않는다.
   location / {
      proxy_pass https://backend;
   }
}
EOF

        destination   = "local/load-balancer.conf"
        change_mode   = "signal"
        change_signal = "SIGHUP"
      }
      resources {
        cpu = 100
        memory = 201
      }
    }
  }
}
약 3 분NomadSampleJobVaultSWLB
code-server
  • vs-code를 local이 아닌 환경에서 사용할 수 있도록 도와주는 code-server의 예시입니다.
  • 이 code의 변수는 nomad variable를 활용해서 배포합니다.

변수 선언

  • web ui 접근 password와 code-server terminal에서 사용 할 sudo의 password 를 변수로 선언했습니다.
# nomad var put {path기반의 varialbes} key=vaule
$ nomad var put code/config password=password
약 2 분NomadSampleJobvs-code
Elastic
job "elastic" {
  datacenters = ["dc1"]

  group "elastic" {
    network {
      port "db" {
        static = 9200
      }
      port "kibana" {
        static = 5601
      }
    }

    service {
      port = "db"
      provider = "nomad"
      check {
        type     = "tcp"
        interval = "10s"
        timeout  = "2s"
      }
    }

    task "elasticsearch" {
      driver = "docker"

      config {
        image = "docker.elastic.co/elasticsearch/elasticsearch:6.8.9"
        ports = ["db"]
        mount = [
          {
            type   = "bind"
            source = "local/elasticsearch.yml"
            target = "/usr/share/elasticsearch/config/elasticsearch.yml"
          }
        ]
      }

      template {
        data = <<EOH
network.host: 0.0.0.0
discovery.seed_hosts: ["127.0.0.1"]
xpack.security.enabled: true
xpack.license.self_generated.type: trial
xpack.monitoring.collection.enabled: true
EOH
        destination = "local/elasticsearch.yml"
      }

      env {
        # "discovery.type":"single-node",
        ES_JAVA_OPTS = "-Xms512m -Xmx1024m"
      }

      resources {
        cpu    = 2000
        memory = 1024
      }
    }

    task "kibana" {
      driver = "docker"

      config {
        image = "docker.elastic.co/kibana/kibana:6.8.9"
        ports = ["kibana"]
        mount = [
          {
            type   = "bind"
            source = "local/kibana.yml"
            target = "/usr/share/kibana/config/kibana.yml"
          }
        ]
      }

      template {
        data = <<EOH
server.name: kibana
elasticsearch.username: elastic
elasticsearch.password: elastic
EOH
        destination = "local/kibana.yml"
      }

      env {
        ELASTICSEARCH_URL="http://172.28.128.31:9200"
      }

      resources {
        cpu    = 1000
        memory = 1024
      }
    }
  }
}
Ung약 2 분NomadSampleJob
elk_version7

7버전에 elsaticsearch에서 기본패스워드를 찾지 못해서 env로 넣어줌

logstash는 적당한 샘플을 찾지 못해서 일단은 비워둠

job "elk" {

    datacenters = ["dc1"]

    constraint {
        attribute = "${attr.kernel.name}"
        value = "linux"
    }

    update {
        stagger = "10s"
        max_parallel = 1
    }

    group "elk" {
        count = 1

        restart {
            attempts = 2
            interval = "1m"
            delay = "15s"
            mode = "delay"
        }
        network {
          port "elastic" {
            to     = 9200
            static = 9200
          }
          port "kibana" {
            to     = 5601
          }
          port "logstash" {
            to     = 5000
          }
        }

        task "elasticsearch" {
            driver = "docker"

           constraint {
             attribute = "${attr.unique.hostname}"
             value     = "slave2"
           }

            config {
                image = "elasticsearch:7.16.2"
                ports = ["elastic"]
                volumes = [
          "local/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml",
        ]
      }
      template {
        data = <<EOF
cluster.name: "my-cluster"
network.host: 0.0.0.0
discovery.type: single-node
discovery.seed_hosts: ["127.0.0.1"]
xpack.security.enabled: true
xpack.license.self_generated.type: trial
xpack.monitoring.collection.enabled: true
EOF
        destination   = "local/elasticsearch.yml"
        change_mode   = "signal"
        change_signal = "SIGHUP"
      }
            env {
              ELASTIC_PASSWORD = "elastic"
            }

            service {
                provider = "nomad"
                name = "${TASKGROUP}-elasticsearch"
                port = "elastic"
            }

            resources {
                cpu = 500
                memory = 2048
            }
        }

        task "kibana" {
            driver = "docker"

            constraint {
              attribute = "${attr.unique.hostname}"
              value     = "slave2"
            }

            config {
                image = "kibana:7.16.2"
                ports = ["kibana"]
                volumes = [
          "local/kibana.yml:/usr/share/kibana/config/kibana.yml"
        ]
      }
      template {
        data = <<EOF
#
# ** THIS IS AN AUTO-GENERATED FILE **
#

# Default Kibana configuration for docker target
server.host: "0.0.0.0"
server.shutdownTimeout: "5s"
elasticsearch.hosts: [ "http://{{ env "NOMAD_IP_elk" }}:{{ env "NOMAD_PORT_elk" }}" ]
elasticsearch.username: elastic
elasticsearch.password: elastic
EOF

        destination   = "local/kibana.yml"
        change_mode   = "signal"
        change_signal = "SIGHUP"
      }

            service {
                name = "${TASKGROUP}-kibana"
                port = "kibana"
                provider = "nomad"
                check {
                    type = "http"
                    path = "/"
                    interval = "10s"
                    timeout = "2s"
                }
            }

            resources {
                cpu = 500
                memory = 1200
            }
        }

        task "logstash" {
            driver = "docker"

            constraint {
              attribute = "${attr.unique.hostname}"
              value     = "slave2"
            }

            config {
                image = "logstash:7.16.2"
                ports = ["logstash"]
                volumes = [
          "local/logstash.yml:/usr/share/logstash/config/logstash.yml"
        ]
      }
      template {
        data = <<EOF
http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://{{ env "NOMAD_IP_elk" }}:{{ env "NOMAD_PORT_elk" }}" ]
EOF

        destination   = "local/logstash.yml"
        change_mode   = "signal"
        change_signal = "SIGHUP"
      }

            service {
                name = "${TASKGROUP}-logstash"
                port = "logstash"
                provider = "nomad"
            }

            resources {
                cpu = 200
                memory = 1024
            }
        }
    }
}
Ung약 4 분NomadSampleJobelk
Nomad ingress gateway

Nomad job으로 ingress gateway 사용하기 (with consul)

  • consul로 설정하는 ingress gateway가 아닌 Nomad job 기동 시에 ingress gateway 활성화 예제
    • hashicorp 공식 예제가 아닌 다른 걸 해보려하다, 특이한 부분을 확인하여 공유합니다.
  • 사전에 Consul Server는 구축되어 있어야 합니다.

테스트 job (python fastapi)

job "22-fastapi" {
  datacenters = ["dc1"]

  group "fastapi" {

    network {
      mode = "bridge"
      #service가 80으로 뜸, 만약 다른 포트로 뜨는 서비스를 사용 할 경우 image와 to만 변경
      port "http" {
        to = 80
      }
    }
    
    service {
      name = "fastapi"
      #여기서 port에 위에서 미리 선언한 http를 쓸 경우 다이나믹한 port를 가져오는데 
      #그럴 경우 ingress gateway에서 못 읽어 온다.
      port = "80"
      connect {
        sidecar_service{}
      }
    }

    task "fastapi" {
      driver = "docker"

      config {
        image = "tiangolo/uvicorn-gunicorn-fastapi"
        ports = ["http"]
      }

      resources {
        cpu    = 500
        memory = 282
      }
    }
    scaling  {
      enabled = true
      min     = 1
      max     = 3

      policy {
        evaluation_interval = "5s"
        cooldown            = "1m"
        #driver = "nomad-apm"
        check "mem_allocated_percentage" {
          source = "nomad-apm"
          query  = "max_memory"

          strategy "target-value" {
            target = 80
          }
        }
      }
    }
  }
}
Ung약 3 분NomadSampleJob
Keycloak

Keycloak은 Stateful 한 특성이 있어서 볼륨을 붙여주는것이 좋다.

// nomad namespace apply -description "Keycloak" keycloak

job "keycloak" {
  type = "service"
  datacenters = ["dc1"]
  namespace = "keycloak"

  group "keycloak" {
    count = 1

    volume "keycloak-vol" {
      type = "host"
      read_only = false
      source = "keycloak-vol"
    }

    task "keycloak" {
      driver = "docker"

      volume_mount {
        volume = "keycloak-vol"
        destination = "/opt/jboss/keycloak/standalone/data"
        read_only = false
      }

      config {
        image = "quay.io/keycloak/keycloak:14.0.0"
        port_map {
          keycloak = 8080
          callback = 8250
        }
      }
      
      env {
        KEYCLOAK_USER = "admin"
        KEYCLOAK_PASSWORD = "admin"
      }

      resources {
        memory = 550

        network {
          port "keycloak" {
            static = 18080
          }
          port "callback" {
            static = 18250
          }
        }
      }

      service {
        name = "keycloak"
        tags = ["auth"]

        check {
          type  = "tcp"
          interval = "10s"
          timeout  = "2s"
          port  = "keycloak"
        }
      }
    }
  }
}
GS약 2 분NomadSampleJob
MongoDB
job "mongodb" {
  datacenters = ["dc1"]

  group "mongodb" {
    network {
      port "db" {
        static = 27017
      }
    }

    service {
      port = "db"
      provider = "nomad"
      check {
        type     = "tcp"
        interval = "10s"
        timeout  = "2s"
      }
    }

    task "mongodb" {
      driver = "docker"

      config {
        image = "mongo:3.6.21"
        ports = ["db"]
      }

      env {
        MONGO_INITDB_ROOT_USERNAME = "admin"
        MONGO_INITDB_ROOT_PASSWORD = "password"
      }

      resources {
        cpu    = 2000
        memory = 1024
      }
    }
  }
}
Ung1분 미만NomadSampleJob
CC BY-NC-ND 4.0 Licensed | ⓒ 2021-present docmoa™ contributers all rights reserved.