seob

Hadoop 클러스터에서 발생한 네트워크 패킷 손실 이슈 분석 및 해결

Seob — Tue, 15 Apr 2025 21:25:21 +0900

1. 장애 현상

Spark 작업 중 특정 노드에서 자주 FetchFailedException 오류가 발생하면서 작업이 지연되고 재시도 실패가 간헐적으로 발생하고 있었습니다. Hadoop 클러스터에서는 CPU / Memory / DISK / Network 등 충분한 리소스가 있었으며 별다른 이상 현상을 탐지 할 수 없었습니다. (또한, Hadoop 은 Bonding 으로 구성되어 있음)

로그 예시

FetchFailedException: Connection from <호스트네임> closed

2. 초기 진단

2.1 netstat -i 확인 결과

문제가 발생한 노드와 정상 노드 간의 인터페이스 수신 상태를 비교해보니 다음과 같은 차이를 확인할 수 있었습니다.

노드	RX-ERR	RX-DRP	RX-OVR	비고
slave0001	0	1052	0	문제 없음
slave0002	156	0	10523846	심각한 오버런
slave0003	5201	69016	0	에러 및 드롭 발생

→ 오버런(RX-OVR)은 커널이 네트워크 패킷을 제때 처리하지 못해 버퍼가 넘쳤다는 신호입니다.

3. 원인 분석

3.1 커널 파라미터 현황

해당 시스템의 커널 파라미터는 대부분 기본값 상태였습니다.

# 기본값
net.core.netdev_max_backlog = 1000
net.core.rmem_max = 212992
net.core.somaxconn = 1024
net.ipv4.tcp_max_syn_backlog = 2048
net.ipv4.tcp_rmem = 4096 87380 6291456
net.ipv4.tcp_wmem = 4096 16384 4194304

이 값들은 일반적인 웹 서비스 수준에서는 충분할 수 있지만 Hadoop + Spark의 고트래픽 Shuffle 환경에서는 병목을 일으킬 가능성이 높습니다.

예) 1GB 데이터를 MTU 1500 기준으로 쪼개면 약 666,667개의 패킷 발생 → 수신 대기열과 버퍼가 작다면 당연히 손실 발생

4. 해결 조치

4.1 커널 파라미터 튜닝

항목	기존 값	변경 값	변경 이유
net.core.netdev_max_backlog	1000	20000	NIC 수신 대기열 증가로 빠른 수신 패킷 처리 가능
net.core.rmem_max	212992	2097152 (2MB)	대용량 데이터 수신 버퍼 부족 문제 해소
net.core.somaxconn	1024	10240	수신 연결 큐 증가로 동시 접속 처리 향상
net.ipv4.tcp_max_syn_backlog	2048	10240	SYN 요청 대기 큐 증가로 접속 요청 누락 방지
tcp_rmem, tcp_wmem	기본값	4096 87380 2097152	송수신 버퍼 모두 확장하여 Throughput 확보

기준은 Spark의 Shuffle 작업 시 초당 수십만~수백만 패킷을 처리하는 실제 트래픽 양에 맞춰 설정

4.2 NIC Ring Buffer 확장

ethtool -g로 확인한 Ring Buffer 기본 설정은 다음과 같았습니다:

항목	기본값	변경값	설명
RX Ring	256	4096	수신 패킷을 처리할 수 있는 버퍼 공간 증가
TX Ring	512	512 (유지)	송신 처리에는 병목 없음

→ RX Ring Buffer를 최대값으로 조정하면서 RX-OVR 값이 눈에 띄게 감소했습니다.

Ring Buffer 값은 인터페이스 모델마다 기본값과 최대 값이 다릅니다.

5. 조치 이후 변화

빨간 박스는 Ring Buffer 값을 최대치로 변경했고 이후 다시 원상 복구했을 때 값 증가 확인

커널 파라미터 조정 이후, 패킷 오류(RX-ERR) 및 오버런(RX-OVR) 감소
Spark 작업의 재시도 빈도 0건으로 감소 (약 1 개월 모니터링)

6. 결론 및 인사이트

고트래픽 분산처리 시스템에서는 커널 기본 설정만으로는 안정적인 패킷 처리가 어렵습니다. (특히, 본딩된 경우에는 튜닝이 필수적)
단순 커널 튜닝으로 해결되지 않을 경우 NIC Ring Buffer 조정이 결정적 역할을 할 수 있습니다.
- NIC는 1계층에서 수신된 물리 신호를 처리한 후,DMA를 통해 데이터를 Ring Buffer에 적재합니다. 이때 Ring Buffer의 크기가 충분하지 않으면 패킷이 적재되지 못하고 DRP(Drop) 또는 OVR(Overrun)과 같은 문제가 발생할 수 있습니다. 본 이슈는 Ring Buffer의 크기가 작아 이러한 현상이 유발된 것으로 판단됩니다.
- 또한, 네트워크 인터페이스 모델에 따라 다릅니다. 운영 중인 Hadoop 클러스터는 입고일이 다른 서버 목록이 있는데 이 서버들의 네트워크 인터페이스 모델도 다릅니다. Ring Buffer 기본값이 200 인 모델에서는 DRP 이 증가했으며 Ring Buffer 256 모델에서는 OVR 값이 증가했습니다. DRP 이 된 인터페이스 모델을 확인했을 때 Ring Buffer 을 초과하면 DRP 된다는 이슈를 여기저기서 확인 할 수 있었습니다.
운영 중이라도 지속적인 모니터링과 RX-ERR, RX-OVR 값 분석을 통해 장애 전조를 감지해야 합니다.
- Prometheus Node Exporter 의 --collector.netstat 을 통해 ERR, DRP, OVR 값을 모니터링 할 수 있었습니다.
- node_network_[receive/transmit]_drop_total, node_network_[receive/transmit]_errs_total, node_network_[receive/transmit]_fifo_total

Kubernetes exec 헬스체크 – 활용 예시

Seob — Thu, 10 Apr 2025 21:25:48 +0900

Kubernetes에서 컨테이너 상태를 체크할 때 livenessProbe, readinessProbe, startupProbe 세 가지 방식이 있습니다.
이 중에서 가장 유연하게 쓸 수 있는 게 바로 exec 방식이 있는데 직접 컨테이너 안에서 명령어를 실행해서 그 결과를 기반으로 상태를 판단하는 방식인데 잘 쓰면 아주 강력하고 상황에 맞게 커스터마이징도 쉽습니다.

본문에서는 exec 을 통한 예제에 대해 작성했습니다.

1. 헬스체크란?

Kubernetes는 총 3가지 종류의 헬스체크(Probe)를 제공합니다

종류	목적	실패 시 행동
StartupProbe	컨테이너가 처음 정상적으로 시작되었는지 확인	실패 시 재시작 (단, Readiness/Liveness보다 우선함
ReadinessProbe	트래픽을 받을 준비가 되었는지 확인	실패 시 Service에서 제외 (트래픽 유입 차단)
LivenessProbe	컨테이너가 정상적으로 동작 중인지 확인	실패 시 Kubelet이 컨테이너 재시작

2. exec 방식이란?

exec 는 말그대로 컨테이너 내부에서 명령어를 실행합니다.

명령어가 exec code 0 으로 끝나면 정상, 그 외에는 비정상으로 판단합니다.

StartupProbe:
  exec:
    command:
      - cat
      - /tmp/mslee
  initialDelaySeconds: 5
  periodSeconds: 10

이런 식으로 /tmp/mslee 파일이 존재하면 정상으로 보는 단순한 예제 입니다.

3. 활용 예시

초기 상태

$ cat mslee.yaml
apiVersion: v1
kind: Pod
metadata:
  name: mslee-nginx 
  labels:
    app: mslee 
spec:
  containers:
  - name: mslee-nginx 
    image: nginx
    volumeMounts:
    - name: tmp-volume
      mountPath: /tmp
    ports:
    - containerPort: 80
    startupProbe:
      exec:
        command:
        - cat
        - /tmp/mslee
      initialDelaySeconds: 10
      periodSeconds: 10
      failureThreshold: 3
  volumes:
  - name: tmp-volume
    hostPath:
      path: /tmp
      type: DirectoryOrCreate
---
apiVersion: v1
kind: Service
metadata:
  name: mslee-service
  labels:
    app: mslee
spec:
  ports:
    - name: http
      port: 80
      targetPort: 80
  selector:
    app: mslee

$ kubectl apply -f mslee.yaml

$ kubectl get pod -l app=mslee
NAME           READY   STATUS    RESTARTS
mslee-nginx    1/2     Running   1

$ kubectl exec -it bashcommand -- curl mslee-service
no healthy upstream

mslee-nginx 은 nginx 이미지 기반으로 구동된 컨테이너이며 StartupProbe 에서 /tmp/mslee 파일에 대해 exec 방식으로 헬스체크를 하고 있습니다.

현재 /tmp/mslee 에 파일이 존재하지 않기 때문에 정상적으로 구동하지 않고 있으며 bashcommand 라는 다른 POD을 통해 호출 했을 때 no healthy upstream 이라고 반환됩니다.

/tmp/mslee 파일 생성

$ touch /tmp/mslee

이후 컨테이너 상태 확인

$ kubectl get pod -l app=mslee
mslee-nginx    2/2     Running   7

$ kubectl exec -it bashcommand -- curl mslee-service
<!DOCTYPE html>
<html><head><title>Welcome to nginx!</title> ...

정상적으로 응답을 반환하는 것을 확인 할 수 있습니다.

4. exec 방식, 언제 활용하면 좋을까요?

앱 내부에 HTTP Health Check 엔드포인트가 없을 때
특정 파일이 생기거나 어떤 스크립트가 성공했는지를 기준으로 판단 할 때
상태를 외부에서 볼 수 없는 경우 (예: DB 마이그레이션 완료 여부)

5. 추천 활용 예시

상황	명령 예시
데이터 마이그레이션 완료 여부 확인	[ -f /tmp/migrate.done ]
특정 디렉토리 마운트 확인	mountpoiunt -q /mnt/data
DB 테이블 존재 여부 확인	psql -c '\dt mslee_table'

마무리

exec 방식은 정말 강력하지만 너무 복잡한 로직을 넣으면 나중에 디버깅이 힘들 수 있습니다.

명령은 되도록 단순하게 하되 실패 상황도 명확하게 만드는 것도 중요합니다.

특히 StartupProbe 는 초기화가 확실히 끝나야만 서비스로 트래픽을 연결시키고 싶을 때 유용하니 잘 활용하면 장애 예방에도 큰 도움이 됩니다.

Elasticsearch 8.12 Fielddata 해제 이슈 및 해결 방법

Seob — Fri, 21 Mar 2025 20:45:42 +0900

1. Fielddata란?

Elasticsearch에서 text 타입의 필드는 기본적으로 정렬(Sort)이나 집계(Aggregation)에 사용할 수 없습니다.
이를 가능하게 하려면 Fielddata 기능을 활성화해야 합니다.

Fielddata의 역할

text 필드에서 정렬 및 집계를 수행할 수 있도록 데이터 구조를 변환
대용량 데이터에서도 빠른 검색 및 분석 가능

Fielddata의 단점

메모리 사용량 증가 : Heap 영역에 데이터를 적재하므로 JVM 메모리 부담이 커짐
성능 저하 가능성 : 대량의 데이터를 처리할 경우 OutOfMemory(OOM) 발생 가능

2. Elasticsearch 8.12에서 Fielddata 해제 이슈

Elasticsearch 8.12 버전부터 Fielddata의 자동 해제(Expire) 기능이 추가되었습니다.
기본적으로 1시간(expire: 1h)이 지나면 Fielddata가 자동으로 해제되는 동작을 합니다

문제 발생 원인

기존 버전(8.11 이하)에서는 Fielddata가 캐시 크기 형태로 유지됨 (기본값 -1b)
8.12에서는 indices.fielddata.cache.expire 설정이 추가됨
기본값이 1시간(1h)으로 설정되어 있음
일정 시간이 지나면 Fielddata가 삭제되고 다시 로딩하는 과정에서 성능 저하가 발생

릴리즈 노트에는 있지만 공식 문서에는 언급되지 않음

Elasticsearch 8.12 릴리즈 노트에는 해당 내용이 포함됨
- Introduce fielddata cache ttl
하지만 공식 문서(Field data cache settings)에는 이 변경 사항이 언급되지 않음

실제 Fielddata 자동 해제 확인

1시간이 지나면 Fielddata가 자동 해제되는 현상을 확인할 수 있음
특정 필드에서 Fielddata를 활성화한 후 시간이 지나면 제거됨

3. Fielddata 해제 문제 해결 방법

1) Fielddata 자동 해제 비활성화

Fielddata가 자동으로 해제되지 않도록 설정을 변경할 수 있습니다.

# IndicesFieldDataCache.java
public static final Setting<TimeValue> INDICES_FIELDDATA_CACHE_EXPIRE = Setting.positiveTimeSetting(
    "indices.fielddata.cache.expire",
    new TimeValue(1, TimeUnit.HOURS),
    Property.NodeScope
);

final TimeValue expire = INDICES_FIELDDATA_CACHE_EXPIRE.exists(settings) ? INDICES_FIELDDATA_CACHE_EXPIRE.get(settings) : null;
if (expire != null && expire.getNanos() > 0) {
    cacheBuilder.setExpireAfterAccess(expire);
}

코드를 보면 expire 이 null 이 아니고 값이 0 보다 큰 경우에만 캐시 만료 시간을 설정 합니다. 이 외 경우 기본값 1h 시간으로 설정 됩니다. 결국, 0 이하 값 (일반적으로 -1 을 무제한 값으로 사용)은 설정 할 수 없습니다.

※ 숫자만 입력했을 때 기본 단위는 나노초(ns)

따라서, Fielddata 을 무제한으로 유지하기 위해서는 0 값을 설정 해야 합니다.

# elasticsearch.yml
indices.fielddata.cache.expire: 0

필요에 따라 적절한 만료 시간을 설정할 수도 있음 (예: 2h, 12h)

2) Fielddata 설정 변경 후 유지되는지 확인

설정 변경 후 Fielddata가 자동으로 해제되지 않는지 확인

3) Fielddata 사용 최소화

Fielddata는 메모리 사용량이 크므로 가능하면 대체 방법을 사용하는 것이 좋습니다.

✅ Fielddata 대신 keyword 타입 사용

text 대신 keyword 타입을 사용하면 Fielddata 없이도 정렬 및 집계가 가능
기존 데이터에서 text + keyword 멀티 필드 적용 가능

{
  "mappings": {
    "properties": {
      "title": {
        "type": "text",
        "fields": {
          "keyword": { 
            "type": "keyword"
          }
        }
      }
    }
  }
}

이렇게 설정하면 title.keyword 필드를 정렬 및 집계에 사용할 수 있음

4. 마무리 및 추천 설정

1) Elasticsearch 8.12 이상 버전 사용자라면 반드시 확인할 사항

Fielddata가 1시간 후 자동 해제되는지 확인
indices.fielddata.cache.expire 설정 조정

2) Fielddata를 꼭 사용해야 한다면?

indices.fielddata.cache.expire: 0로 설정
Heap 메모리 사용량 모니터링 필수

3) Fielddata 없이 운영하는 방법 고민

keyword 타입을 적극 활용
데이터 모델링을 최적화하여 성능을 개선

Fortigate VPN 연결 시간 조정

Seob — Tue, 28 Mar 2023 20:47:28 +0900

기본적으로 Fortigate VPN 에 연결 할 경우 8 시간이 지날 경우 재인증을 위해 VPN이 끊어짐
하지만, 회사에서 점심 시간 포함하여 최소 9시간이 필요하며 상황에 따라 그 이상이 필요해짐

장비 구성 정보

모델명 : Fortigate 60E
펌웨어 버전 : Firmware 5.x, 6.x, 7.x.

기본 설정 확인

foritgate # config vpn ssl settings
foritgate (settings) # get
reqclientcert       : disable 
banned-cipher       : 
ssl-insert-empty-fragment: enable 
https-redirect      : disable 
x-content-type-options: enable 
ssl-client-renegotiation: disable 
force-two-factor-auth: disable 
servercert          : 
algorithm           : high 
idle-timeout        : 36000
auth-timeout        : 28800
login-attempt-limit : 2
login-block-time    : 60
login-timeout       : 30
dtls-hello-timeout  : 10

설정 변경

기본 8 시간을 10 시간으로 조정

foritgate (settings) # set auth-timeout 36000

변경 된 값 확인

foritgate (settings) # get
reqclientcert       : disable 
banned-cipher       : 
ssl-insert-empty-fragment: enable 
https-redirect      : disable 
x-content-type-options: enable 
ssl-client-renegotiation: disable 
force-two-factor-auth: disable 
servercert          : 
algorithm           : high 
idle-timeout        : 36000
auth-timeout        : 36000
login-attempt-limit : 2
login-block-time    : 60
login-timeout       : 30
dtls-hello-timeout  : 10

CIDRNotAvailable 이벤트 로그 발생에 대한 테스트

Seob — Wed, 22 Mar 2023 20:05:45 +0900

개요

Kubespray 을 통해 Kubernetes 를 구성 할 때 네트워크 관련에서 별다른 설정을 하지 않고 운영 할 경우 아래와 같은 메시지를 확인 할 수 있다.

$ kubectl get event
LAST SEEN   TYPE     REASON             OBJECT                                MESSAGE
38s         Normal   CIDRNotAvailable   node/node65.k8s   Node node65.k8s status is now: CIDRNotAvailable
48s         Normal   CIDRNotAvailable   node/node66.k8s   Node node66.k8s status is now: CIDRNotAvailable
37s         Normal   CIDRNotAvailable   node/node67.k8s   Node node67.k8s status is now: CIDRNotAvailable

원인

이 문제의 원인은 POD_SUBNET 에서 노드에 할당 가능한 CIDR 이 없기 때문에 발생한 문제다.
이를 일반적으로 64-Node Limit 문제라고 부르고 있으며 아래와 같이 살펴 볼 수 있다.

Kubespray 기본 설정
- kube_service_addresses: 10.233.0.0/18
- kube_pods_subnet: 10.233.64.0/18
- kube_network_node_prefix: 24

여기서 문제가 되는 부분은 kube_pods_subnet 이라는 항목인데 10.233.64.0/18 은 총 16384 개의 IP를 사용 할 수 있지만 Kubernetes 에서는 노드 단위로 하나의 24 비트의 주소를 할당한다.

kube_pods_subnet가 10.233.64.0/18 이고 kube_network_node_prefix은 24 이니 아래와 같은 대역으로 할당이 가능

할당 가능한 대역 (총 64개)
- 10.233.64.0/24
- 10.233.65.0/24
  ...
- 10.233.126.0/24
- 10.233.127.0/24

예) control-plane 3대와 node 70대가 있다고 가정
$  kubectl get nodes -oyaml | egrep "^    name:|    podCIDR:"
  name: control-plane01.k8s
  podCIDR: 10.233.64.0/24
  name: control-plane02.k8s
  podCIDR: 10.233.65.0/24
...
  name: node60.k8s
  podCIDR: 10.233.126.0/24
  name: node61.k8s
  podCIDR: 10.233.127.0/24
  node62.k8s (podCIDR 이 표시되지 않음)
...
  node70.k8s (podCIDR 이 표시되지 않음)

문제점

이와 같은 상황에서 여러가지 질문이 생길 수 있다. 질문을 기반으로 테스트를 진행

node60.k8s 은 podCIDR 이 10.233.126.0/24 으로 할당받았으니 node60.k8s 에서 생성되는 POD는 모두 10.233.126.0/24 내에서 할당이 되는가?

할당이 가능하며 하나의 CIDR 으로 할당이 되는 것을 볼 수 있다.

<네임스페이스 이름> <POD 이름> 1/1 Running 0 <날짜> 10.233.121.245 node60.k8s <none> <none> 
<네임스페이스 이름> <POD 이름> 1/1 Running 0 <날짜> 10.233.121.22 node60.k8s <none> <none>
<네임스페이스 이름> <POD 이름> 1/1 Running 0 <날짜> 10.233.121.52 node60.k8s <none> <none>
<네임스페이스 이름> <POD 이름> 1/1 Running 0 <날짜> 10.233.121.137 node60.k8s <none> <none>
<네임스페이스 이름> <POD 이름> 1/1 Running 0 <날짜> 10.233.121.89 node60.k8s <none> <none>

node60.k8s 에는 podCIDR 가 10.233.126.0/24 으로 설정이 되어있는데 왜 10.233.121.0/24 으로 할당되었는지?

kubectl get nodes -oyaml | egrep "^ name:| podCIDR:" 명령어로 확인 했을 때 분명히 node60 의 CIDR 은 10.233.126.0/24 으로 출력되어있지만 해당 서버의 라우팅 테이블을 확인하면 다른 것을 확인 할 수 있다.

$ route -n | grep -v -E "tunl0|cali|eth"
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
10.233.121.0    0.0.0.0         255.255.255.0   U     0      0        0 *

이 부분에 대해서는 추가적인 확인이 필요한 것으로 보임

그렇다면 CIDR 을 할당받지 못한 노드에서는 POD 구동이 되지 않는가?

그렇지 않으며 할당되지 않는 IPPool 에서 할당을 받는다. 아래는 podCIDR 가 없는 하나의 노드에서 확인 결과로 다양한 IP가 할당

<네임스페이스 이름>    <POD 이름>            1/1     Running     0          <날짜>    10.233.96.76        node67.k8s    <none>           <none>
<네임스페이스 이름>    <POD 이름>            1/1     Running     0          <날짜>    10.233.95.3        node67.k8s    <none>           <none>
<네임스페이스 이름>    <POD 이름>            1/1     Running     0          <날짜>    10.233.95.97        node67.k8s    <none>           <none>
<네임스페이스 이름>    <POD 이름>            1/1     Running     0          <날짜>    10.233.96.163    node67.k8s    <none>           <none>
<네임스페이스 이름>    <POD 이름>            1/1     Running     0          <날짜>    10.233.95.85        node67.k8s    <none>           <none>
<네임스페이스 이름>    <POD 이름>            1/1     Running     0          <날짜>    10.233.95.121    node67.k8s    <none>           <none>
<네임스페이스 이름>    <POD 이름>            1/1     Running     0          <날짜>    10.233.95.47        node67.k8s    <none>           <none>
<네임스페이스 이름>    <POD 이름>            1/1     Running     0          <날짜>    10.233.98.110    node67.k8s    <none>           <none>
<네임스페이스 이름>    <POD 이름>            1/1     Running     0          <날짜>    10.233.97.181    node67.k8s    <none>           <none>
<네임스페이스 이름>    <POD 이름>            1/1     Running     0          <날짜>    10.233.96.113    node67.k8s    <none>           <none>

그렇다면 CIDRNotAvailable 이라는 이벤트 로그는 왜 발생하는거고 왜 관리자에게 출력이 되는건지?

제일 우려스러웠던 부분은 IP 의 중복성이였다. 얘를 들자면 node60.k8s 에서는 10.233.121.0/24 으로 설정되어 해당 CIDR 을 기준으로 할당하는데 그 외 CIDR이 없는 노드에서 10.233.121.0/24 으로 할당받는다면 중복이 발생하지 않을까 싶었다. 이를 통해 AWS EC2 에서 아래와 같은 테스트를 진행했다.

CIDRNotAvailable 에 따른 POD IP 중복성 확인

AWS 구성 환경
- 노드 : control-plane0[1-3].k8s, node0[1-2].k8s (총 5대)
- kube_pods_subnet : 192.168.0.0/24
  - 사용 가능한 IP 수 : 256 (게이트웨이 및 브로드캐스트 제외 시 254)
  - 192.168.0.0/24 1개의 대역만 사용 가능. 비용 문제 때문에 비싼 EC2을 사용 할 수 없기에 대역을 최소화
- kube_network_node_prefix : 24
최초 구성 후 IPPool 및 podCIDR 확인

$ calicoctl ipam show --show-blocks
+----------+----------------+-----------+------------+-----------+
| GROUPING |      CIDR      | IPS TOTAL | IPS IN USE | IPS FREE  |
+----------+----------------+-----------+------------+-----------+
| IP Pool  | 192.168.0.0/24 |       256 | 9 (4%)     | 247 (96%) |
| Block    | 192.168.0.0/24 |       256 | 9 (4%)     | 247 (96%) |
+----------+----------------+-----------+------------+-----------+

$ kubectl get nodes -oyaml | egrep "^    name:|    podCIDR:"
    name: control-plane01.k8s
    podCIDR: 192.168.0.0/24
    name: control-plane02.k8s
    name: control-plane03.k8s
    name: node01.k8s
    name: node02.k8s

NGINX Deployment 로 247개 POD 생성 및 중복 확인

$ kubectl get pod -o wide -A
NAMESPACE     NAME                                          READY   STATUS    RESTARTS   AGE    IP              NODE                  NOMINATED NODE   READINESS GATES
default       nginx-86bc984445-242pj                        1/1     Running   0          107s   192.168.0.197   node01.k8s            <none>           <none>
default       nginx-86bc984445-27f2p                        1/1     Running   0          111s   192.168.0.167   node01.k8s            <none>           <none>
default       nginx-86bc984445-2v2xd                        1/1     Running   0          114s   192.168.0.118   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-2vc2c                        1/1     Running   0          108s   192.168.0.214   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-4vkh2                        1/1     Running   0          113s   192.168.0.138   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-55b8v                        1/1     Running   0          116s   192.168.0.25    node02.k8s            <none>           <none>
default       nginx-86bc984445-55tt5                        1/1     Running   0          110s   192.168.0.217   node02.k8s            <none>           <none>
default       nginx-86bc984445-59k9t                        1/1     Running   0          116s   192.168.0.28    control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-5brcl                        1/1     Running   0          114s   192.168.0.96    node01.k8s            <none>           <none>
default       nginx-86bc984445-5fbj4                        1/1     Running   0          111s   192.168.0.178   node01.k8s            <none>           <none>
default       nginx-86bc984445-5hfkl                        1/1     Running   0          112s   192.168.0.233   node02.k8s            <none>           <none>
default       nginx-86bc984445-5hm7r                        1/1     Running   0          116s   192.168.0.32    node01.k8s            <none>           <none>
default       nginx-86bc984445-5lv62                        1/1     Running   0          113s   192.168.0.61    node02.k8s            <none>           <none>
default       nginx-86bc984445-5n2dr                        1/1     Running   0          110s   192.168.0.199   node02.k8s            <none>           <none>
default       nginx-86bc984445-5plqt                        1/1     Running   0          111s   192.168.0.198   node02.k8s            <none>           <none>
default       nginx-86bc984445-5qkw7                        1/1     Running   0          116s   192.168.0.49    node02.k8s            <none>           <none>
default       nginx-86bc984445-5qt5j                        1/1     Running   0          106s   192.168.0.165   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-5rnpm                        1/1     Running   0          114s   192.168.0.40    node01.k8s            <none>           <none>
default       nginx-86bc984445-5w2xl                        1/1     Running   0          115s   192.168.0.91    control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-5xbkp                        1/1     Running   0          110s   192.168.0.109   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-6224x                        1/1     Running   0          113s   192.168.0.65    node02.k8s            <none>           <none>
default       nginx-86bc984445-644sb                        1/1     Running   0          116s   192.168.0.12    node02.k8s            <none>           <none>
default       nginx-86bc984445-64r9w                        1/1     Running   0          108s   192.168.0.223   node01.k8s            <none>           <none>
default       nginx-86bc984445-6h485                        1/1     Running   0          116s   192.168.0.35    control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-6hj8v                        1/1     Running   0          108s   192.168.0.151   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-6jnxc                        1/1     Running   0          109s   192.168.0.190   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-6ktcw                        1/1     Running   0          109s   192.168.0.168   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-6mdd2                        1/1     Running   0          116s   192.168.0.20    node02.k8s            <none>           <none>
default       nginx-86bc984445-6qd9m                        1/1     Running   0          116s   192.168.0.54    node02.k8s            <none>           <none>
default       nginx-86bc984445-6vctb                        1/1     Running   0          111s   192.168.0.152   node01.k8s            <none>           <none>
default       nginx-86bc984445-6zqwq                        1/1     Running   0          113s   192.168.0.70    node01.k8s            <none>           <none>
default       nginx-86bc984445-75vwp                        1/1     Running   0          113s   192.168.0.127   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-7ft9b                        1/1     Running   0          110s   192.168.0.141   node01.k8s            <none>           <none>
default       nginx-86bc984445-7gc58                        1/1     Running   0          106s   192.168.0.78    node01.k8s            <none>           <none>
default       nginx-86bc984445-7m2qz                        1/1     Running   0          106s   192.168.0.216   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-7r8hd                        1/1     Running   0          108s   192.168.0.194   node01.k8s            <none>           <none>
default       nginx-86bc984445-7tgds                        1/1     Running   0          112s   192.168.0.201   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-7v4kv                        1/1     Running   0          108s   192.168.0.122   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-7wsld                        1/1     Running   0          114s   192.168.0.60    node02.k8s            <none>           <none>
default       nginx-86bc984445-7zq74                        1/1     Running   0          112s   192.168.0.232   node02.k8s            <none>           <none>
default       nginx-86bc984445-84gp5                        1/1     Running   0          107s   192.168.0.239   node02.k8s            <none>           <none>
default       nginx-86bc984445-85ndt                        1/1     Running   0          116s   192.168.0.26    control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-896d6                        1/1     Running   0          114s   192.168.0.215   node01.k8s            <none>           <none>
default       nginx-86bc984445-89mfl                        1/1     Running   0          111s   192.168.0.171   node01.k8s            <none>           <none>
default       nginx-86bc984445-8cbkp                        1/1     Running   0          114s   192.168.0.185   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-8ggqw                        1/1     Running   0          107s   192.168.0.202   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-8gr7c                        1/1     Running   0          110s   192.168.0.159   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-8nz8q                        1/1     Running   0          109s   192.168.0.157   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-8vpsq                        1/1     Running   0          116s   192.168.0.37    node02.k8s            <none>           <none>
default       nginx-86bc984445-8wdcc                        1/1     Running   0          115s   192.168.0.74    control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-8x2bw                        1/1     Running   0          112s   192.168.0.230   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-8xcqn                        1/1     Running   0          114s   192.168.0.55    node02.k8s            <none>           <none>
default       nginx-86bc984445-8zbk9                        1/1     Running   0          107s   192.168.0.173   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-92mqq                        1/1     Running   0          114s   192.168.0.82    control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-94hjt                        1/1     Running   0          106s   192.168.0.228   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-97dkq                        1/1     Running   0          116s   192.168.0.13    node01.k8s            <none>           <none>
default       nginx-86bc984445-98bp8                        1/1     Running   0          114s   192.168.0.231   node02.k8s            <none>           <none>
default       nginx-86bc984445-9df49                        1/1     Running   0          116s   192.168.0.42    control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-9jj4g                        1/1     Running   0          114s   192.168.0.112   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-9td2f                        1/1     Running   0          107s   192.168.0.191   node02.k8s            <none>           <none>
default       nginx-86bc984445-9wnrv                        1/1     Running   0          115s   192.168.0.98    node01.k8s            <none>           <none>
default       nginx-86bc984445-9x69b                        1/1     Running   0          110s   192.168.0.136   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-b2gfb                        1/1     Running   0          112s   192.168.0.76    node01.k8s            <none>           <none>
default       nginx-86bc984445-b6czk                        1/1     Running   0          111s   192.168.0.176   node01.k8s            <none>           <none>
default       nginx-86bc984445-b7z82                        1/1     Running   0          113s   192.168.0.161   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-bcs87                        1/1     Running   0          111s   192.168.0.93    control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-bdbl8                        1/1     Running   0          106s   192.168.0.128   node01.k8s            <none>           <none>
default       nginx-86bc984445-blbdp                        1/1     Running   0          110s   192.168.0.209   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-bqx98                        1/1     Running   0          109s   192.168.0.108   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-c5kt5                        1/1     Running   0          107s   192.168.0.123   node01.k8s            <none>           <none>
default       nginx-86bc984445-c69hl                        1/1     Running   0          113s   192.168.0.58    node01.k8s            <none>           <none>
default       nginx-86bc984445-c6qjw                        1/1     Running   0          110s   192.168.0.222   node01.k8s            <none>           <none>
default       nginx-86bc984445-c985j                        1/1     Running   0          116s   192.168.0.9     node02.k8s            <none>           <none>
default       nginx-86bc984445-ccfxc                        1/1     Running   0          115s   192.168.0.72    control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-cdh2z                        1/1     Running   0          106s   192.168.0.75    node01.k8s            <none>           <none>
default       nginx-86bc984445-cfxd7                        1/1     Running   0          109s   192.168.0.86    node01.k8s            <none>           <none>
default       nginx-86bc984445-cg4p9                        1/1     Running   0          108s   192.168.0.119   node02.k8s            <none>           <none>
default       nginx-86bc984445-cmx67                        1/1     Running   0          106s   192.168.0.207   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-cpvch                        1/1     Running   0          113s   192.168.0.180   node01.k8s            <none>           <none>
default       nginx-86bc984445-d5qbb                        1/1     Running   0          116s   192.168.0.36    control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-d8c6q                        1/1     Running   0          107s   192.168.0.69    node02.k8s            <none>           <none>
default       nginx-86bc984445-dcl5j                        1/1     Running   0          112s   192.168.0.213   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-dgrpx                        1/1     Running   0          110s   192.168.0.140   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-dhnlt                        1/1     Running   0          116s   192.168.0.45    control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-dk9dt                        1/1     Running   0          107s   192.168.0.250   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-dmmcr                        1/1     Running   0          108s   192.168.0.115   node02.k8s            <none>           <none>
default       nginx-86bc984445-dxhsw                        1/1     Running   0          111s   192.168.0.241   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-f2qrv                        1/1     Running   0          105s   192.168.0.144   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-f2w67                        1/1     Running   0          116s   192.168.0.34    node02.k8s            <none>           <none>
default       nginx-86bc984445-f49pd                        1/1     Running   0          107s   192.168.0.184   node02.k8s            <none>           <none>
default       nginx-86bc984445-f59gw                        1/1     Running   0          116s   192.168.0.51    node01.k8s            <none>           <none>
default       nginx-86bc984445-ft95r                        1/1     Running   0          116s   192.168.0.50    node01.k8s            <none>           <none>
default       nginx-86bc984445-fwmw8                        1/1     Running   0          113s   192.168.0.160   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-g2qp4                        1/1     Running   0          107s   192.168.0.175   node01.k8s            <none>           <none>
default       nginx-86bc984445-g46xc                        1/1     Running   0          106s   192.168.0.67    node02.k8s            <none>           <none>
default       nginx-86bc984445-g57r2                        1/1     Running   0          115s   192.168.0.102   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-g9gxv                        1/1     Running   0          113s   192.168.0.59    node01.k8s            <none>           <none>
default       nginx-86bc984445-gcq7w                        1/1     Running   0          109s   192.168.0.225   node01.k8s            <none>           <none>
default       nginx-86bc984445-gg4wl                        1/1     Running   0          106s   192.168.0.120   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-ggs98                        1/1     Running   0          112s   192.168.0.255   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-gpmrx                        1/1     Running   0          106s   192.168.0.245   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-gs7nx                        1/1     Running   0          106s   192.168.0.224   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-gsq92                        1/1     Running   0          112s   192.168.0.129   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-gvh55                        1/1     Running   0          116s   192.168.0.48    node01.k8s            <none>           <none>
default       nginx-86bc984445-gwc4b                        1/1     Running   0          109s   192.168.0.153   node01.k8s            <none>           <none>
default       nginx-86bc984445-gwlnb                        1/1     Running   0          114s   192.168.0.177   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-gwtvv                        1/1     Running   0          108s   192.168.0.211   node01.k8s            <none>           <none>
default       nginx-86bc984445-hd56c                        1/1     Running   0          106s   192.168.0.179   node02.k8s            <none>           <none>
default       nginx-86bc984445-hhsgv                        1/1     Running   0          109s   192.168.0.235   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-hlth5                        1/1     Running   0          116s   192.168.0.19    control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-hmmgn                        1/1     Running   0          112s   192.168.0.71    node01.k8s            <none>           <none>
default       nginx-86bc984445-hr7s8                        1/1     Running   0          109s   192.168.0.146   node02.k8s            <none>           <none>
default       nginx-86bc984445-hrccq                        1/1     Running   0          116s   192.168.0.15    control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-htv8t                        1/1     Running   0          109s   192.168.0.210   node01.k8s            <none>           <none>
default       nginx-86bc984445-hxc5z                        1/1     Running   0          115s   192.168.0.47    control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-hxh4c                        1/1     Running   0          107s   192.168.0.226   node01.k8s            <none>           <none>
default       nginx-86bc984445-j7zv7                        1/1     Running   0          109s   192.168.0.94    node02.k8s            <none>           <none>
default       nginx-86bc984445-j877b                        1/1     Running   0          115s   192.168.0.57    control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-jhsrs                        1/1     Running   0          110s   192.168.0.248   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-jjhrl                        1/1     Running   0          111s   192.168.0.111   node02.k8s            <none>           <none>
default       nginx-86bc984445-jl2fj                        1/1     Running   0          109s   192.168.0.172   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-jpbms                        1/1     Running   0          116s   192.168.0.85    node01.k8s            <none>           <none>
default       nginx-86bc984445-k58lv                        1/1     Running   0          116s   192.168.0.90    node01.k8s            <none>           <none>
default       nginx-86bc984445-kb6dl                        1/1     Running   0          110s   192.168.0.195   node01.k8s            <none>           <none>
default       nginx-86bc984445-kc2f8                        1/1     Running   0          111s   192.168.0.154   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-kdzk9                        1/1     Running   0          116s   192.168.0.31    node02.k8s            <none>           <none>
default       nginx-86bc984445-knl2s                        1/1     Running   0          115s   192.168.0.83    node01.k8s            <none>           <none>
default       nginx-86bc984445-kq4qq                        1/1     Running   0          107s   192.168.0.206   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-kt88h                        1/1     Running   0          105s   192.168.0.254   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-kx6gq                        1/1     Running   0          116s   192.168.0.14    node02.k8s            <none>           <none>
default       nginx-86bc984445-l5m7p                        1/1     Running   0          111s   192.168.0.126   node02.k8s            <none>           <none>
default       nginx-86bc984445-l5xvq                        1/1     Running   0          108s   192.168.0.134   node01.k8s            <none>           <none>
default       nginx-86bc984445-l676h                        1/1     Running   0          114s   192.168.0.64    control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-lf4wb                        1/1     Running   0          111s   192.168.0.238   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-lgc4h                        1/1     Running   0          107s   192.168.0.242   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-lm8gt                        1/1     Running   0          113s   192.168.0.212   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-ltnbr                        1/1     Running   0          116s   192.168.0.131   node01.k8s            <none>           <none>
default       nginx-86bc984445-lxjtx                        1/1     Running   0          113s   192.168.0.189   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-lzj7p                        1/1     Running   0          109s   192.168.0.169   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-m4r9m                        1/1     Running   0          116s   192.168.0.27    node02.k8s            <none>           <none>
default       nginx-86bc984445-m6r5z                        1/1     Running   0          110s   192.168.0.142   node02.k8s            <none>           <none>
default       nginx-86bc984445-m84lg                        1/1     Running   0          113s   192.168.0.95    node02.k8s            <none>           <none>
default       nginx-86bc984445-m8f74                        1/1     Running   0          116s   192.168.0.10    control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-mbhdz                        1/1     Running   0          111s   192.168.0.116   node02.k8s            <none>           <none>
default       nginx-86bc984445-mcrqv                        1/1     Running   0          106s   192.168.0.188   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-mfl9w                        1/1     Running   0          116s   192.168.0.30    node01.k8s            <none>           <none>
default       nginx-86bc984445-mn9w8                        1/1     Running   0          115s   192.168.0.62    control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-mpf5t                        1/1     Running   0          113s   192.168.0.113   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-msn44                        1/1     Running   0          108s   192.168.0.110   node02.k8s            <none>           <none>
default       nginx-86bc984445-n26cp                        1/1     Running   0          114s   192.168.0.124   node01.k8s            <none>           <none>
default       nginx-86bc984445-n2wfj                        1/1     Running   0          110s   192.168.0.182   node01.k8s            <none>           <none>
default       nginx-86bc984445-n4r2s                        1/1     Running   0          110s   192.168.0.164   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-n5f79                        1/1     Running   0          111s   192.168.0.205   node02.k8s            <none>           <none>
default       nginx-86bc984445-n7dmp                        1/1     Running   0          116s   192.168.0.38    control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-n85jh                        1/1     Running   0          105s   192.168.0.192   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-nbvdt                        1/1     Running   0          109s   192.168.0.87    node02.k8s            <none>           <none>
default       nginx-86bc984445-ncfnn                        1/1     Running   0          116s   192.168.0.41    node01.k8s            <none>           <none>
default       nginx-86bc984445-ndpxc                        1/1     Running   0          115s   192.168.0.29    node02.k8s            <none>           <none>
default       nginx-86bc984445-nfgpn                        1/1     Running   0          111s   192.168.0.156   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-nh9vx                        1/1     Running   0          114s   192.168.0.174   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-nn8pv                        1/1     Running   0          116s   192.168.0.22    node02.k8s            <none>           <none>
default       nginx-86bc984445-nt9vq                        1/1     Running   0          106s   192.168.0.196   node02.k8s            <none>           <none>
default       nginx-86bc984445-nwr4j                        1/1     Running   0          112s   192.168.0.84    control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-p26wt                        1/1     Running   0          108s   192.168.0.150   node02.k8s            <none>           <none>
default       nginx-86bc984445-p4x44                        1/1     Running   0          109s   192.168.0.163   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-p9nx4                        1/1     Running   0          111s   192.168.0.121   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-pccs6                        1/1     Running   0          112s   192.168.0.100   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-phvh4                        1/1     Running   0          115s   192.168.0.44    control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-phz7w                        1/1     Running   0          115s   192.168.0.139   node01.k8s            <none>           <none>
default       nginx-86bc984445-pj72f                        1/1     Running   0          115s   192.168.0.79    node02.k8s            <none>           <none>
default       nginx-86bc984445-pntwc                        1/1     Running   0          115s   192.168.0.253   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-ppgzq                        1/1     Running   0          114s   192.168.0.203   node01.k8s            <none>           <none>
default       nginx-86bc984445-pttzf                        1/1     Running   0          110s   192.168.0.148   node02.k8s            <none>           <none>
default       nginx-86bc984445-pv5zh                        1/1     Running   0          107s   192.168.0.237   node02.k8s            <none>           <none>
default       nginx-86bc984445-pw58c                        1/1     Running   0          116s   192.168.0.21    control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-q5kt6                        1/1     Running   0          106s   192.168.0.208   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-qb986                        1/1     Running   0          106s   192.168.0.221   node02.k8s            <none>           <none>
default       nginx-86bc984445-qcbc2                        1/1     Running   0          116s   192.168.0.53    node01.k8s            <none>           <none>
default       nginx-86bc984445-qgbwz                        1/1     Running   0          116s   192.168.0.17    control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-qn46p                        1/1     Running   0          105s   192.168.0.81    node01.k8s            <none>           <none>
default       nginx-86bc984445-qpkk6                        1/1     Running   0          105s   192.168.0.219   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-qq7cr                        1/1     Running   0          110s   192.168.0.105   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-r6856                        1/1     Running   0          114s   192.168.0.187   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-r8fn5                        1/1     Running   0          111s   192.168.0.132   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-rd7m4                        1/1     Running   0          115s   192.168.0.46    control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-rk2zl                        1/1     Running   0          108s   192.168.0.220   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-rn57l                        1/1     Running   0          116s   192.168.0.24    control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-rnq6s                        1/1     Running   0          108s   192.168.0.137   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-rpfwv                        1/1     Running   0          108s   192.168.0.249   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-rrqdf                        1/1     Running   0          112s   192.168.0.227   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-rxdxt                        1/1     Running   0          105s   192.168.0.89    node02.k8s            <none>           <none>
default       nginx-86bc984445-s5f24                        1/1     Running   0          106s   192.168.0.147   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-s7gxd                        1/1     Running   0          112s   192.168.0.125   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-sb2nh                        1/1     Running   0          112s   192.168.0.236   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-slvnn                        1/1     Running   0          108s   192.168.0.162   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-sm46j                        1/1     Running   0          107s   192.168.0.240   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-smj29                        1/1     Running   0          113s   192.168.0.97    node02.k8s            <none>           <none>
default       nginx-86bc984445-sngch                        1/1     Running   0          113s   192.168.0.244   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-sr7fh                        1/1     Running   0          115s   192.168.0.52    control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-srkvk                        1/1     Running   0          116s   192.168.0.33    control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-t2hlg                        1/1     Running   0          110s   192.168.0.117   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-t2vt2                        1/1     Running   0          107s   192.168.0.114   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-t4jgf                        1/1     Running   0          106s   192.168.0.145   node01.k8s            <none>           <none>
default       nginx-86bc984445-tbtjm                        1/1     Running   0          107s   192.168.0.200   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-td26n                        1/1     Running   0          116s   192.168.0.11    node02.k8s            <none>           <none>
default       nginx-86bc984445-tdhdt                        1/1     Running   0          116s   192.168.0.23    control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-tfmjz                        1/1     Running   0          109s   192.168.0.246   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-tggfw                        1/1     Running   0          106s   192.168.0.155   node02.k8s            <none>           <none>
default       nginx-86bc984445-tgq5c                        1/1     Running   0          107s   192.168.0.204   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-tjbnk                        1/1     Running   0          108s   192.168.0.193   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-txd5g                        1/1     Running   0          113s   192.168.0.104   node02.k8s            <none>           <none>
default       nginx-86bc984445-v8gzl                        1/1     Running   0          108s   192.168.0.181   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-v94qg                        1/1     Running   0          109s   192.168.0.99    node02.k8s            <none>           <none>
default       nginx-86bc984445-v9npm                        1/1     Running   0          114s   192.168.0.39    node02.k8s            <none>           <none>
default       nginx-86bc984445-vb598                        1/1     Running   0          114s   192.168.0.56    node02.k8s            <none>           <none>
default       nginx-86bc984445-vjdz9                        1/1     Running   0          114s   192.168.0.251   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-vkkmx                        1/1     Running   0          111s   192.168.0.106   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-vmbxr                        1/1     Running   0          115s   192.168.0.43    control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-vmzqs                        1/1     Running   0          112s   192.168.0.92    node02.k8s            <none>           <none>
default       nginx-86bc984445-vp9qc                        1/1     Running   0          112s   192.168.0.183   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-vvlw9                        1/1     Running   0          116s   192.168.0.18    control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-vvtd9                        1/1     Running   0          115s   192.168.0.77    control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-vz58m                        1/1     Running   0          105s   192.168.0.130   node01.k8s            <none>           <none>
default       nginx-86bc984445-w2ksl                        1/1     Running   0          113s   192.168.0.234   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-w4shb                        1/1     Running   0          116s   192.168.0.63    node01.k8s            <none>           <none>
default       nginx-86bc984445-wdvcr                        1/1     Running   0          108s   192.168.0.135   node02.k8s            <none>           <none>
default       nginx-86bc984445-wjjck                        1/1     Running   0          111s   192.168.0.103   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-wqwzl                        1/1     Running   0          116s   192.168.0.16    node01.k8s            <none>           <none>
default       nginx-86bc984445-wvgzt                        1/1     Running   0          108s   192.168.0.166   node01.k8s            <none>           <none>
default       nginx-86bc984445-wvnh7                        1/1     Running   0          107s   192.168.0.143   node01.k8s            <none>           <none>
default       nginx-86bc984445-ww98k                        1/1     Running   0          112s   192.168.0.80    node02.k8s            <none>           <none>
default       nginx-86bc984445-wzxx8                        1/1     Running   0          112s   192.168.0.73    node01.k8s            <none>           <none>
default       nginx-86bc984445-x7hxt                        1/1     Running   0          110s   192.168.0.247   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-x8mxf                        1/1     Running   0          108s   192.168.0.170   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-xc5wl                        1/1     Running   0          113s   192.168.0.107   node02.k8s            <none>           <none>
default       nginx-86bc984445-xn72t                        1/1     Running   0          110s   192.168.0.186   node02.k8s            <none>           <none>
default       nginx-86bc984445-xpt5q                        1/1     Running   0          107s   192.168.0.252   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-xqkwx                        1/1     Running   0          113s   192.168.0.243   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-z4t5n                        1/1     Running   0          109s   192.168.0.158   node02.k8s            <none>           <none>
default       nginx-86bc984445-zb62g                        1/1     Running   0          112s   192.168.0.66    node01.k8s            <none>           <none>
default       nginx-86bc984445-zc4db                        1/1     Running   0          109s   192.168.0.149   control-plane02.k8s   <none>           <none>
default       nginx-86bc984445-zcgzx                        1/1     Running   0          112s   192.168.0.68    node01.k8s            <none>           <none>
default       nginx-86bc984445-zgd8b                        1/1     Running   0          115s   192.168.0.88    control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-zlblx                        1/1     Running   0          106s   192.168.0.218   node01.k8s            <none>           <none>
default       nginx-86bc984445-ztzp6                        1/1     Running   0          109s   192.168.0.133   node01.k8s            <none>           <none>
default       nginx-86bc984445-zvjpx                        1/1     Running   0          115s   192.168.0.101   control-plane03.k8s   <none>           <none>
default       nginx-86bc984445-zwq4j                        1/1     Running   0          110s   192.168.0.229   node01.k8s            <none>           <none>
kube-system   coredns-8474476ff8-qj8qk                      1/1     Running   0          19m    192.168.0.5     control-plane02.k8s   <none>           <none>
kube-system   coredns-8474476ff8-tsvtv                      1/1     Running   0          19m    192.168.0.7     control-plane01.k8s   <none>           <none>
kube-system   dns-autoscaler-5ffdc7f89d-szmdb               1/1     Running   0          19m    192.168.0.6     control-plane03.k8s   <none>           <none>
kube-system   metrics-server-6978dd689f-kd5vx               1/1     Running   0          18m    192.168.0.8     control-plane03.k8s   <none>           <none>

$ kubectl get pods -o wide -A | grep -i running | grep -v 172.31 | awk '{if(NR>1)print $7}' | sort | uniq -d
중복 없음

IPPool 확인 후 새로운 POD 1개 생성

$ calicoctl ipam show --show-blocks
+----------+----------------+-----------+------------+----------+
| GROUPING |      CIDR      | IPS TOTAL | IPS IN USE | IPS FREE |
+----------+----------------+-----------+------------+----------+
| IP Pool  | 192.168.0.0/24 |       256 | 256 (100%) | 0 (0%)   |
| Block    | 192.168.0.0/24 |       256 | 256 (100%) | 0 (0%)   |
+----------+----------------+-----------+------------+----------+

$ cat pod.yaml
apiVersion: v1
kind: Pod
metadata:
  name: seob
spec:
  containers:
  - name: seob
    image: nginx:1.14.2
    ports:
    - containerPort: 80
    
$ kubectl apply -f pod.yaml
pod/seob created

$ kubectl get pod | grep seob
seob                    0/1     ContainerCreating   0          6s

$ kubectl describe pod/seob
Events:
  Type     Reason                  Age   From               Message
  ----     ------                  ----  ----               -------
Warning  FailedCreatePodSandBox  11s   kubelet            Failed to create pod sandbox: rpc error: code = Unknown desc = failed to setup network for sandbox "85455fc3d6045d2f72c154ba5f0017539a5c554de375f044879bed80d271f092": failed to request IPv4 addresses: Assigned 0 out of 1 requested IPv4 addresses; No IPs available in pools: [192.168.0.0/24]

결론

CIDRNotAvailable 이벤트 메시지가 발생해도 CIDR을 할당받지 못한 노드에서도 IPPool 에 사용 가능한 IP가 있다면 할당 받음
최초 구성 시 Kubernetes 규모 예측하여 네트워크 계산을 통해 적절한 값으로 설정
kubespray 에서 기본적으로 kubelet_max_pods 값은 24 이며 kubelet_max_pods 은 110 으로 기본값을 가지는데 단일 노드에서 최대 POD 110개의 실행 할 수 있다는 의미. 따라서 kubelet_max_pods 을 25개 설정하여 효율적인 IP 관리 가능
운영 환경 및 테스트 환경에서는 IP 중복이 발생하지 않았지만 가능하면 문제를 조치
- Subnet 을 더 큰 대역으로 변경하는 방식으로 조치 가능

DC/OS에서 서비스 배포 시 Docker run 옵션 사용

Seob — Wed, 25 Sep 2019 12:44:00 +0900

안녕하세요.

DC/OS에서 서비스 테스트를 할 때 Docker run 의 옵션 등이 필요하여 찾아보고 정리한 내용 입니다.

미리 mesos 혹은 marathon 을 사용해보신분들은 이미 알고 계셨을 내용이기도 합니다.

· 개요

DC/OS에서 구동되는 서비스에 추가적인 호스트 등록이 필요한 상황이였습니다.

이를 위해 Dockerfile 을 작성하고 아래와 같은 형식으로 도커 이미지를 빌드한 뒤 컨테이너 실행 할 때 /etc/hosts 파일이 초기화되어 의미가 없었습니다.

RUN echo 1.1.1.1 seob >> /etc/hosts

위와 같은 문제를 해결하기 위해서 CMD 를 어플리케이션 실행 명령이 아닌 스크립트를 구동하도록 변경했습니다.

· run.sh
cat /root/hosts >> /etc/hosts && java -jar service.jar

· Dockerfile
COPY hosts /root/hosts
COPY run.sh /root/run.sh
CMD bash run.sh

정상적으로 /etc/hosts 파일에 원하던 호스트 등록이 완료되었지만 진행하던 서비스(일부만)에서는 위와 같은 경우를 했을 때 문제가 발생했었습니다.

이렇게 구동된 컨테이너를 아래와 같이 명령어를 내렸을 때에도 반응은 없었습니다.

(정상적으로는 해당 컨테이너가 종료된 후 DC/OS에 의해 다시 구동이 되어야 합니다.)

docker kill -s=SIGINT <Container ID>

올바른 방법이 아니라고 판단했고 다른 방법을 찾아봤습니다.

· 문제 해결

DC/OS 대쉬보드에서 옵션을 아무리 찾아봤지만 해결되지 않았지만 아시는 것처럼 DC/OS은 컨테이너 오케스트레이션 플랫폼인 Marathon 기반으로 도커를 운영하고 있습니다.

서비스의 Json 을 구성 할 때 Marathon 형식을 그대로 사용하면 되는 겁니다.

: Docker run --add-host 명령어

$ docker run --help
Options:
      --add-host list                         Add a custom host-to-IP mapping (host:ip) (default [])

: DC/OS 서비스 Json 파일

{
  "id": "/seob",
  "backoffFactor": 1.15,
  "backoffSeconds": 1,
  "container": {
    "portMappings": [],
    "type": "DOCKER",
    "volumes": [],
    "docker": {
      "image": "nginx:latest",
      "forcePullImage": false,
      "privileged": false,
      "parameters": [
        {
          "key": "add-host",
          "value": "seob:1.1.1.1"
        }
      ]
    }
  },
  "cpus": 0.1,
  "disk": 0,
  "instances": 1,
  "maxLaunchDelaySeconds": 3600,
  "mem": 128,
  "gpus": 0,
  "networks": [
    {
      "mode": "container/bridge"
    }
  ],
  "requirePorts": false,
  "upgradeStrategy": {
    "maximumOverCapacity": 1,
    "minimumHealthCapacity": 1
  },
  "killSelection": "YOUNGEST_FIRST",
  "unreachableStrategy": {
    "inactiveAfterSeconds": 0,
    "expungeAfterSeconds": 0
  },
  "healthChecks": [],
  "fetch": [],
  "constraints": []
}

위에 보시는 것처럼 parameters 부분의 key 값을 옵션을 할당하고 value에는 옵션에 들어갈 내용을 작성하면 됩니다.

이렇게 작성하신 뒤 배포하시고 배포된 컨테이너를 확인하시면 정상적으로 --add-host 옵션을 사용한 것을 볼 수 있습니다.

$ docker exec -it 5da cat /etc/hosts
127.0.0.1       localhost
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
1.1.1.1 seob
172.17.0.2      5da4cce1579a

간단한 테스트로 진행한 것이기 때문에 --add-host 외에 다른 옵션은 테스트 해보지 않았지만 형식만 제대로 갖추어 작성한다면 정상적으로 동작 할 껍니다.

DC/OS 설치 후 성능 이슈

Seob — Wed, 11 Sep 2019 12:43:15 +0900

안녕하세요.

D2IQ(Mesosphere) 의 DC/OS 설치 후 성능 이슈에 대한 설명을 하려고 합니다.

이 성능 이슈는 아래와 같은 버전에서 모두 발생했었습니다.

DC/OS 버전 : 1.11.10, 1.12.0, 1.13.3

DC/OS 서비스에 의해 문제가 발생한건 아니지만 DC/OS의 설치 환경에 의해 발생한 것이니 카테고리를 DC/OS에 포함시켰습니다.

· 문제점

Java 로 구동되는 어플리케이션이 있었는데 DC/OS가 아닌 서버에서 Docker(network는 host, bridge 둘다 테스트) 컨테이너로 구동 시 nGrinder 에서 보여지는 TPS가 약 1200~1500 이 발생.

하지만 동일한 장비로 DC/OS에 투입 후 테스트 시 TPS는 400-600 으로 떨어지는 현상이 발생.

DC/OS에서는 동일하게 Core/메모리를 모두 할당했었고, nGrinder의 테스트 방식도 동일했다.

이 외 Marathon-LB 가 아닌 Agent 로 직접 호출을 했음에도 문제는 해결되지 않았다.

· 문제 확인

문제점을 확인하기 위해서 단계적으로 테스트를 진행을 했었다.

운영체제 설치 후 도커 컨테이너를 구동하여 테스트 (정상)
DC/OS 환경 설정 (NTP 설정, /etc/hosts 파일 편집, 패키지 등 설치) (정상)
DC/OS 에이전트 노드로 투입 후 테스트 (비정상)

3번 진행 후 테스트 했을 때 문제가 발생했었고 설치 스크립트를 모두 뜯어서 분석하고 확인하기에는 너무나 오랜 시간이 걸릴 것 같았다. 이때 운영체제 재설치가 아닌 DC/OS Uninstall을 하면 어떻게 될까? 라는 생각으로 진행했었다.

그리고 DC/OS Uninstall은 동일한 장비에서만 진행을 했다.

1. systemctl stop dcos*
2. rm -rf /var/run/mesos /var/lib/mesos /opt/mesosphere/ /etc/mesosphere/ /run/dcos/ /var/lib/dcos/ /etc/systemd/system/dcos* /etc/profile.d/dcos.sh /etc/systemd/journald.conf.d/dcos.conf /etc/systemd/system/multi-user.target.wants/dcos-setup.service /etc/systemd/system/multi-user.target.wants/dcos.target && systemctl daemon-reload
3. sync ; reboot

(현재는 DC/OS 자체적으로 uninstall 스크립트를 제공하고 있음 : 링크)

3번까지 한번에 모두 완료했을 때 TPS은 정상적으로 1200 - 1500 을 유지했다.

역시 문제는 DC/OS 라고 판단했었다.

systectl stop dcos*
rm -rf /etc/systemd/system/multi-user.target.wants/dcos.target && systemctl daemon-reload
rm -rf /etc/systemd/system/multi-user.target.wants/dcos-setup.service && systemctl daemon-reload
rm -rf /etc/systemd/journald.conf.d/dcos.conf && systemctl daemon-reload
...

1번부터 진행하면서 테스트를 진행했고 DC/OS 서비스에 의해 자원 사용량이 제한 될꺼라 예상했지만 실패했다.

1번 진행 후 2번부터 삭제 할 대상을 순서대로 정리했고, 순서는 /opt/mesosphere 패키지 같은 것들이 아닌 단일 파일부터 DC/OS와 크게 관련이 없는 파일 단위부터 삭제를 시작했다. (이미 DC/OS 서비스가 종료되어있음에도 불구하고 성능이 나오지 않는다는건 DC/OS 패키지와 관련이 없다고 판단했었다)

정확한 테스트를 위해 각 단계 진행 시 재부팅을 진행했었다.

그리고 4번을 진행했을 때 TPS가 1200 ~ 1500 으로 정상적으로 나오기 시작했다.

확인해보니 DC/OS가 설치되면서 /etc/systemd/journald.conf.d/dcos.conf 이 생성되고 journald 에 의해 성능 이슈가 발생한 것이다. (CentOS 7 설치 시 /etc/systemd/journald.conf의 모든 설정 값은 주석처리 되어있습니다.)

/etc/systemd/journald.conf.d/dcos.conf

[Journal]
MaxLevelConsole=warning
RateLimitInterval=1s
RateLimitBurst=20000

옵션을 확인했을 때 warning 레벨 이상 (notice, info, debug)가 매 1초마다 Journal에 기록되는 내용이다.

Journal은 RHEL 7 에서 새로운 로깅 데몬이고 아래와 같은 메시지를 저장한다. (Journal이란?)

- syslog 메시지
- 커널 메시지
- 초기 RAM 디스크 및 초기 부팅 메시지
- 표준 출력 및 표준 오류 출력으로 전송되는 메시지

Journald 서비스의 CPU 사용량

현재 Java로 개발된 어플리케이션은 모든 로그가 stdout(표준 출력)되기 때문에 nGrinder 같은 부하 발생기를 사용 할 경우 Journal 서비스의 CPU 사용량 및 디스크 IO가 발생하며 이에 따라 어플리케이션이 사용할 자원까지 나눠서 사용하기 때문에 문제가 발생했었다.

· 문제 해결

문제점 해결은 매우 간단했다.

일반적인 시스템 로그 및 stdout(표준 출력)이 /var/log/message에도 기록하기 때문에 굳이 Journal 을 사용하여 성능 이슈를 감안하고 이중으로 사용 할 필요는 없었다.

rm -rf /etc/systemd/journald.conf.d/dcos.conf
systemctl restart systemd-journald.service
systemctl status systemd-journald.service

위와 같이 진행했을 때 DC/OS 에서도 동일한 TPS을 보여줬으며 문제는 해결이 되었다.

· 마무리

journald은 DC/OS 뿐만 아니라 성능 이슈로 많이 언급이 되었던 서비스이고,

이번에 처음 겪게 되었고 역시나 DC/OS은.. 문제 발생 했을 때 구글링하는 것보다 직접해결하는게 제일 빠르다고 느꼈습니다.

nGrinder 처럼 자원을 모두 사용 할 정도가 아니라면 DC/OS에서 기본적으로 제공해주는 /etc/systemd/journald.conf.d/dcos.conf 을 지울 필요는 없어보이지만 Journald 사용하지 않는다면 굳이 활성화 시킬 필요는 없을 것 같기도 합니다.

운영 환경에 따라서 판단을 알아서 하시면 될 것 같습니다.

· 추가

mesos_container_log_sink

https://docs.d2iq.com/mesosphere/dcos/1.13/installing/production/advanced-configuration/configuration-reference/?fbclid=IwAR0ZoC7X3DNAICiYnRuWZonYBXrZcl3-Ltmp5d76Q06JlyPjcTTZlbU2bwc#mesos-container-log-sink

Configuration Reference - D2iQ Docs

Configuration Parameters This page contains the configuration parameters for both DC/OS Enterprise and DC/OS Open Source. Cluster Setup Networking Parameter Description dcos_net_cluster_identity This feature ensures that the nodes from a cluster have a uni

docs.d2iq.com

위 설명과 같이 systemd 버전을 업데이트 함으로써 해결 될 수 있으며

https://github.com/dcos/dcos-mesos-modules/blob/master/journald/README.md?fbclid=IwAR3uyr0m2shGnWgnUPNSrV7oVbBeJVKvYc1gjf7RSp8OZMkK3LomnsdsHmo

dcos/dcos-mesos-modules

Mesos Modules used in DC/OS. Contribute to dcos/dcos-mesos-modules development by creating an account on GitHub.

github.com

모듈 변경으로도 방법을 회피 할 수 있습니다.

제가 설명한 것과 같이 dcos.conf 를 삭제함으로써 DC/OS log API에서 로그를 받지 못하는 부분이 발생 할 수도 있을 것 같은데 해당 부분은 직접 판단하시고 결정하시면 될 것 같습니다.

추가 조언을 해주신 민영근님에게 감사드립니다.

서버에서 이유없이 ssh / su 이 느릴 때

Seob — Wed, 11 Sep 2019 12:03:27 +0900

※ 해당 문제는 CentOS 7 에서 발생한 문제이고, 다른 버전에서도 동일한 문제가 발생 될 수 있으며 아래 명령어는 CentOS 7 기준으로 작성했습니다.

· 현상

개발자로부터 Ansible을 통해 여러 서버에 작업을 하는데, 하나의 서버에서만 ssh 연결이 timeout이 발생하며 작동되지 않는다고 제보 받음

· 문제 확인

Ansible 서버에서 직접 ssh 로 접근 했을 때 오랜 시간의 지연이 발생했고 접근 후 su 명령어 또한 지연이 발생했다.

일단 Ansible 문제는 아니라고 판단을 했고 서버 리소스를 확인 했을 때 자원은 충분했다.

서비스 중인 서버이므로 부하가 가지 않을 정도로 CPU, 메모리, 디스크 등 성능 테스트를 했을 때 문제가 없었으며 물리적인 소모품 또한 정상이였다.

그렇다면 왜 느릴까? 생각하던 도중 ssh / su 는 모두 로그인과 관련된 내용이다.

아마 PAM 설정에 문제가 있을까 확인을 해봤지만, 다른 서버와 특별한 점을 찾지 못했고.. /var/log/message 를 확인했지만 이상 로그는 없었다. (실제로 존재했지만 너무 많은 메시지로 제대로 보질 못했다.)

커널 수준에서 어떤 부분이 문제가 있는지 확인하기 위해 strace ssh <대상 서버 IP> 를 입력했고, 특정 메시지에서 오랫동안 머무는 것을 확인 할 수 있었다.

debug1: pledge: network

위와 같은 내용을 확인했을 때 어떤 문제인지 정확히 판단하기 힘들었고, 해당 메시지를 구글링 했을 때 아래와 같은 내용을 확인했었다.

Connection to one of my servers using ssh takes more than 20 seconds to initiate.
This is not related to LAN or WAN conditions, since connection to itself takes the same (ssh localhost). After connection is finally establised, it is super fast to interract with the server.
Using -vvv shows that the connection is stuck after saying "pledge: network". At this point, authentication (here using key) is already done, as visible here :
...
debug1: Authentication succeeded (publickey).
Authenticated to myserver.mydomain.com ([xx.xx.xx.xx]:22).
debug1: channel 0: new [client-session]
debug2: channel 0: send open
debug1: Requesting no-more-sessions@openssh.com
debug1: Entering interactive session.
debug1: pledge: network
(...stuck here for 15 to 25 seconds...)
debug1: client_input_global_request: rtype hostkeys-00@openssh.com want_reply 0
debug2: callback start
debug2: fd 3 setting TCP_NODELAY
debug2: client_session2_setup: id 0
...
Server is Ubuntu 16.04. It already happened to me in the past with another server (was Ubuntu 12.04) , nerver found the solution and the problem disapeared after a while...
sshd_config is the default one provided by Ubuntu.
So far I have tried :
	• using -o GSSAPIAuthentication=no in the ssh command
	• using password instead of a key
	• using UsePrivilegeSeparation no instead of yes, in sshd_config
----------------------------------------------------------------------------------------------
This is probably an issue with D-Bus and systemd. If the dbus service is restarted for some reason, you will also need to restart systemd-logind.

You can check if this is the issue by opening the ssh daemon log (on Ubuntu it should be /var/log/auth.log) and check if it has these lines:
sshd[2721]: pam_systemd(sshd:session): Failed to create session: Connection timed out

If yes, just restart systemd-logind service:
systemctl restart systemd-logind

I had this same issue on CentOS 7, because the messagebus was restarted (which is how the D-Bus service is called on CentOS).

동일한 문제를 가진 내용이였고, 답변은 D-Bus 와 systemd에 이슈가 있으며 어떤 이유로 dbus 서비스가 재시작이 될 경우 systemd-logind 서비스를 재시작을 해줘야 된다는 내용이다.

일단 저널 명령어로 통해 확인했을 때 아래와 같은 메시지를 확인 할 수 있었다.

[root@seob log]#journalctl  -u dbus
Sep 10 15:28:07 seob systemd[1]: dbus.service failed.
Sep 10 15:28:14 seob systemd[1]: Started D-Bus System Message Bus.
Sep 10 15:28:14 seob dbus[22475]: [system] Activating systemd to hand-off: service name='org.freedesktop.login1' unit='dbus-org.freedesktop.login1.service'
Sep 10 15:28:14 seob dbus[22475]: [system] Successfully activated service 'org.freedesktop.systemd1'
Sep 10 15:28:39 seob dbus[22475]: [system] Failed to activate service 'org.freedesktop.login1': timed out
Sep 10 15:28:39 seob dbus[22475]: [system] Activating via systemd: service name='org.freedesktop.login1' unit='dbus-org.freedesktop.login1.service'

[root@seob log]#journalctl -u systemd-logind   
Sep 10 16:01:48 seob systemd-logind[12775]: Failed to abandon session scope: Transport endpoint is not connected

09월 10일 15:28분에 dbus 서비스가 재시작이 되었고 이에 따라 timed out이 발생한 것이다.

· 문제 해결

문제 해결은 간단했다. 구글링 했던 답변처럼 systemd-logind만 재시작해주면 되는 모든게 해결이 되었다.

systemctl restart systemd-logind

이후 ssh, su 접근 시 평소와 동일한 속도로 지연없이 접근되는 것을 확인했다.

또한 systemd-logind 은 로그인과 관련된 데몬으로 서비스 중인 서버에서 login 관련 서비스를 실시간으로 사용하지 않는다면 언제든지 구동해도 문제는 없다.

· 마무리

무엇보다 동일한 문제 재발방지를 위해 확인을 했지만 개발자에게 확인했을 때 dd 명령어로 성능 테스트를 했었다고 답변을 받았다. 동일한 명령어로 실행했지만 dbus 서비스가 failed 되는 현상은 발생하지 않았고 서비스에 치명적인 문제는 아니라 일단 넘겼다.

혹시 이와 비슷한 내용으로 어떤 원인으로 dbus 서비스가 failed 되었는지 아시는 분이 있다면.. 답변을 해주시길 바란다.

ZooKeeper Clustering 설치

Seob — Fri, 24 Feb 2017 20:30:08 +0900

이번 포스팅에서는 ZooKeeper의 클러스터링을 위해 구축 할 예정입니다.

ZooKeeper은 싱글로도 충분히 동작 할 수 있지만, 개발용에나 쓰이지만, 상용에서는 클러스터링으로 사용됩니다.

또한 ZooKeeper은 분산 작업을 제어하기 때문에 ZooKeeper가 중단 될 경우 ZooKeeper에 의존하는 서비스는 영향을 받습니다.

이러한 이유로 ZooKeeper은 안정성이 보장되어야 하며, 여러 ZooKeeper를 클러스터링하여 고가용성을 제공 할 수 있습니다.

이것을 ZooKeeper 앙상블(Ensemble)이라고 합니다.

ZooKeeper의 앙상블은 과반수가 동작하면 사용이 가능하며 과반수를 필요하기 때문에 홀수 구성을 추천하고 있습니다.

예를 들자면, 3대에서 ZooKeeper를 구성 할 때 1대의 고장을 허용합니다.

· 시스템 정보

구성 : 서버 3대

OS : Centos 7.3.1611

ZooKeeper의 버전 : 3.4.9

Java 버전 : 1.8.0_121

· 요구 사항

- Java 1.7 or higher

· 설치

아래 설치는 https://zookeeper.apache.org/doc/r3.4.9/zookeeperAdmin.html#sc_zkMulitServerSetup 설치와 동일합니다.

또한, 최소 구성 및 설치로 진행됩니다.

1. Java JDK 설치.

일반적으로 OS 설치 시 Java가 기본적으로 설치가 되어있을 수도 있지만, 저 같은 경우에는 최소 설치로 직접 다운받아 설치해야합니다.

URL : http://java.sun.com/javase/downloads/index.jsp

현재 작성된 기준으로 최신 버전인 1.8.0_121 을 다운받아 RPM으로 설치합니다.

2. Java Heap Size 설정.

Swapping(스와핑)을 방지하는 것이 매우 중요하며 ZooKeeper의 성능을 심각하게 저하시킬 수 있습니다.

올바른 값을 설정하기 위해서는 Load Tests를 사용하고, Swap 할 수 있는 사용제한보다 훨씬 낮은지 확인해야합니다.

일반적으로 4GB의 Machine에서 최대 3GB를 Heap을 사용합니다.

하지만 이번 설치 포스팅에서는 Java Heap Size 설정은 생략합니다.

3. ZooKeeper 계정 생성.

일반적으로 모든 서비스는 보안을 위하여 Root가 아닌 일반 사용자 계정으로 생성하여 사용하면 좋습니다.

이 부분은 필수적이지 않지만, 습관하는 것이 중요합니다.

1
2
$ useradd hdfs
$ passwd hdfs
cs

4. ZooKeeper Server 패키지 설치.

아래 명령어로 다운받을 수 있습니다. 현재 최신 버전이자 안정한 버전인 3.4.9 버전을 다운 받습니다.

1
2
$ sudo wget http://apache.mirror.cdnetworks.com/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz
$ tar xvfzp zookeeper-3.4.9.tar.gz
Colored by Color Scripter
cs

5. ZooKeeper Configuration

3대의 서버 호스트 네임은 s-seob-1, s-seob-2, s-seob-3 입니다.

1
2
3
4
5
6
7
8
9
10
11
$ cd /home/hdfs/zookeeper-3.4.9/conf
$ cp -rfp zoo_sample.cfg zoo.cfg
$ vi zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper/data
clientPort=2181
server.1=s-seob-1:2888:3888
server.2=s-seob-2:2888:3888
server.3=s-seob-3:2888:3888
cs

Configuration Parameters에 대한 설명은 아래 URL에서 확인 할 수 있습니다.

URL : https://zookeeper.apache.org/doc/r3.4.9/zookeeperAdmin.html#sc_configuration

1
2
3
4
5
$ mkdir -p /data/zookeeper/data
$ cd /data/zookeeper/data
$ touch myid
$ echo <server.id> > myid
$ chown hdfs:hdfs /data/zookeeper
cs

모든 서버에서 다른 서버에 있는 ensemble을 알아야 합니다. 이 작업은 server.id=host:port:port 형식을 사용하면 됩니다.

또한, zoo.cfg 파일에 작성된 dataDir에 지정된 폴더에 각 서버마다 myid라는 파일을 작성하여 server.id 를 작성하면 됩니다.

6. myid 구성에 대한 자세한 설명.

myid 파일은 해당 머신의 ID 텍스트만 포함하여 단일 행으로 구성되어야 합니다. 따라서 s-seob-1 서버에서의 myid는 "1"만 포함하고 다른 것은 포함하지 않습니다.

ID는 ensemble에 고유하며 1에서 255까지 사용이 가능합니다.

구성에 예를 들자면 s-seob-1 서버에서는 /data/zookeeper/data/myid에 1이라는 값이 들어가있으면 되며, s-seob-2 서버에서는 myid에 2 라는 값이 들어가있으면 됩니다.

7. 시작

모든 구성 정보가 완료되었다면, ZooKeeper Server를 실행 할 수 있습니다.

1
2
$ cd /home/hdfs/zookeeper-3.4.9/bin
$ zkServer.sh start
cs

· ZooKeeper 검증

정말 ZooKeeper가 정상적으로 동작하고 있는지 검증 할 차례 입니다. 검증 방법은 아래와 같으며 많은 유형이 있습니다.

- jsp Command를 활용한 검증

1
2
3
$ jps
18407 QuorumPeerMain
18460 Jps
cs

Java가 설치 되어있다면 jps 명령어를 사용 할 수 있습니다. 위와 같이 QuroumPeerMain 프로세스가 동작 중이라면 ZooKeeper가 동작 중입니다.

- netstat Tool을 활용한 검증

1
2
3
4
5
6
$ netstat -naltop | grep -i listen
tcp        0      0 0.0.0.0:2055            0.0.0.0:*               LISTEN      24638/sshd           off (0.00/0/0)
tcp6       0      0 211.104.171.102:3888    :::*                    LISTEN      21594/java           off (0.00/0/0)
tcp6       0      0 :::40214                :::*                    LISTEN      21594/java           off (0.00/0/0)
tcp6       0      0 :::2181                 :::*                    LISTEN      21594/java           off (0.00/0/0)
tcp6       0      0 :::2055                 :::*                    LISTEN      24638/sshd           off (0.00/0/0)
cs

ZooKeeper의 포트인 2181, 3888이 LISTEN 상태인지를 확인 할 수 있습니다.

- ZooKeeper Cli를 활용한 검증.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
$ zkCli.sh -server 127.0.0.1:2181
Connecting to 127.0.0.1:2181
2017-02-16 23:07:04,036 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.9-1757313, built on 08/23/2016 06:50 GMT
2017-02-16 23:07:04,045 [myid:] - INFO  [main:Environment@100] - Client environment:host.name=s-seob-1
2017-02-16 23:07:04,045 [myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.8.0_121
2017-02-16 23:07:04,050 [myid:] - INFO  [main:Environment@100] - Client environment:java.vendor=Oracle Corporation
2017-02-16 23:07:04,051 [myid:] - INFO  [main:Environment@100] - Client environment:java.home=/usr/java/jdk1.8.0_121/jre
2017-02-16 23:07:04,051 [myid:] - INFO  [main:Environment@100] - Client environment:java.class.path=/home/hdfs/zookeeper-3.4.9/bin/../build/classes:/home/hdfs/zookeeper-3.4.9/bin/../build/lib/*.jar:/home/hdfs/zookeeper-3.4.9/bin/../lib/slf4j-log4j12-1.6.1.jar:/home/hdfs/zookeeper-3.4.9/bin/../lib/slf4j-api-1.6.1.jar:/home/hdfs/zookeeper-3.4.9/bin/../lib/netty-3.10.5.Final.jar:/home/hdfs/zookeeper-3.4.9/bin/../lib/log4j-1.2.16.jar:/home/hdfs/zookeeper-3.4.9/bin/../lib/jline-0.9.94.jar:/home/hdfs/zookeeper-3.4.9/bin/../zookeeper-3.4.9.jar:/home/hdfs/zookeeper-3.4.9/bin/../src/java/lib/*.jar:/home/hdfs/zookeeper-3.4.9/bin/../conf:
2017-02-16 23:07:04,051 [myid:] - INFO  [main:Environment@100] - Client environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
2017-02-16 23:07:04,051 [myid:] - INFO  [main:Environment@100] - Client environment:java.io.tmpdir=/tmp
2017-02-16 23:07:04,052 [myid:] - INFO  [main:Environment@100] - Client environment:java.compiler=<NA>
2017-02-16 23:07:04,052 [myid:] - INFO  [main:Environment@100] - Client environment:os.name=Linux
2017-02-16 23:07:04,052 [myid:] - INFO  [main:Environment@100] - Client environment:os.arch=amd64
2017-02-16 23:07:04,052 [myid:] - INFO  [main:Environment@100] - Client environment:os.version=3.10.0-514.el7.x86_64
2017-02-16 23:07:04,053 [myid:] - INFO  [main:Environment@100] - Client environment:user.name=hdfs
2017-02-16 23:07:04,053 [myid:] - INFO  [main:Environment@100] - Client environment:user.home=/home/hdfs
2017-02-16 23:07:04,053 [myid:] - INFO  [main:Environment@100] - Client environment:user.dir=/home/hdfs/zookeeper-3.4.9/bin
2017-02-16 23:07:04,056 [myid:] - INFO  [main:ZooKeeper@438] - Initiating client connection, connectString=127.0.0.1:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@446cdf90
Welcome to ZooKeeper!
JLine support is enabled
2017-02-16 23:07:04,124 [myid:] - INFO  [main-SendThread(127.0.0.1:2181):ClientCnxn$SendThread@1032] - Opening socket connection to server 127.0.0.1/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error)
2017-02-16 23:07:04,296 [myid:] - INFO  [main-SendThread(127.0.0.1:2181):ClientCnxn$SendThread@876] - Socket connection established to 127.0.0.1/127.0.0.1:2181, initiating session
[zk: 127.0.0.1:2181(CONNECTING) 0] 2017-02-16 23:07:04,411 [myid:] - INFO  [main-SendThread(127.0.0.1:2181):ClientCnxn$SendThread@1299] - Session establishment complete on server 127.0.0.1/127.0.0.1:2181, sessionid = 0x25a4a3c41f70000, negotiated timeout = 30000
 
WATCHER::
 
WatchedEvent state:SyncConnected type:None path:null
ls /
[zookeeper]
[zk: 127.0.0.1:2181(CONNECTED) 1]
Colored by Color Scripter
cs

zkCli.sh를 통해 ZooKeeper의 Znode를 확인 할 수 있습니다.

위와 같이 접근하여 ls / 명령어로 ZooKeeper의 Znode를 확인하여 검증 할 수 있습니다.

- ZooKeeper Leader와 Follwer 확인

ZooKeeper의 Ensemble은 Leader와 Follower로 나누어집니다. Leader는 ZooKeeper의 앙상블에서 하나만 존재하게 되며, ZooKeeper가 실행

될 때 선출하게 됩니다.

다음 명령어로 어느 서버가 Leader인지, Follower 인지 구분 할 수 있습니다.

Leader 일 경우

1
2
3
4
$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hdfs/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: leader
Colored by Color Scripter
cs

Follower 일 경우

1
2
3
4
$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hdfs/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: follower
Colored by Color Scripter
cs

· 마무리

아주 간단하게 ZooKeeper의 설치 및 서비스 시작까지 완료했습니다. 현재까지는 최소한 구성으로 설정했으며 본문에 제공한 URL을 통해 Parameter를 조정하여 자신의 환경에 맞게 적용 할 수 있습니다.

중요한 것은 아니지만, bash_profile에 ZooKeeper의 환경 변수를 넣어 어떤 경로에서든 ZooKeeper의 명령어를 실행 할 수 있도록 설정합니다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
$ vi ~/.bash_profile
# .bash_profile
 
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
    . ~/.bashrc
fi
 
# User specific environment and startup programs
 
# Zookeeper Part
export ZOO_LOG_DIR=/data/zookeeper/logs
export ZOOKEEPER_HOME=/home/hdfs/zookeeper-3.4.9
 
PATH=$PATH:$HOME/.local/bin:$HOME/bin:$ZOOKEEPER_HOME/bin
 
export PATH
Colored by Color Scripter
cs

[서울 금천구] 백종원의 3대천왕 수제비, 칼국수의 솔직 후기

Seob — Thu, 9 Feb 2017 19:31:11 +0900

저희 동네에도 유명한 맛집이 있더라구요. 그래서 당장 가기로 마음 먹었죠.

유명한 맛집이기 때문에 처음 갈 때 주말 오후 2시 정도에 갔습니다.

그..근데.. 사람이 너무 많아서 대략 1-2 시간 기다려야겠더라구요.

그리고 다시 평일에 시간이 나서 갔죠. 이번에는 많은 사람은 없었고 대략 10-20분 기다리고 곧바로 착석했습니다.

기본찬은 배추김치와 단무지 밖에 없고 셀프 입니다.

근데, 배추김치 정말 정말 맵습니다. 엄청 매워서 어린 애들은 절대 못 먹을꺼에요.

얼큰 칼국수 2개를 주문했는데.. 여기서 약간 실망인게 주문 받고 음식 나오는 시간이 대략 1 시간 정도 걸립니다.

1 시간의 기다림 끝에 드디어 나의 얼큰칼국수가 나왔습니다.

내용물은 바지락 듬뿍(진짜 많아요..), 다시마 이렇게 나옵니다.

바지락 한 50개 들어있는 거 같네요. 처음에는 빼먹으려고 하다가 너무 많아서 그냥 버렸습니다.

그래도 완국(?) 했네요. 맛 평가를 하자면, 일반 칼국수와 전혀 다릅니다.

매우 얼큰하면서도 국물이 매우 시원합니다. 시원한 이유는 당연히 바지락이랑 다시마가 들어서 그렇구요.

국물은 매우 걸쭉한 편은 아니에요.

다른 얼큰 칼국수와 맛이 다르고, 면 역시 국물의 맛이 깊게 베겨있어서 맛은 매우 좋습니다.

단지, 대기 시간 및 조리 시간 포함해서 최소 1 시간을 기다려서 먹을 자신은 없을 것 같네요.

시간이 넉넉하신 분에게는 추천해드리고 싶어요. 맛 하나는 일품 입니다.