Hadoop 클러스터에서 발생한 네트워크 패킷 손실 이슈 분석 및 해결
1. 장애 현상Spark 작업 중 특정 노드에서 자주 FetchFailedException 오류가 발생하면서 작업이 지연되고 재시도 실패가 간헐적으로 발생하고 있었습니다. Hadoop 클러스터에서는 CPU / Memory / DISK / Network 등 충분한 리소스가 있었으며 별다른 이상 현상을 탐지 할 수 없었습니다. (또한, Hadoop 은 Bonding 으로 구성되어 있음) 로그 예시FetchFailedException: Connection from closed2. 초기 진단2.1 netstat -i 확인 결과문제가 발생한 노드와 정상 노드 간의 인터페이스 수신 상태를 비교해보니 다음과 같은 차이를 확인할 수 있었습니다.노드RX-ERRRX-DRPRX-OVR비고slave0001010520문제 없..
Elasticsearch 8.12 Fielddata 해제 이슈 및 해결 방법
1. Fielddata란?Elasticsearch에서 text 타입의 필드는 기본적으로 정렬(Sort)이나 집계(Aggregation)에 사용할 수 없습니다.이를 가능하게 하려면 Fielddata 기능을 활성화해야 합니다.Fielddata의 역할text 필드에서 정렬 및 집계를 수행할 수 있도록 데이터 구조를 변환대용량 데이터에서도 빠른 검색 및 분석 가능Fielddata의 단점메모리 사용량 증가 : Heap 영역에 데이터를 적재하므로 JVM 메모리 부담이 커짐성능 저하 가능성 : 대량의 데이터를 처리할 경우 OutOfMemory(OOM) 발생 가능 2. Elasticsearch 8.12에서 Fielddata 해제 이슈Elasticsearch 8.12 버전부터 Fielddata의 자동 해제(Expire)..
