Kubernetes 클러스터에서 노드 OS를 업데이트한 이후, Gunicorn을 사용하는 일부 파드가 정상적으로 시작되지 않습니다. 로그를 확인해보면 다음과 같은 에러 메시지가 나옵니다:
makefile
CopyEdit
OSError: [Errno 99] Cannot assign requested address
이 문제는 해당 파드가 특정 IP와 포트에 바인딩하려고 할 때 발생하는 것 같습니다. 이전에는 아무 문제 없이 잘 작동하던 설정인데, 노드 업데이트 이후 갑자기 이런 현상이 발생했습니다.
혹시 커널 파라미터나 네트워크 설정 쪽에서 변경된 게 있어서 이런 문제가 생길 수 있을까요? 어떻게 해결하면 좋을까요?
[CloudBro AI Bot Response]
Kubernetes 노드 OS 업데이트 후 Gunicorn이 특정 IP와 포트에 바인딩하지 못하고 OSError: [Errno 99] Cannot assign requested address 에러가 발생하는 문제는 주로 다음 원인과 해결책을 고려해볼 수 있습니다.
net.ipv4.ip_nonlocal_bind)이 변경되었을 가능성 있음ip_nonlocal_bind가 0으로 설정되어 있으면, 로컬 인터페이스에 없는 IP를 바인딩하지 못함0.0.0.0 혹은 localhost 바인딩 권장bind 옵션 확인 (예: gunicorn --bind 192.168.x.x:8000)ip addr show
0.0.0.0 (모든 인터페이스)로 변경 권장ip_nonlocal_bind 값 확인sysctl net.ipv4.ip_nonlocal_bind
0이라면, 1로 변경하여 로컬에 없는 IP도 바인딩 가능하도록 설정sudo sysctl -w net.ipv4.ip_nonlocal_bind=1
/etc/sysctl.conf 또는 /etc/sysctl.d/*.conf에 추가net.ipv4.ip_nonlocal_bind=1
kubectl get pods -n kube-system
kubectl logs -n kube-system <cni-pod-name>
kubectl describe node <node-name>
0.0.0.0으로 변경하여 모든 인터페이스에서 수신하도록 변경OSError Errno 99 Gunicorn Kubernetessysctl net.ipv4.ip_nonlocal_bind
sudo sysctl -w net.ipv4.ip_nonlocal_bind=1
kubectl describe node
kubectl logs -n kube-system
---
## 4. 요약
- `OSError: [Errno 99] Cannot assign requested address`는 보통 바인딩 IP가 노드에 없거나, 커널 파라미터가 제한적일 때 발생합니다.
- - OS 업데이트 후 네트워크 인터페이스 설정과 `net.ipv4.ip_nonlocal_bind` 값을 우선 점검하세요.
- - Gunicorn 바인딩 IP를 `0.0.0.0`으로 변경하는 것이 가장 간단한 해결책일 수 있습니다.
- - CNI 플러그인과 Kubernetes 네트워크 상태도 함께 점검하는 것이 좋습니다.
필요하면 추가 로그와 설정 파일 공유해주시면 더 구체적으로 진단 도와드리겠습니다.net.ipv4.ip_nonlocal_bind 설정이 초기화된 것이 원인일 수 있습니다이 현상은 대개 net.ipv4.ip_nonlocal_bind라는 커널 파라미터가 0으로 설정되어 있을 때 발생합니다. 이 값이 0이면, 시스템은 로컬 인터페이스에 존재하지 않는 IP 주소로는 바인딩을 허용하지 않습니다.
즉, Pod 안의 애플리케이션이 클러스터 내에서 외부 IP(예: 외부 LoadBalancer IP 또는 NodePort IP 등)에 직접 바인딩하려 할 때, 해당 IP가 실제로 현재 노드에 존재하지 않으면 바인딩을 거부하게 됩니다.
노드 OS를 업데이트하면 이 커널 파라미터가 기본값으로 초기화되면서 문제가 발생했을 가능성이 큽니다.
[CloudBro AI Bot Response]
안녕하세요.
net.ipv4.ip_nonlocal_bind 커널 파라미터가 0으로 설정되어 있을 때, Pod 내 애플리케이션이 노드에 존재하지 않는 IP 주소(예: 외부 LoadBalancer IP, NodePort IP 등)에 바인딩을 시도하면 실패하는 문제는 Kubernetes 환경에서 자주 발생하는 이슈입니다. 특히 노드 OS 업데이트 시 이 설정이 기본값(0)으로 초기화되어 갑작스럽게 서비스 장애가 발생할 수 있기에 주의가 필요합니다.
net.ipv4.ip_nonlocal_bind=0 (기본값)
net.ipv4.ip_nonlocal_bind=1
# 현재 값 확인
sysctl net.ipv4.ip_nonlocal_bind
# 즉시 적용 (재부팅 시 초기화됨)
sudo sysctl -w net.ipv4.ip_nonlocal_bind=1
# 영구 적용 (재부팅 후에도 유지)
echo "net.ipv4.ip_nonlocal_bind=1" | sudo tee /etc/sysctl.d/99-ip_nonlocal_bind.conf
sudo sysctl --system
DaemonSet으로 설정 관리
sysctl 설정을 자동으로 적용하는 DaemonSet 배포apiVersion: apps/v1
kind: DaemonSet
metadata:
name: sysctl-ip-nonlocal-bind
namespace: kube-system
spec:
selector:
matchLabels:
name: sysctl-ip-nonlocal-bind
template:
metadata:
labels:
name: sysctl-ip-nonlocal-bind
spec:
hostPID: true
containers:
- name: sysctl
image: busybox
command: ["sh", "-c", "sysctl -w net.ipv4.ip_nonlocal_bind=1 && sleep infinity"]
securityContext:
privileged: true
restartPolicy: Always
hostNetwork: true 설정을 활용해 노드 네트워크 네임스페이스를 공유하는 방법도 고려sysctl 설정은 노드 재부팅 시 초기화될 수 있으므로, 자동화 도구(Ansible, Puppet, DaemonSet 등)를 활용해 관리하는 것을 권장합니다./var/log/kern.log 또는 dmesg)를 확인해 바인딩 실패 원인을 파악하세요.ip_nonlocal_bind 설정이 필요한지 여부를 테스트 환경에서 먼저 검증하세요.필요하시면 관련 스크립트나 DaemonSet 배포 예시를 더 자세히 안내해 드릴 수 있습니다. 추가 질문 있으시면 언제든지 문의 주세요.