path-graph stale Argo Workflow ImagePullBackOff 런북
티켓 #41 — path-graph 네임스페이스에서 수주간 잔존한 Argo probe/test Workflow가 ImagePullBackOff를 재생산하던 사건과 수정 절차.
증상
- ns=
path-graph의*-resolve-manifest-*Pod가path-graph/pipeline:0.0.0에 대해ImagePullBackOff. filestashDeployment는 Ready(1/1) 유지.- ta-k8s-daily(2026-07-30): 9개 stale Pod, DiskPressure 없음.
원인
- leftover Argo probe/test Workflow가 여전히
Running. - Pod는
Workflow/<name>이 owner이므로 Pod만 삭제하면 재생성.
수정 (Eric 승인)
# Workflow 단위 삭제(cascade로 Pod 제거). filestash Deployment Pod는 건드리지 않음.
kubectl get workflow -n path-graph
kubectl delete workflow -n path-graph <stuck-wf-names>
kubectl get pods -n path-graph # ImagePullBackOff=0, filestash 1/1Closeout (2026-07-30)
- ta remediations 검증 후 pm이 k8s-test PR#1 런북을 README/AGENTS에 머지(
eb26446719358e382734e3c6e9100aa351bf27c3). - Post-merge: ImagePullBackOff=0; filestash 1/1; 티켓 #41 → Done.
- Pitfall: Leantime MCP discovery/auth가 agent runner에서 자주 실패 — JSON-RPC Bearer로 get/update 가능;
Comments.addComment는 insert 성공 후 notification 경로에서-32000을 반환할 수 있음.
위생 (terminal leftover Workflow)
ImagePullBackOff가 0이어도 Failed/Error/Succeeded terminal Workflow CR이 수십 건 남을 수 있다(사용자 영향 없음). 정리 시에도 Pod가 아니라 Workflow 단위 delete. Running만 남기거나 일괄 kubectl delete workflow -n path-graph --field-selector=status.phase!=Running 계열로 정리.
재확인 (일일 점검 패턴): filestash Ready·ImagePullBackOff=0인 상태에서도 terminal Workflow CR이 다수 남는 것은 정상 잔여로 본다. 일일 리포트에서 “abnormal pods”와 분리하고, 정리는 여전히 Workflow-delete. 의도적 scale-0 empty endpoints와 함께 판별: K8s-Intentional-Scale-Zero-Empty-Endpoints.md.
재확인 (2026-08-03): filestash 1/1·ImagePullBackOff=0·Warning events 없음; terminal Error/Failed/Succeeded Workflow CR만 잔존 → 위생 대상일 뿐 incident 아님. 점검은 read-only kubectl 유지.
재확인 (2026-08-16): filestash 1/1·terminal Workflow CR만 잔존 패턴 동일 → incident 아님. scale-0 empty endpoints와 함께 판별: K8s-Intentional-Scale-Zero-Empty-Endpoints.md.
재확인 (2026-08-18): filestash 1/1·ImagePullBackOff=0·terminal Error/Failed/Succeeded Workflow CR만 잔존 → 위생, incident 아님. graph storage STS가 Helm 기본(예: 1Gi)보다 낮은 limit(예: 512Mi)이어도 Ready·최근 OOM 없으면 일일 티켓 없음 — live SoR.