vignette/scripts/nas-migrate-tunnel-to-compose.sh
Yun Chan aeddaa6972
Some checks failed
API contract / OpenAPI type drift (push) Failing after 6m2s
운영 안정화와 화면 회귀 검증을 반영
2026-10-20 16:33:48 +09:00

266 lines
11 KiB
Bash

#!/bin/sh
# 용도: NAS 호스트 프로세스로 떠 있는 cloudflared 터널을
# docker compose 컨테이너(profiles: public-cutover-gate)로 이관한다.
# 실행: NAS에서 root 권한으로 다음과 같이 실행한다.
# sudo sh scripts/nas-migrate-tunnel-to-compose.sh
# 안전성: 4단계 검증(컨테이너 running + 터널 연결 로그 + 공개 health 200)이 실패하면
# 호스트 터널을 절대 건드리지 않고 방금 만든 컨테이너만 정리한다.
# 호스트 터널을 이미 끈 뒤에 문제가 드러나면 호스트 터널을 자동 재기동해
# 서비스를 복구한다. 그래도 복구가 안 되면 exit 2로 끝내고 수동 조치를 안내한다.
# 즉 이 스크립트는 어떤 경로로 끝나도 서비스가 살아 있는 상태를 목표로 한다.
# 주의: docker compose 명령 중 설정을 병합해 평문으로 출력하는 하위 명령(config)은
# env-file에 담긴 시크릿을 그대로 표준출력에 뿌리므로 여기서 절대 쓰지 않는다.
set -eu
PROJECT_DIR="/volume1/docker/vignette-prod"
COMPOSE_FILE="docker-compose.nas.yml"
ENV_FILE="private/env.nas"
CLOUDFLARED_CONFIG="cloudflared/config.yml"
CREDENTIAL_SRC="$PROJECT_DIR/private/cloudflared/vignette-tunnel.json"
CREDENTIAL_FILENAME="vignette-tunnel.json"
VOLUME_NAME="vignette-prod-cloudflared-secrets-20260830"
IMAGE="cloudflare/cloudflared@sha256:d9ff527dc19799e24d3689058161fb01e752a24be1823577bae54c9c2489275f"
HEALTH_URL="https://api-vignette.chanpaca.net/health"
HOST_PID_FILE="$PROJECT_DIR/private/cloudflared-host.pid"
SERVICE_NAME="cloudflared"
COMPOSE_PROJECT="vignette-prod"
POLL_INTERVAL=5
MAX_WAIT=60
echo "[0/5] 사전 점검"
if [ "$(id -u)" -ne 0 ]; then
echo "오류: root 권한이 필요하다. 다음과 같이 실행하라: sudo sh scripts/nas-migrate-tunnel-to-compose.sh" >&2
exit 1
fi
if ! cd "$PROJECT_DIR"; then
echo "오류: 프로젝트 디렉터리로 이동할 수 없다: $PROJECT_DIR" >&2
exit 1
fi
DOCKER_BIN=""
if [ -x /usr/local/bin/docker ]; then
DOCKER_BIN="/usr/local/bin/docker"
elif command -v docker >/dev/null 2>&1; then
DOCKER_BIN="$(command -v docker)"
fi
if [ -z "$DOCKER_BIN" ]; then
echo "오류: docker 명령을 찾을 수 없다." >&2
exit 1
fi
echo " docker 명령: $DOCKER_BIN"
if [ ! -f "$CREDENTIAL_SRC" ]; then
echo "오류: 자격증명 원본 파일이 없다: $CREDENTIAL_SRC" >&2
exit 1
fi
for f in "$COMPOSE_FILE" "$ENV_FILE" "$CLOUDFLARED_CONFIG"; do
if [ ! -f "$f" ]; then
echo "오류: 필수 파일이 없다: $PROJECT_DIR/$f" >&2
exit 1
fi
done
BEFORE_PUBLIC=$(curl -s -o /dev/null -w "%{http_code}" --max-time 15 "$HEALTH_URL" || echo "000")
echo " 이관 전 공개 health 상태: $BEFORE_PUBLIC"
if [ "$BEFORE_PUBLIC" != "200" ]; then
echo " 경고: 이관 전 공개 health가 200이 아니다. 그래도 이관을 계속 진행한다."
fi
HOST_PID=$(ps -ef | grep "[c]loudflared" | grep "cloudflared-host.yml" | awk '{print $2}' | head -1)
if [ -n "$HOST_PID" ]; then
echo " 탐지된 호스트 터널 PID: $HOST_PID"
else
echo " 호스트 터널 프로세스를 찾지 못했다(이미 종료된 것으로 보고 계속 진행한다)."
fi
echo "[1/5] 볼륨 준비"
if ! "$DOCKER_BIN" volume inspect "$VOLUME_NAME" >/dev/null 2>&1; then
echo " 볼륨이 없다. 생성한다: $VOLUME_NAME"
"$DOCKER_BIN" volume create "$VOLUME_NAME" >/dev/null
else
echo " 볼륨이 이미 존재한다: $VOLUME_NAME"
fi
VOLUME_MOUNT=$("$DOCKER_BIN" volume inspect -f '{{ .Mountpoint }}' "$VOLUME_NAME")
echo " 볼륨 마운트 경로: $VOLUME_MOUNT"
CRED_PATH="$VOLUME_MOUNT/$CREDENTIAL_FILENAME"
if [ -f "$CRED_PATH" ]; then
echo " 자격증명 파일이 이미 존재한다. 복사를 건너뛴다."
else
echo " 자격증명 파일을 복사한다."
cp "$CREDENTIAL_SRC" "$CRED_PATH"
fi
echo " 자격증명 파일 정보(내용은 출력하지 않는다):"
ls -la "$CRED_PATH"
echo "[2/5] 권한 맞추기"
if ! "$DOCKER_BIN" image inspect "$IMAGE" >/dev/null 2>&1; then
echo " 이미지를 로컬에서 찾을 수 없다. pull 한다: $IMAGE"
"$DOCKER_BIN" pull "$IMAGE"
fi
IMG_USER=$("$DOCKER_BIN" image inspect "$IMAGE" --format '{{.Config.User}}')
echo " 이미지 지정 사용자: '$IMG_USER'"
case "$IMG_USER" in
''|root|0)
echo " root 사용자로 판단한다 -> chown root:root, chmod 600"
chown root:root "$CRED_PATH"
chmod 600 "$CRED_PATH"
;;
*[!0-9:]*)
echo " 경고: 이미지 사용자가 이름 형태('$IMG_USER')라 UID를 자동으로 추측하지 않는다."
echo " 경고: root 소유 600 권한을 유지한 채 다음 단계로 진행한다."
echo " 경고: 4단계 검증이 실패하면 이 사용자 불일치를 원인으로 먼저 의심하라."
chown root:root "$CRED_PATH"
chmod 600 "$CRED_PATH"
;;
*)
UID_PART=${IMG_USER%%:*}
echo " 숫자 UID 사용자로 판단한다 -> chown $UID_PART:$UID_PART, chmod 600"
chown "$UID_PART:$UID_PART" "$CRED_PATH"
chmod 600 "$CRED_PATH"
;;
esac
echo "[3/5] 컨테이너 기동"
EXISTING_STATUS=$("$DOCKER_BIN" ps --filter "label=com.docker.compose.project=$COMPOSE_PROJECT" --filter "label=com.docker.compose.service=$SERVICE_NAME" --format '{{.Status}}' | head -1)
UP_OK=true
if [ -n "$EXISTING_STATUS" ]; then
echo " 컨테이너가 이미 실행 중이다: $EXISTING_STATUS (중복 기동하지 않는다)"
else
if ! "$DOCKER_BIN" compose -f "$COMPOSE_FILE" --env-file "$ENV_FILE" --profile public-cutover-gate up -d --no-deps "$SERVICE_NAME"; then
UP_OK=false
echo " 오류: 컨테이너 기동 명령이 실패했다."
fi
fi
echo "[4/5] 검증 (최대 ${MAX_WAIT}초, ${POLL_INTERVAL}초 간격 폴링)"
ELAPSED=0
VERIFY_OK=false
if [ "$UP_OK" = "true" ]; then
while [ "$ELAPSED" -lt "$MAX_WAIT" ]; do
CONTAINER_STATUS=$("$DOCKER_BIN" ps --filter "label=com.docker.compose.project=$COMPOSE_PROJECT" --filter "label=com.docker.compose.service=$SERVICE_NAME" --format '{{.Names}} {{.Status}}' | head -1)
echo " 컨테이너 상태: ${CONTAINER_STATUS:-(없음, 아직 running이 아니다)}"
TUNNEL_LOG_HITS=$("$DOCKER_BIN" compose -f "$COMPOSE_FILE" --env-file "$ENV_FILE" --profile public-cutover-gate logs "$SERVICE_NAME" 2>/dev/null | grep -c "Registered tunnel connection" || true)
TUNNEL_LOG_HITS=${TUNNEL_LOG_HITS:-0}
echo " 터널 연결 로그(Registered tunnel connection) 건수: $TUNNEL_LOG_HITS"
CURRENT_PUBLIC=$(curl -s -o /dev/null -w "%{http_code}" --max-time 15 "$HEALTH_URL" || echo "000")
echo " 공개 health 상태: $CURRENT_PUBLIC"
if [ -n "$CONTAINER_STATUS" ] && [ "$TUNNEL_LOG_HITS" -ge 1 ] && [ "$CURRENT_PUBLIC" = "200" ]; then
VERIFY_OK=true
break
fi
sleep "$POLL_INTERVAL"
ELAPSED=$((ELAPSED + POLL_INTERVAL))
done
else
echo " 컨테이너 기동이 실패해 폴링을 건너뛴다."
fi
if [ "$VERIFY_OK" = "true" ]; then
echo " 검증 성공: 컨테이너 running + 터널 연결 로그 확인 + 공개 health 200"
else
echo " 검증 실패: 조건을 만족하지 못했다."
fi
echo " 컨테이너 로그 마지막 20줄(연결 로그라 토큰이 없는 것이 통상이지만 그대로 출력한다):"
"$DOCKER_BIN" compose -f "$COMPOSE_FILE" --env-file "$ENV_FILE" --profile public-cutover-gate logs --tail 20 "$SERVICE_NAME" || true
if [ "$VERIFY_OK" = "true" ]; then
echo "[5/5] 호스트 터널 종료 (검증 성공 경로)"
if [ -n "$HOST_PID" ]; then
echo " 호스트 터널 프로세스 종료 시도: PID $HOST_PID"
kill "$HOST_PID" 2>/dev/null || true
sleep 5
if kill -0 "$HOST_PID" 2>/dev/null; then
echo " 아직 살아있다. SIGKILL로 강제 종료한다."
kill -9 "$HOST_PID" 2>/dev/null || true
fi
else
echo " 종료할 호스트 터널 PID가 없다(이미 종료된 상태)."
fi
if [ -f "$HOST_PID_FILE" ]; then
rm -f "$HOST_PID_FILE"
echo " PID 파일을 삭제했다: $HOST_PID_FILE"
fi
AFTER_PUBLIC=$(curl -s -o /dev/null -w "%{http_code}" --max-time 15 "$HEALTH_URL" || echo "000")
echo " 호스트 터널 종료 후 공개 health 상태: $AFTER_PUBLIC"
if [ "$AFTER_PUBLIC" != "200" ]; then
echo " 경고: 호스트 터널 종료 후 공개 health가 200이 아니다. 서비스 복구를 위해 호스트 터널을 재기동한다."
echo " 1) 방금 만든 컨테이너를 정리한다."
"$DOCKER_BIN" compose -f "$COMPOSE_FILE" --env-file "$ENV_FILE" --profile public-cutover-gate rm -sf "$SERVICE_NAME" || true
echo " 2) 호스트 터널을 재기동한다."
cd "$PROJECT_DIR"
nohup ./bin/cloudflared tunnel --no-autoupdate --config private/cloudflared-host.yml run >> private/cloudflared-host.log 2>&1 </dev/null &
echo $! > private/cloudflared-host.pid
echo " 3) 25초 대기 후 공개 health를 재확인한다."
sleep 25
RESTORE_PUBLIC=$(curl -s -o /dev/null -w "%{http_code}" --max-time 15 "$HEALTH_URL" || echo "000")
echo " 호스트 터널 재기동 후 공개 health 상태: $RESTORE_PUBLIC"
if [ "$RESTORE_PUBLIC" = "200" ]; then
echo "MIGRATE_FAILED_HOST_RESTORED"
exit 1
fi
echo "MIGRATE_FAILED_SERVICE_DOWN"
echo " 경고: 서비스가 다운된 상태다. 사람이 즉시 확인하고 조치해야 한다."
echo " 수동 복구 명령:"
echo " cd $PROJECT_DIR"
echo " sh scripts/nas-recover-prod.sh"
echo " 위 스크립트로도 복구되지 않으면 cloudflared 대시보드와 컨테이너·호스트 로그를 직접 확인하라."
exit 2
fi
echo "MIGRATE_DONE"
else
echo "[5/5] 롤백 (검증 실패 경로) — 호스트 터널은 건드리지 않는다"
if [ -n "$EXISTING_STATUS" ]; then
echo " 주의: 이 컨테이너는 스크립트 실행 전부터 떠 있던 것이라 제거하지 않는다."
echo " 주의: 이미 이관이 끝난 상태일 수 있고, 제거하면 되돌릴 호스트 터널이 없어 서비스가 끊긴다."
else
"$DOCKER_BIN" compose -f "$COMPOSE_FILE" --env-file "$ENV_FILE" --profile public-cutover-gate rm -sf "$SERVICE_NAME" || true
fi
ROLLBACK_PUBLIC=$(curl -s -o /dev/null -w "%{http_code}" --max-time 15 "$HEALTH_URL" || echo "000")
echo " 롤백 후 공개 health 상태(호스트 터널 기준, 200이어야 정상): $ROLLBACK_PUBLIC"
if [ "$ROLLBACK_PUBLIC" != "200" ]; then
echo " 경고: 롤백 뒤에도 공개 health가 200이 아니다. 서비스가 끊겼을 수 있으니 즉시 확인하라."
echo " 수동 복구: cd $PROJECT_DIR && sh scripts/nas-recover-prod.sh"
fi
echo " 실패 원인 후보:"
echo " (a) 자격증명 권한 불일치 - 2단계에서 이름 형태 사용자 경고가 있었다면 이것을 의심하라."
echo " (b) 볼륨 마운트 문제 - $VOLUME_MOUNT 아래 자격증명 파일 경로를 확인하라."
echo " (c) 컨테이너 기동 자체 실패 - 3단계 오류 메시지를 확인하라(UP_OK=$UP_OK)."
echo " (d) 터널 미연결 - 위에 출력된 컨테이너 로그에서 Registered tunnel connection 여부를 확인하라."
echo "MIGRATE_FAILED"
exit 1
fi