178 lines
19 KiB
Markdown
178 lines
19 KiB
Markdown
# 배포 파이프라인 (Deployment Pipeline)
|
|
|
|
> 작성: 2026-08-31 · 2026-10-20 현행화 · 문서 소유: docs/ops
|
|
> 상태: Forgejo `master` SHA `aeddaa6972cafabec8113745037533893db0ac34` push, Cloudflare Pages production(`f2039a2e`), NAS API/web 배포와 migration 25 적용을 완료했다. 인증된 운영 내부 UI는 이번 세션에서 검증하지 않았으므로 전체 운영 검증 완료를 선언하지 않는다.
|
|
|
|
## 목표 아키텍처 (소유자 지시)
|
|
|
|
```
|
|
이 PC(개발 워크스테이션)
|
|
│ push (master)
|
|
▼
|
|
Forgejo git.chanpaca.net ────── 소스 SSOT (이관 완료 2026-08-31)
|
|
│ ├─ 미러(백업) ── github.com (private 유지) [현행 origin]
|
|
│ └─ 배포 ──▶ NAS Production (vignette-prod)
|
|
│ docker-compose.nas.yml (SSOT-host=nas, runtime-class=production)
|
|
│
|
|
Cloudflare tunnel은 소유자 지시에 따라 제거 대상이다. 다만 현재 NAS ingress가 이를 경유하므로, 대체 ingress의 보안·가용성·OAuth 경계를 검증하기 전에는 제거하지 않는다.
|
|
```
|
|
|
|
- 나는 이 PC를 **개발 전용**으로만 사용한다. 배포 대상은 반드시 **NAS Production**이다.
|
|
- github.com은 **private**로 백업/미러만 유지한다 (제거 아님).
|
|
- git 관리·배포 파이프라인은 **git.chanpaca.net (Forgejo)** 이 소유한다.
|
|
|
|
## 1. 저장소 (소스 SSOT)
|
|
|
|
| 원격 | URL | 역할 | 상태 |
|
|
|---|---|---|---|
|
|
| `origin` | https://github.com/yunchan8804-blip/vignette.git | private 백업/미러 | 유지 |
|
|
| `forgejo` | ssh://git@git.chanpaca.net:2222/yunchan/vignette.git | **소스 SSOT·배포** | ✅ 이관 완료 |
|
|
|
|
- Forgejo 레포: `yunchan/vignette` (id 14, public, default master)
|
|
- 2026-09-01 배포 당시 기준 커밋: `dce85620`. 현재 master/로컬 HEAD는 실행 전에 별도로 확인한다.
|
|
- Forgejo 접근: SSH 키(`~/.ssh/id_ed25519`, Host `git.chanpaca.net` → `192.168.0.38:2222`) · API 토큰(`infra/.env.deploy`의 `FORGEJO_API_TOKEN`, gitignore)
|
|
|
|
## 2. 로컬 브랜치 규칙
|
|
|
|
- `master` = Forgejo `master`와 동기화 (배포 기준선)
|
|
- 기능/scoped 브랜치 = 개발용, 검증 후 master로 합침
|
|
|
|
## 3. NAS Production 배포 흐름 (수동 절차 실증, 자동화 구성 예정)
|
|
|
|
```
|
|
[Forgejo] 승인된 master 후보 SHA
|
|
▼
|
|
[NAS] git 컨테이너로 해당 SHA clone·검증
|
|
▼
|
|
[NAS] 변경 범위·필요 migration 호환성 검토 → 이미지 빌드 → 필요한 서비스별 교체·readiness
|
|
▼
|
|
vignette-prod (api/web/engine/db/proxy) readiness·데이터 보존 검증
|
|
▼
|
|
[Cloudflare] 현재 공개 서빙 경로 유지 (대체 ingress 검증 뒤 tunnel retirement)
|
|
```
|
|
|
|
NAS 호스트에는 git이 없으므로 git 컨테이너로 Forgejo에서 clone한다. 2026-09-01 수동 실배포는 이 흐름으로 `dce85620`을 검증했다. 자동배포 hook과 tunnel retirement는 별도 열린 게이트다.
|
|
|
|
## 4. 검증 게이트 (배포 전)
|
|
|
|
- `apps/web`: `npm run typecheck`, `npm run build`
|
|
- `apps/api`: 관련 test suite (전체 1104 passed / 1 skipped)
|
|
- SSOT checker `scripts/check-dev-dashboard-ssot.py`
|
|
- Forgejo master == 로컬 master (배포 무결성)
|
|
- NAS: 후보 변경 파일 범위로 engine 영향부터 판정한다. engine 코드·공통 requirements·`apps/api/Dockerfile`가 바뀌지 않았다면 API와 같은 이미지 참조를 쓰더라도 engine을 재생성하지 않는다.
|
|
- NAS: `docker compose ps` healthy, 공개 `/health`의 `db: true`·`engine: true`, 실제 인증 UI 확인 전에는 완료를 선언하지 않는다. 컨테이너 `Started`는 완료 증거가 아니다.
|
|
|
|
## 5. 실증된 배포 절차 (2026-09-01 1차 실배포 완료, SHA `dce85620`)
|
|
|
|
NAS 호스트에는 git이 없으므로 git 컨테이너로 Forgejo에서 clone한다.
|
|
|
|
```sh
|
|
# NAS에서 (ssh yunchan@192.168.0.38)
|
|
cd /volume1/docker/vignette-prod
|
|
# 0) 백업: pg_dump custom + env.nas 사본 + 구 이미지 SHA 기록
|
|
docker exec vignette-prod-db-1 pg_dump -U vignette_owner -d vignette -Fc > backups/pre-deploy-<sha>-<ts>.dump
|
|
cp private/env.nas private/env.nas.before-deploy-<sha>
|
|
# 1) Forgejo master clone (git 컨테이너) + HEAD 검증
|
|
docker run --rm -v $PWD:/work alpine/git clone --depth 1 --branch master \
|
|
http://192.168.0.38:3000/yunchan/vignette.git /work/src-<sha>
|
|
# 2) 이미지 빌드 (API 컨텍스트는 저장소 루트)
|
|
cd src-<sha> && docker build -f apps/api/Dockerfile -t vignette-nas-api:<sha> .
|
|
docker build --build-arg VITE_API_BASE=/api -t vignette-nas-web:<sha> apps/web
|
|
# 3) migration이 필요하면 호환성을 먼저 검토하고 적절한 시점의 별도 게이트에서 적용한다.
|
|
# initdb 스크립트는 재실행되지 않으며, 구 API가 의존하는 제약 변경은 stop api 뒤 적용할 수 있다.
|
|
# 4) 후보 변경 범위로 교체 대상을 판정한다.
|
|
# engine 코드·requirements·apps/api/Dockerfile 변경이 없으면 engine은 유지한다.
|
|
# API만 바뀌면 API만, web만 바뀌면 web만 --no-deps로 재생성한다.
|
|
# engine 변경이면 engine을 먼저 교체하고 healthy 및 engine readiness를 확인한 뒤 API를 교체한다.
|
|
# compose의 --wait 지원 여부는 현장에서 확인되지 않았으므로 쉘 폴링으로 health를 확인한다.
|
|
# 단일 API 교체에는 기동 공백이 있다. 무중단은 별도 blue/green 전환 게이트를 통과한 경우에만 주장한다.
|
|
# 5) private/env.nas의 VIGNETTE_NAS_API_IMAGE/WEB_IMAGE를 새 이미지 ID로 교체
|
|
docker compose -f docker-compose.nas.yml --env-file private/env.nas config --quiet
|
|
docker compose -f docker-compose.nas.yml --env-file private/env.nas up -d --no-deps api web
|
|
# engine 변경 시에는 위 API/Web 명령 전에 별도로 `up -d --no-deps engine`을 실행한다.
|
|
# 6) API 교체 뒤 healthy, 공개 /health의 db/engine true, 실제 인증 UI, 데이터 집계 전후 동일을 확인한다.
|
|
# rollback은 자동 실행하지 않는다. 사전 DB dump와 이전 이미지·환경 파일을 보존하고 소유자가 결정한다.
|
|
```
|
|
|
|
공개 웹(Cloudflare Pages)은 별도 배포한다: `apps/web`에서 `npm run build` →
|
|
`node ../../scripts/preserve-assets.mjs`(이전 세대 자산 보존) →
|
|
`npx wrangler pages deploy dist --project-name vignette --branch main`.
|
|
|
|
## 5.1 2차 정식 실배포 완료 (2026-09-08, SHA `a0311c59`)
|
|
|
|
- **Forgejo / GitHub master 동기화**: `a0311c59` (파이프라인 문서 포함 `d9bb5b36`).
|
|
- **사전 백업**:
|
|
- DB dump: `/volume1/docker/vignette-prod/backups/pre-deploy-a0311c59-.dump` (12MB, custom 포맷)
|
|
- 환경변수: `private/env.nas.before-deploy-a0311c59`
|
|
- **NAS Docker 빌드 및 배포**:
|
|
- API 이미지: `vignette-nas-api:a0311c59` (`sha256:8b1ed23d1d24...`)
|
|
- Web 이미지: `vignette-nas-web:a0311c59` (`sha256:5c34139d8b56...`)
|
|
- `private/env.nas` 이미지 SHA 갱신 및 `docker compose up -d`
|
|
- 컨테이너 전건 healthy: `vignette-prod-api-1`, `vignette-prod-engine-1`, `vignette-prod-db-1`, `vignette-prod-web-1`, `vignette-prod-private-proxy-1`
|
|
- **Cloudflare Pages 배포**:
|
|
- `apps/web`: `npm run build` 성공
|
|
- `node ../../scripts/preserve-assets.mjs` 실행 (174개 이전 세대 자산 보존)
|
|
- `npx wrangler pages deploy dist --project-name vignette --branch main` 성공 (`https://vignette.chanpaca.net`, preview: `https://2df910db.vignette-b1q.pages.dev`)
|
|
- **Live 폐루프 검증**:
|
|
- `https://api-vignette.chanpaca.net/health` -> `status: ok`, `db: true`, `engine: true`, `openai: true`
|
|
- `https://api-vignette.chanpaca.net/auth/me` -> `401 Unauthorized` (fail-closed 보장)
|
|
- `https://vignette.chanpaca.net` -> `HTTP 200 OK`
|
|
|
|
## 5.2 서비스별 교체·기동 공백 관찰 (2026-09-09, SHA `1306c524`)
|
|
|
|
- API와 engine을 동시에 재생성한 동안 사용자가 다운을 보고했다. 이는 단일 API 교체에도 기동 공백이 생길 수 있음을 드러낸 관찰이며, 영구 장애 원인으로 단정하지 않는다.
|
|
- 이후 같은 버전에서 컨테이너 healthy, 공개 `200`, 학습자 회기 조회 정상과 DB 전체 집계 동일을 확인했다. 이 회복 관찰은 무중단 배포 증거가 아니다.
|
|
- 다음 배포는 §5의 변경 범위 판정을 먼저 적용한다. engine 변경이 있으면 engine healthy·readiness 뒤 API를 교체하고, engine 변경이 없으면 API와 같은 이미지 참조만으로 engine을 재생성하지 않는다.
|
|
|
|
## 5.3 3차 정식 배포 완료 (2026-09-11, SHA `4b45d331`)
|
|
|
|
- 관리자 AI 제공자 연결 기능(토큰 붙여넣기 연결, `app.admin_provider_credential`) 배포.
|
|
- §5 절차 준수: DB dump(`pre-deploy-4b45d331-.dump`, 11.8MB) + `env.nas.before-deploy-4b45d331` 백업 뒤 클론·빌드.
|
|
- 변경 범위 판정: engine 코드 변경 존재 → **engine 먼저 재생성, healthy 확인 뒤 api·web 교체**(§5.2 교훈 적용, 동시 재생성 회피).
|
|
- 이미지: `vignette-nas-api:4b45d331`(sha256 c6b9201ec8ef), `vignette-nas-web:4b45d331`(sha256 d999ea74a8e4). env.nas 이미지 참조 갱신.
|
|
- 기동 확인: api·engine `healthy`, `http://127.0.0.1:18080/health` 및 공개 `https://api-vignette.chanpaca.net/health` → `status: ok, db: true, engine: true`(engine_mode openai, ready OK).
|
|
- 배포 후 관리자가 `/admin/ai` 제공자 연결 패널에서 claude·codex·agy·openrouter 토큰을 연결하면 실행 중인 engine 컨테이너에 즉시 push 적용된다(재배포 불필요).
|
|
- 이후 수정(`e3a9fc71`, `cb4d4557`): 앱 DB 계정엔 스키마 CREATE 권한이 없어 런타임 DDL이 권한 거부로 실패 → 소유자로 테이블 선생성(DDL은 `05_runtime_auth.sql`에 정식 반영) + `to_regclass` 존재 검사 선행(r2), OAuth 로그인 버튼(claude·openrouter PKCE 코드 교환) 추가(r3). 교체는 각각 api만 `--no-deps`로 수행, engine은 코드 변경이 없어 유지했다.
|
|
|
|
## 5.4 UX 웹 배포와 NAS web 전용 교체 (2026-09-12 배포 시작 17:55:31 KST · NAS 교체/로컬 HTTP 확인 18:06 KST, SHA `e8b770e4d9023238bf210b412de75dcb98bfc08e`)
|
|
|
|
- Forgejo `master` push는 완료했다. Pages preview `https://1b115047.vignette-b1q.pages.dev` 배포도 완료했다.
|
|
- 공개 `https://vignette.chanpaca.net`은 HTTP 200이고 `/assets/index-BA_Q0J7Y.js`가 새 번들과 일치한다. 이전 세대 자산 175개를 보존했다.
|
|
- 공개 로그인 390px·1440px 원본을 직접 시각 검수해 수용했다. 각 확인에서 overflow, page error, failed request는 0건이었고 공개 health는 `db: true`, `engine: true`다.
|
|
- NAS는 **web만** `vignette-nas-web:e8b770e4` (`sha256:487e745aa08c113de4994d7d4770737539b1bc49494f5cbb802e6dc0f8c535f9`)로 교체했고 로컬 HTTP 확인은 exit 0이다. `.devlogs/deploy-20260912-nas-before.txt`와 `nas-after.txt` 첫 3줄 대조에서 API·engine·DB 컨테이너 ID와 이미지는 동일했다.
|
|
- DB dump `backups/pre-deploy-e8b770e4-20260912.dump`(11,783,464 bytes)는 `pg_restore --list`를 통과했고 `private/env.nas.before-deploy-e8b770e4`를 보존했다. 공개 health도 다시 `status: ok`, `db: true`, `engine: true`를 확인했다.
|
|
- 공개 Pages의 현재 JS/CSS asset 의존 그래프는 로컬 `dist`와 비교해 52/52 HTTP 200이며 SHA-256이 일치한다. NAS web은 `/api` 빌드의 `index-Ccefqm_F.js`·`index-B1latakI.css`를 쓰며, 이는 `nginx -t`와 로컬 HTTP exit 0으로 별도 검증했다.
|
|
- 따라서 Pages와 NAS web 전용 배포 반영은 완료했다. 다만 운영 인증 세션 만료로 내부 UI는 401이라 검증하지 못했으므로, 이 절은 전체 운영 내부 화면 GREEN이나 전체 기능 출시 완료를 의미하지 않는다. 구조화 증거: [`ux-web-deploy-2026-09-12.json`](./evidence/ux-web-deploy-2026-09-12.json).
|
|
|
|
## 5.5 재기동 복구 — 호스트 상주 cloudflared 터널 (2026-09-18 실측·복구 완료)
|
|
|
|
- **증상과 범위**: 2026-09-18 공개 `https://api-vignette.chanpaca.net/*` 전 경로가 HTTP 530(`error code 1033`)을 반환했다. 같은 시각 공개 웹 `https://vignette.chanpaca.net`은 200으로 정상이었고, NAS 내부 `http://127.0.0.1:18080/health`도 200(`status: ok, db: true, engine: true`)이었다. 즉 api·db·engine·web 컨테이너는 모두 정상이었고 장애 범위는 **터널 구간 단일**이었다. 외부에서 18080이 닫혀 있는 것은 `infra/docker-compose.nas.yml`의 api 서비스가 `127.0.0.1:18080:8000`으로 loopback 바인딩된 설계이며 이번 장애와 무관하다.
|
|
- **원인**: NAS가 2026-09-18 03:44경(KST) 재부팅됐다(`uptime` 12시간 1분, `/proc/uptime` 43301초로 확인). 재부팅 직전까지 cloudflared는 **NAS 호스트 상주 프로세스**로 정상 동작 중이었다 — `private/cloudflared-host.log` 마지막 줄이 `2026-09-17T18:09:06Z INF Initiating graceful shutdown due to signal terminated`(UTC, KST 03:09:06)로, 크래시가 아니라 재부팅에 의한 SIGTERM 정상 종료였다. 문제는 재부팅 후 이 호스트 프로세스가 자동으로 재기동되지 않았다는 데 있다: `ps -ef`에 cloudflared 없음, `netstat -an | grep :7844` 0건, `private/cloudflared-host.pid`는 stale이었다. `/usr/local/etc/rc.d/`는 빈 디렉터리고 `/etc/rc.local`도 없어 부팅 시 자동 시작 등록 자체가 없다. Docker의 컨테이너 restart 정책은 컨테이너만 보호하며, 터널은 컨테이너가 아닌 **호스트 프로세스**라 그 보호 범위 밖이다.
|
|
- **복구 절차 및 실행 결과**: NAS에서 [`scripts/nas-recover-prod.sh`](../../scripts/nas-recover-prod.sh)를 실행하거나 아래 명령을 직접 수행한다. sudo·docker 권한은 필요 없다. 2026-09-18 16:13 KST(NAS 로컬시각)에 이 명령으로 호스트 터널을 재기동해 PID 25806으로 가동했다.
|
|
```sh
|
|
cd /volume1/docker/vignette-prod
|
|
nohup ./bin/cloudflared tunnel --no-autoupdate --config private/cloudflared-host.yml run >> private/cloudflared-host.log 2>&1 </dev/null &
|
|
echo $! > private/cloudflared-host.pid
|
|
```
|
|
복구 후 공개 `https://api-vignette.chanpaca.net/health` → 200(`status: ok, db: true, engine: true`), 공개 `https://api-vignette.chanpaca.net/auth/me` → 401 `{"detail":"not authenticated"}`, 응답 헤더 `access-control-allow-origin: https://vignette.chanpaca.net`·`access-control-allow-credentials: true`를 확인했다.
|
|
- **완료 판정 기준**: 공개 `/health`가 200이며 `db: true`·`engine: true`이고, **동시에** 공개 `/auth/me`가 401 + CORS 헤더(`access-control-allow-origin`·`access-control-allow-credentials`) 정상이어야 한다. 둘 중 하나만 확인하고 복구로 판정하지 않는다.
|
|
- **함정**: `yunchan` 계정은 `/var/run/docker.sock`(root:root 660)에 접근 권한이 없어 `docker`·`docker compose` 명령이 전부 `permission denied`다. `sudo`는 비밀번호를 요구한다. 따라서 compose 기반 복구 명령은 현재 SSH 계정으로 실행할 수 없다.
|
|
- **오진 기록**: 이 절은 원래 "cloudflared가 compose의 `profiles: [public-cutover-gate]` 게이트라 `--profile` 없이 `up -d` 하면 터널이 빠져 530이 재발한다"고 진단했으나, 이는 **오진이었다.** 근거: (1) 호스트 로그가 재부팅 직전(KST 03:09:06)까지 정상 갱신되고 있어 애초에 compose 컨테이너가 아닌 호스트 프로세스가 떠 있었다. (2) 재부팅 후 관측은 호스트 프로세스 부재(`ps -ef`)와 터널 엣지(`:7844`)로 나가는 연결 0건이었지 compose 프로파일 문제의 증상이 아니었다. (3) 이 판단은 §6의 "현재 `api-vignette`는 NAS 호스트 상주 cloudflared 터널 경유다" 기술과도 모순됐다. 이력을 지우지 않고 오진이었음을 남긴다.
|
|
- **앱 증상 연결**: `apps/web/src/lib/auth.tsx`의 `restoreCurrentUser`는 `GET /auth/me`를 3회 재시도(지연 0/400/1000ms, 각 5초 abort) 후 실패하면 `restoreState="failed"`가 되고, `apps/web/src/App.tsx:113-135`의 "서버 연결 진단" 화면이 뜬다. 401만 정상 로그아웃으로 처리되며 530을 포함한 나머지 실패는 모두 이 화면으로 떨어진다.
|
|
- **미해결**: 부팅 시 cloudflared 자동 시작 등록은 아직 없다(REQ-008 계열 열린 게이트). 등록 방식은 미정이다.
|
|
|
|
## 5.6 승인 릴리스 배포 완료 (2026-10-20, SHA `aeddaa6972cafabec8113745037533893db0ac34`)
|
|
|
|
- Forgejo `master` push는 완료했고 Cloudflare Pages production `f2039a2e`를 `main` 브랜치에 배포했다. 공개 `https://vignette.chanpaca.net`에서 desktop/mobile 로그인 화면은 정상 렌더, page error·import 오류는 각각 0건, 무인증 `/auth/me`는 401이었다. 이 검증은 인증된 내부 화면 검증이 아니다.
|
|
- Pages entry `/assets/index-BAtV-qxp.js`와 stylesheet `/assets/index-CNzKarrr.css`의 공개 SHA-256은 로컬 산출물과 일치했고 이전 세대 자산 179개를 보존했다. `pages.dev` 주소는 API CORS 비허용으로 재연결 화면을 보여 로그인 정상 판정 근거에서 제외했다.
|
|
- 사전 검증은 API legacy 1263 passed·1 skipped·1 warning, engine gateway 82 passed·1 warning, harness 68 passed, API types/typecheck/build/SSOT checker 통과다. 처음 desktop/mobile focused 실행의 10개 실패는 API 미기동 환경 원인이었고, 스택 기동 뒤 desktop 9 passed·mobile 9 passed와 별도 `single-run` 15 passed를 재확인했다.
|
|
- NAS API(`sha256:309ccd2d…`)와 web(`sha256:6ca536db…`)을 교체하고 migration 25를 트랜잭션으로 적용했다. admin-only DELETE policy `app.current_role_name() = 'admin'`를 실증했다. engine·DB 컨테이너 ID/이미지/volume source와 runtime compose는 그대로 보존했다.
|
|
- DB dump 11,892,253 bytes와 TOC, uploads 93개·52,973 bytes·manifest SHA-256 `2e7f31a28d3d7f527f62092b3adfc96bf92f5cd35769a498d242b99cbeae43d2`를 보존했다. 118개 테이블의 전후 행 수가 모두 같고, 행 수가 달라지거나 줄어든 테이블은 각각 0개다. retention dry-run은 raw 90일·rollup 365일에서 `applied=false`, 삭제 0으로 끝났으며 실제 apply는 별도 소유자 승인 대상이다.
|
|
- `nginx -t`, 공개 health 3회(200, `status=ok`, `db=true`, `engine=true`), 무인증 `/auth/me` 401의 정확한 CORS origin/credentials, auth config/OpenAPI 200, Google 로그인 시작 302을 확인했다. API 단일 교체 중 curl reset/empty reply가 있었고 이후 회복했으므로 무중단 배포를 주장하지 않는다. 인증된 운영 내부 UI, Jev 품질/실제 대사, 외부·임상 gate는 열린 상태다. 구조화 증거: [`release-2026-10-20.json`](./evidence/release-2026-10-20.json).
|
|
|
|
## 6. 남은 구성 작업 (TODO)
|
|
|
|
- [ ] Forgejo master 기준 NAS 자동배포 후크(수동 절차는 §5, §5.1로 실증 완료)
|
|
- [x] Forgejo가 SSOT임을 문서에 반영, github은 private 미러 유지
|
|
- [ ] cloudflare tunnel 제거 또는 유지 결정 — 현재 `api-vignette`는 NAS 호스트 상주 cloudflared 터널 경유다. 대체 ingress의 보안·가용성·OAuth 경계가 검증되기 전에는 제거하지 않는다.
|
|
- [ ] 배포 시 NAS 접근 자격(SSH 키/배포 계정)을 `.env.deploy`/시크릿으로 관리
|