[v1][P0] 오브젝트 스토어 PITR 복원 E2E 검증 완료

[KeiaiLab-PHIL]

목표

object-store 기반 PITR 복원 drill을 v1.0.0 GA 전까지 완료한다.

작업

• object-store WAL archive 활성화 테스트 클러스터 준비
• full backup 후 marker row before/after 시점 분리
• BackupJob restore targetTime으로 PITR 수행
• before 존재, after 부재, checksum/error 정상 확인
• restore runbook에 실제 명령과 evidence 반영

완료 기준

• PITR live drill PASS
• object-store WAL segment 도착 증거 첨부
• psql 검증 결과 첨부
• make lint test validate PASS

완료 증거 (2026-06-11)

• S3 focused E2E: CERT_MANAGER_INSTALL_SKIP=true E2E_SKIP_OPERATOR_SETUP=true KIND_CLUSTER=postgres-operator-v1-e2e go test -count=1 -tags=e2e ./test/e2e -timeout 35m -v -ginkgo.v -ginkgo.focus='PITR restore from S3 object store' -> 5 Passed / 0 Failed
• WAL segment 도착: pgbackrest archive-get <after_wal> /tmp/<after_wal> + test -s 성공
• psql 검증: before row 존재, after row count 0, checksum failure DB count 0
• 로컬 게이트: make lint, make test, make validate PASS
• runbook: docs/runbooks/restore.md에 실제 S3 PITR 절차와 live evidence 반영

참고: docs/ROADMAP.md Gate G1, docs/gap-analysis/GAP-ANALYSIS.ko.md P0 #2

[KeiaiLab-PHIL]

2026-06-11 live kind p1 확인 메모

• full backup sidecar path는 BackupJob phase Succeeded까지 도달함.
• restore sidecar path는 command 파싱/옵션 문제를 지나 실제 pgBackRest 실행까지 갔지만, running primary PGDATA 대상 restore에서 실패함. 직접 재현 메시지: ERROR: [038]: unable to restore while PostgreSQL is running (postmaster.pid 존재).
• 따라서 v1 PITR 완료 조건은 현재 sidecar in-place restore가 아니라 fresh/controlled restore 경로로 닫아야 함. 필요 작업: persistent repo 또는 restore helper/job가 접근 가능한 repo 설계, Postgres 중지/복구/재기동 제어, before row 존재 + after row 부재 + checksum 검증 E2E.
• 이 과정에서 발견한 controller/plugin 회귀 포인트: sidecar target/exec transient는 terminal fail이 아니라 requeue, pgBackRest --target timestamp shell quoting, restore 전용 args에서 --pg1-user/--pg1-database 제거.

[eightynine01]

2026-06-11 진행 증거: PITR filesystem E2E PASS, object-store 기준은 미완료

이번 작업에서 PITR restore 경로의 실제 Kubernetes E2E 실패 원인을 수정하고 검증했습니다.

수정 요약:

• pgBackRest filesystem repo를 emptyDir가 아니라 data PVC 하위 /var/lib/postgresql/data/pgbackrest에 보존하도록 조정
• archive_command의 nested shell $1 전달 오류 제거, archive-push %p 직접 전달
• archive-push에서 restore/backup-only DB 접속 옵션(--pg1-user, --pg1-database) 제거
• restore runner가 stopped PVC에서 stale postmaster.pid 제거 후 --target-action=promote --delta로 복원
• PITR target time microsecond 보존 및 after marker commit/WAL switch를 별도 transaction으로 분리

검증 결과:

• 수동 Kubernetes drill: BackupJob pitr-full-bj=Succeeded, BackupJob pitr-restore-bj=Succeeded, PostgresCluster Ready=True
• 수동 psql 검증: before=before, after_count=0, checksum_failure_dbs=0
• focused E2E: CERT_MANAGER_INSTALL_SKIP=true E2E_SKIP_OPERATOR_SETUP=true ... go test -count=1 -tags=e2e ./test/e2e/ ... -ginkgo.focus='PITR restore' -> 8 Passed / 0 Failed
• p1 전체 E2E: CERT_MANAGER_INSTALL_SKIP=true KIND_CLUSTER=postgres-operator-v1-e2e make test-e2e-pg -> 30 Passed / 0 Failed
• 로컬 게이트: make test PASS, make validate PASS, make lint PASS (0 issues)

남은 항목:

• 이 이슈의 원래 완료 기준은 object-store WAL segment 도착 증거와 restore runbook 반영을 포함합니다.
• 현재 검증은 filesystem repo 기반 PITR입니다. 따라서 이슈는 아직 close하지 않습니다.

[eightynine01]

2026-06-11 완료 증거: S3 object-store PITR E2E PASS

#247의 원래 완료 기준(object-store WAL segment, PITR restore, psql 검증, local gate, restore runbook)을 이번 작업에서 모두 닫았습니다.

구현/문서 갱신:

• PostgresCluster.spec.backup.repo에 S3 object-store 운용 필드 추가: port, uriStyle, verifyTLS, credentialsSecretRef
• pgBackRest command builder가 S3 repo env를 archive/backup/restore에 동일하게 전달
• S3 access key/secret은 CR에 inline하지 않고 Secret env(PGBACKREST_REPO1_S3_KEY, PGBACKREST_REPO1_S3_KEY_SECRET)로 주입
• S3 object-store PITR focused E2E 추가: MinIO TLS endpoint + bucket + full backup + WAL archive-get + stopped PVC restore + row/checksum 검증
• docs/runbooks/restore.md를 실제 BackupJob sidecar/job 기반 PITR 절차와 2026-06-11 live evidence로 갱신

검증 결과:

• S3 focused E2E:
  • CERT_MANAGER_INSTALL_SKIP=true E2E_SKIP_OPERATOR_SETUP=true KIND_CLUSTER=postgres-operator-v1-e2e go test -count=1 -tags=e2e ./test/e2e -timeout 35m -v -ginkgo.v -ginkgo.focus='PITR restore from S3 object store'
  • Ran 5 of 74 Specs in 134.637 seconds
  • SUCCESS! -- 5 Passed | 0 Failed | 0 Pending | 69 Skipped
• S3 WAL segment 증거: running PG pod에서 pgbackrest archive-get <after_wal> /tmp/<after_wal> 성공 + test -s 성공
• 복구 검증: before row 존재, after row count 0, checksum failure DB count 0
• make lint PASS (0 issues)
• make test PASS
• make validate PASS

판단: #247은 completed로 close 가능한 상태입니다.