0.11.0: 개발평가 지식층 확장 및 영향평가 출처 정합화

.claude-plugin/plugin.json

@@ -3,7 +3,7 @@
   "name": "deveval",
   "displayName": "DevEval Agents",
   "description": "KOICA/OECD-DAC 기준 ODA 사업평가 보조 에이전트팀 — 기준별 병렬 평정, 평가보고서 품질심사, 영향평가 방법론 검토, 근거 기반 보고서 작성. 근거 없으면 등급 없음·최종 확정은 사람.",
-  "version": "0.10.0",
+  "version": "0.11.0",
   "author": {
     "name": "Wooyoung Kim",
     "url": "https://github.com/amnotyoung"

.codex-plugin/plugin.json

@@ -1,6 +1,6 @@
 {
   "name": "deveval",
-  "version": "0.10.0",
+  "version": "0.11.0",
   "description": "KOICA/OECD-DAC 기준 ODA 사업평가, 평가보고서 품질심사, 영향평가 방법론 검토를 위한 근거 기반 워크플로.",
   "author": {
     "name": "Wooyoung Kim",

.github/workflows/checks.yml

@@ -1,7 +1,7 @@
 name: checks
 
 # 결정적 컴포넌트의 회귀를 막는다 — 수치 일관성 검사기(consistency_check.py),
-# 완료 엔진(hooks/boulder.sh), 이중 매니페스트 정체성(check-manifest-sync.sh).
+# 공용 지식층 라우팅, 완료 엔진(hooks/boulder.sh), 이중 매니페스트 정체성.
 # 픽스처는 실제 KOICA 종료평가 PDF 334건 스윕에서 관측된 사고·오탐 유형이다.
 
 on:
@@ -18,7 +18,7 @@ jobs:
     steps:
       - uses: actions/checkout@v4
 
-      - name: 수치 일관성 검사기 회귀 테스트
+      - name: Python 회귀 테스트 (수치 검사기 + 지식층)
         run: python3 -m unittest discover -s tests -v
 
       - name: 완료 엔진(Stop hook) 동작 테스트

AGENTS.md

@@ -38,13 +38,29 @@
 **공통 4점 척도:** 1=명백한 부정적 / 2=일부 영향 / 3=전반적 양호 / 4=모두 달성+기대 이상.
 **CTS(기술혁신) 사업**은 타당성을 6번째 보조기준으로 추가 → 6기준 24점, 평균(÷6)→4단계(3.5↑ 매우성공적/2.5~3.5 성공적/1.5~2.5 부분성공적/1.5 미만 미흡).
 
+## 지식층 우선순위와 라우팅
+
+공용 지식은 역할이 다른 네 층으로 운영한다. 서로 대체하지 않는다.
+
+1. **공식 규범층(채점 지배)** — 시행이 확인된 KOICA 지침·규정·품질검토. 공식 기준·척도·등급·의무는 이 층만 정한다.
+2. **전문 제안층(영향평가 1차 전문근거)** — `reference/KOICA-영향평가-가이드라인-다이제스트.md`. KIEP 2025 정책연구의 **추진 가이드라인(안)**이며 공식 시행지침이나 구속적 판정표가 아니다.
+3. **방법론층(근거진단 보조)** — `reference/개발평가-설계방법론-다이제스트.md`, `reference/개발평가-자료분석방법론-다이제스트.md`, `reference/개발평가-관리보고윤리-다이제스트.md`. 질문-설계-자료-분석-보고 연결과 근거의 강도·한계를 진단한다.
+4. **사건·증거층(사업 사실)** — 사용자가 제공한 사업문서·원자료와 출처·상태가 확인된 외부 증거. 사업에서 실제로 일어난 일은 이 층에서만 확인한다.
+
+**충돌 시 공식 규범 > 전문 제안 > 방법론 순이다.** 방법론 원전은 2009년 DAC 5대 기준 시대 자료이므로 여기서 일관성 기준, 현행 점수·등급 또는 영향평가 판정요건을 가져오지 않는다. 전문 제안이나 방법론·외부 맥락으로 사업문서의 공백을 “달성”으로 채우지도 않는다.
+
+- 사업평가: 설계방법론으로 변화이론·평가질문·비교·인과표현을, 자료분석방법론으로 측정·표본·편향·삼각측량을 점검한다.
+- 영향평가 방법론 심사: KIEP 2025 가이드라인(안)을 1차 전문근거로 쓰고 자료 지위를 명시한다. 설계·자료 모듈은 보조 설명에만 쓴다.
+- 보고서 품질·작성: 세 방법론 모듈 중 해당 절만 읽어 질문-근거와 발견-결론-제언의 추적성을 확인한다.
+
 ## 평가 워크플로 (Codex 단일 에이전트)
 
 사용자가 평가 대상을 주며 평가를 요청하면:
 
 1. **자료 확인 + 사업유형 판별** — 대상을 읽고 범위 파악. **CTS/기술혁신 사업인지** 확인.
 2. **기준별 순차·독립 평정** — 적절성 → 일관성 → 효과성 → 효율성 → 지속가능성(→ CTS면 타당성)을 **하나씩** 평가한다.
    - 각 기준: 그 기준의 핵심질문에 보고서 근거를 대조해 **1~4점(또는 "평가 불가")** + 근거 인용.
+   - 각 핵심 근거에 대해 질문 정합성, 측정 적합성, 비교·시점, 대표성, 대안설명, 원출처 추적을 점검한다. 방법론 점검은 별도 점수가 아니라 공식 루브릭 적용 전의 **근거 게이트**다.
    - **다른 기준의 점수에 끌려가지 마라.** 한 기준씩 그 근거만으로. (예: 효과성이 좋아도 지속가능성은 지속가능성 근거로만.)
    - 근거 없으면 그 기준은 **"평가 불가"**(지어내기 금지).
    - **영향력(Impact)이 관련되면** 위 5기준과 별도로 **사후평가 관점의 영향력 초안**(장기·전환적 효과, 근거 기반, 인과 단정 금지)을 산출하되 **20점 종합에는 합산하지 않는다**(별도 보고). 인과효과 방법론 심사가 필요하면 아래 영향평가 검토로.
@@ -63,8 +79,9 @@
 ## 영향평가 검토 (종료평가와 다른 유형)
 
 영향평가(Impact Evaluation) 보고서를 검토해 달라고 하면 — 종료평가(6기준 A~F)와 **다른 유형**(인과효과 측정, 등급 없음):
-- **6기준을 들이대지 마라.** 인과식별·반사실 설계·방법론 타당성을 **5축**(과학성·실용성·투명성·윤리성·포용성)/**10질문**으로 심사 → **적합/조건부 보완/부적합**(등급 아님) + 기술검토 권고.
-- 영향평가는 대조군 가능 사업만 적합(인프라·거버넌스·종료사업 부적합). 기준: `reference/KOICA-영향평가-가이드라인-다이제스트.md`.
+- **6기준을 들이대지 마라.** 원문의 **6개 추진원칙(안)**(과학성·실용성·투명성·지속가능성·윤리성·포용성)과 **DevEval 10개 운용질문**으로 인과식별·반사실·방법론 타당성을 심사한다.
+- 기획단계는 유용성·실시가능성·타당성의 **3요소·7항목 평가성**을 별도로 본다. 인프라·거버넌스·진행/종료사업을 자동 배제하지 말고 질문·자료·비교설계를 개별 확인한다.
+- **적합/조건부 보완/부적합**은 공식 등급이 아닌 프로젝트 운용 표지다. KIEP 2025 자료도 공식 시행지침이 아니라 가이드라인(안) 정책연구임을 결과에 명시한다.
 
 ## 평가보고서 품질심사 (메타 평가)
 
@@ -78,7 +95,10 @@
 - `reference/KOICA-평가지침-2024-다이제스트.md` — 기준·4점척도·A~F (주 자산)
 - `reference/KOICA-사업평가규정-다이제스트.md` — 규정 제536호 근거(제6조 기준·제7조 유형·제27-28조 품질검토·제19조 독립성)
 - `reference/KOICA-품질검토-체크리스트.md` — 품질심사 v2 룰브릭
-- `reference/KOICA-영향평가-가이드라인-다이제스트.md` — 영향평가(KIEP 2025)
+- `reference/KOICA-영향평가-가이드라인-다이제스트.md` — 영향평가 전문 제안층(KIEP 2025 가이드라인(안) 연구)
+- `reference/개발평가-설계방법론-다이제스트.md` — 전단분석·변화이론·질문·설계 매트릭스·타당도(보조)
+- `reference/개발평가-자료분석방법론-다이제스트.md` — 측정·도구·표본·편향·혼합방법·삼각측량(보조)
+- `reference/개발평가-관리보고윤리-다이제스트.md` — TOR·품질관리·보고·제언·독립성·윤리(보조)
 - `templates/`, `samples/` — 보고서 템플릿·샘플
 
 > 학습·실험용. **규정적 근거**: 사업평가 규정 제536호(2025.2). 사실·결론과 가치판단·제언을 명확히 구분하고, 평가 독립성을 침해하지 않는다(제5조 투명성·제19조 독립성).

CHANGELOG.md

@@ -10,6 +10,38 @@ each slice below is recorded as a 0.x milestone.
 
 ## [Unreleased]
 
+## [0.11.0] — 2026-08-05 — Layered evaluation knowledge & source-status hardening
+
+### Added
+- **Layered development-evaluation methodology knowledge** — three own-word,
+  bilingual digests derived from *The Road to Results* cover evaluation design
+  (front-end analysis, ToC, questions, matrix, validity), data and analysis
+  (measurement, sampling, bias, mixed methods, triangulation), and management /
+  reporting / ethics (TOR, QA, recommendations, independence). The source PDF
+  remains excluded from distribution.
+- **Progressive methods routing across all four skills** — official KOICA sources
+  remain the normative layer; the KIEP 2025 Impact Evaluation proposal is labeled
+  separately as specialist evidence, and methods modules are passed only where
+  they help diagnose evidence, design, reporting, or ethics. The Codex direct-run
+  fallback and open-weight runner use the same precedence rule.
+- **Evaluation design-matrix template** — links question type, judgment criteria,
+  baseline/target, source, sample, collection, analysis, triangulation, limits,
+  and a claim-evidence register. Complex evaluations can maintain it under the
+  user's `.omo/` workspace and pass it through evaluation and report composition.
+
+### Changed
+- The open-weight runner now injects the design and data-analysis modules after
+  the current KOICA guidance and regulation, with a hard prompt boundary that
+  older methodology cannot create criteria, scores, grades, or missing case
+  evidence.
+- **Impact-review source integrity** — corrected the KIEP 2025 policy study's
+  status from normative guidance to a proposed guideline; restored its six
+  operating principles (including Sustainability), its three-element/seven-item
+  evaluability screen, and source page references. The ten review questions and
+  three-way result are now explicitly DevEval operational constructs. Sector or
+  completion stage no longer causes automatic rejection when credible pre-data
+  and comparison design remain possible.
+
 ## [0.10.0] — 2026-08-02 — Codex support, evidence gateway & verified hardening
 
 ### Added

CLAUDE.md

@@ -15,15 +15,15 @@ skills/                          평가 워크플로 4종 ← 사용자의 실
 agents/                          전담 평가관·검증자 12명
 hooks/hooks.json + boulder.sh    완료 엔진 (Stop hook)
 bin/                             Claude가 PATH에 올리는 실행파일(Codex는 절대경로 폴백)
-reference/                       KOICA 기준 다이제스트 5종 (공용 지식)
+reference/                       KOICA 공식 규범 + 영향평가 전문 제안 + 방법론 3종 (공용 지식)
 templates/ · samples/ · scripts/ 템플릿·샘플·러너
 ```
 
 | 스킬 | 하는 일 |
 |------|---------|
 | `deveval:evaluate` | 사업평가 — 5~6기준 병렬 평정 → 종합점수·등급(안) |
 | `deveval:quality-review` | 평가보고서 품질심사 — 24문항/100점/A~D |
-| `deveval:impact-review` | 영향평가 방법론 검토 — 5축/10질문 |
+| `deveval:impact-review` | 영향평가 방법론 검토 — 6개 추진원칙 + DevEval 10질문 |
 | `deveval:write-report` | 보고서 작성 — 작성→수치검사→서술검증→사람 |
 
 Claude Code는 `/deveval:<skill>`, Codex는 `$deveval:<skill>` 문법으로 호출한다.
@@ -74,12 +74,27 @@ bash scripts/check-mirror-sync.sh --audit    # 감사 모드 — 저장소 전
 
 이 원칙을 바꾸면 `skills/` 4개 전부와 관련 에이전트를 함께 고쳐야 한다.
 
-## 규정적 근거
+## 공용 지식의 우선순위
+
+`reference/`는 세 역할로 나뉜다. **공식 규범층이 항상 우선**하고 전문 제안층과 방법론층은 각자의 경계 안에서만 쓴다.
+
+### 공식 규범층
 
 - `reference/KOICA-평가지침-2024-다이제스트.md` — 기준·4점척도·A~F (주 자산). `KOICA-평가지침-다이제스트.md`는 2017 구버전(비교용)
 - `reference/KOICA-사업평가규정-다이제스트.md` — 규정 제536호(2025.2): 제6조 기준·제7조 유형·제27~28조 품질검토·제5조 원칙·제19조 독립성·제6장 윤리
 - `reference/KOICA-품질검토-체크리스트.md` — 품질심사 v2 룰브릭
-- `reference/KOICA-영향평가-가이드라인-다이제스트.md` — 영향평가(KIEP 2025)
+
+### 전문 제안층
+
+- `reference/KOICA-영향평가-가이드라인-다이제스트.md` — KIEP 2025 정책연구의 **영향평가 추진 가이드라인(안)**. 영향평가의 1차 전문근거지만 공식 시행지침·구속적 판정표가 아니다.
+
+### 방법론층
+
+- `reference/개발평가-설계방법론-다이제스트.md` — 변화이론·평가질문·설계 매트릭스·타당도
+- `reference/개발평가-자료분석방법론-다이제스트.md` — 측정·도구·표본·편향·분석·삼각측량
+- `reference/개발평가-관리보고윤리-다이제스트.md` — TOR·품질관리·보고·제언·독립성·윤리
+
+방법론 원전은 2009년 자료라 현행 일관성 기준과 점수·등급을 포함하지 않는다. 충돌 시 **공식 규범 > 전문 제안 > 방법론** 순이며, 스킬은 과업에 필요한 파일만 절대경로로 위임한다.
 
 사실·결론과 가치판단·제언을 명확히 구분하고(제5조 투명성), 평가 독립성(제19조: 일방적 수정·삭제 요구 금지)을 침해하지 않는다.
 

LICENSE-CONTENT

@@ -46,14 +46,14 @@ ATTRIBUTION FORMAT (suggested)
 NOTE ON THIRD-PARTY SOURCES
 ---------------------------
 
-The `reference/` digests describe the evaluation methodology, criteria, and
-grading scales of KOICA (Korea International Cooperation Agency) and related
-Korean public bodies. They are the project authors' own original descriptions
-and summaries of publicly documented evaluation practice, written for
-interoperability, with the underlying official documents cited by name and
-article. Facts, ideas, criteria, and scales are not themselves copyrightable;
-only original expression is, and the expression here is the project's own.
-Original KOICA/KIEP source documents (PDF/HWP) are NOT redistributed in this
-repository (see `.gitignore`). Where any third-party wording is quoted, it is
-short, attributed, and used for identification/reference. See `MAINTAINERS.md`
-for the ownership statement.
+The `reference/` digests describe (a) evaluation criteria and grading scales of
+KOICA (Korea International Cooperation Agency) and related Korean public bodies,
+and (b) supporting development-evaluation methods synthesized from cited
+published sources, including *The Road to Results* (World Bank, 2009). They are
+the project authors' own original descriptions, summaries, and operational
+restructuring, written for interoperability. Facts, ideas, methods, criteria,
+and scales are not themselves copyrightable; only original expression is, and
+the expression here is the project's own. Original KOICA/KIEP/World Bank source
+documents (PDF/HWP) are NOT redistributed in this repository (see `.gitignore`).
+Where any third-party wording is quoted, it is short, attributed, and used for
+identification/reference. See `MAINTAINERS.md` for the ownership statement.

MAINTAINERS.md

@@ -51,6 +51,13 @@ represent official KOICA positions.
   Original PDF/HWP documents are **not** redistributed (see `.gitignore`).
   Facts, criteria, and scales are not copyrightable; the expression here is the
   project's own. See the note in [`LICENSE-CONTENT`](LICENSE-CONTENT).
+- **World Bank / IPDET evaluation methodology** — The three development-
+  evaluation methods digests under `reference/` are the project's own
+  paraphrased and restructured synthesis of Linda G. Morra Imas and Ray C.
+  Rist's *The Road to Results* (World Bank, 2009; KOICA Korean translation,
+  2016). They are supporting methodology, not current scoring rules. The source
+  PDF is not redistributed. Official KOICA norms prevail; the KIEP 2025 Impact
+  Evaluation study is labeled separately as a proposed-guideline specialist source.
 
 ## Contact & governance / 연락 및 거버넌스