fix(integration): Claude·Nemotron 외부 테스트 리포트 반영 — 도구 간 정합성 결함 패치 - #7
Merged
Conversation
[Claude E2E 리포트 — 실버그]
1. init이 심는 schema.json에 고정 9-type enum → ac.mjs issue(type:issue)가
자체 validate에서 즉시 실패 (쓰기/검증 도구 철학 불일치)
- 수정: index --init이 typesFluid(기본 true)를 존중해 pattern 기반 type 생성,
typesFluid===false일 때만 enum 강제
- init 기본 config에 typesFluid:true 추가
2. typesFluid가 어느 코드에서도 읽히지 않는 장식 설정이었음
- 이제 index --init(schema 생성)과 validate(방어링) 양쪽에서 실제 소비
- validator는 typesFluid=true면 stale enum도 통과시켜 구버전 scaffold 호환
3. 권고 반영: tools/e2e-workflow.mjs 신설 — init→write→validate→search→handoff
종단간 테스트를 임시 프로젝트에서 실수행, 6 step 전부 통과.
CI에 스텝 추가로 '개별 도구는 되지만 조합에서 깨짐' 재발 방지.
[Nemotron stress 리포트]
4. 동의어 확장: benchmark searchLite도 config synonyms 사용 (recall 개선, 0 LLM)
5. cache-miss 확장 루프: 시작 레벨 miss 시 큰 레벨로 최대 2회 확장을
benchmark searchLite에 실제 구현 (문서 예고분)
6. 'saving 100.0%' 착시: >=99.95%는 '99.9%+' 표기, miss는 'n/a (miss)'
- agent-search-lite에도 동일 적용 + hit 필드 누락 버그 수정
(e2e가 이 버그까지 잡아냄 — 테스트의 가치 실증)
7. --queries 플래그: 사이클링 동작 명시
검증: e2e-workflow 6/6 pass, 시드 42 재현성 diff 일치,
validate ok, node --check 전체 통과
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
[Claude E2E 리포트 — 실버그]
init이 심는 schema.json에 고정 9-type enum → ac.mjs issue(type:issue)가 자체 validate에서 즉시 실패 (쓰기/검증 도구 철학 불일치)
typesFluid가 어느 코드에서도 읽히지 않는 장식 설정이었음
권고 반영: tools/e2e-workflow.mjs 신설 — init→write→validate→search→handoff 종단간 테스트를 임시 프로젝트에서 실수행, 6 step 전부 통과. CI에 스텝 추가로 '개별 도구는 되지만 조합에서 깨짐' 재발 방지.
[Nemotron stress 리포트]
4. 동의어 확장: benchmark searchLite도 config synonyms 사용 (recall 개선, 0 LLM)
5. cache-miss 확장 루프: 시작 레벨 miss 시 큰 레벨로 최대 2회 확장을 benchmark searchLite에 실제 구현 (문서 예고분)
6. 'saving 100.0%' 착시: >=99.95%는 '99.9%+' 표기, miss는 'n/a (miss)'
검증: e2e-workflow 6/6 pass, 시드 42 재현성 diff 일치,
validate ok, node --check 전체 통과