Контекст
Quality gate должен отделять infrastructure failure от штатно найденных test failures. Источником истины для YaXUnit и Vanessa являются native JUnit и Allure results, а не только process exit code.
Сейчас output paths и фактические отчёты зависят от test-engine parameters/config, но CLI/JSON result не предоставляет стабильного общего artifact contract, на который может опираться внешний orchestrator. Особенно нужен одновременный JUnit + Allure для одного запуска и сохранение отчётов при красных тестах.
Предложение
Для test yaxunit и test va стандартизовать result artifacts:
- один или несколько JUnit XML;
- каталог Allure results;
- platform/engine log;
- optional error details/screenshots;
- явный test summary (tests/failures/errors/skipped).
Пути должны либо задаваться typed options/config, либо выделяться runner в изолированном workPath и всегда возвращаться в JSON envelope.
Критерии готовности
- JUnit и Allure можно включить одновременно;
- successful и failed test runs возвращают существующие artifact paths;
- missing/invalid native report классифицируется как infrastructure error;
- test failures не теряются из-за ненулевого native process exit code;
- повторные/параллельные запуски не пишут в общий каталог;
- JSON result содержит artifact kind, path и summary;
- контракты одинаковы по смыслу для YaXUnit и Vanessa.
Наблюдение сделано на v8-runner 0.5.1.
Контекст
Quality gate должен отделять infrastructure failure от штатно найденных test failures. Источником истины для YaXUnit и Vanessa являются native JUnit и Allure results, а не только process exit code.
Сейчас output paths и фактические отчёты зависят от test-engine parameters/config, но CLI/JSON result не предоставляет стабильного общего artifact contract, на который может опираться внешний orchestrator. Особенно нужен одновременный JUnit + Allure для одного запуска и сохранение отчётов при красных тестах.
Предложение
Для
test yaxunitиtest vaстандартизовать result artifacts:Пути должны либо задаваться typed options/config, либо выделяться runner в изолированном workPath и всегда возвращаться в JSON envelope.
Критерии готовности
Наблюдение сделано на v8-runner 0.5.1.