Skip to content

test: возвращать JUnit/Allure/log как стабильные artifacts #26

Description

@zeegin

Контекст

Quality gate должен отделять infrastructure failure от штатно найденных test failures. Источником истины для YaXUnit и Vanessa являются native JUnit и Allure results, а не только process exit code.

Сейчас output paths и фактические отчёты зависят от test-engine parameters/config, но CLI/JSON result не предоставляет стабильного общего artifact contract, на который может опираться внешний orchestrator. Особенно нужен одновременный JUnit + Allure для одного запуска и сохранение отчётов при красных тестах.

Предложение

Для test yaxunit и test va стандартизовать result artifacts:

  • один или несколько JUnit XML;
  • каталог Allure results;
  • platform/engine log;
  • optional error details/screenshots;
  • явный test summary (tests/failures/errors/skipped).

Пути должны либо задаваться typed options/config, либо выделяться runner в изолированном workPath и всегда возвращаться в JSON envelope.

Критерии готовности

  • JUnit и Allure можно включить одновременно;
  • successful и failed test runs возвращают существующие artifact paths;
  • missing/invalid native report классифицируется как infrastructure error;
  • test failures не теряются из-за ненулевого native process exit code;
  • повторные/параллельные запуски не пишут в общий каталог;
  • JSON result содержит artifact kind, path и summary;
  • контракты одинаковы по смыслу для YaXUnit и Vanessa.

Наблюдение сделано на v8-runner 0.5.1.

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions