1
0
Fork 0
Everything2Everything/docs/research/2026-11-04/test-timing.md

7.3 KiB

테스트 실행시간 조사 — 2026-11-04

명령: dotnet test Everything2Everything.slnx --no-build --logger trx --results-directory docs/research/2026-11-04/test-profile --verbosity minimal

448개 중 447 통과 / 1 실패 / 0 건너뜀, exit 1. 이 실행은 최종 게이트가 아니다. no-build 시점 DLL(448개)을 대상으로 했고 이후 다른 세션 변경을 포함하지 않는다.

TRX: test-profile/encep_ALPACA-HOME_2026-11-04_13_59_37_net9.0.trx. 수치 추출은 test-profile/timing.json에 저장했다.

TRX start 13:59:37.338 / finish 14:00:44.817 (67.48초), 콘솔 테스트기간 1분6초. 프로세스가 자연 종료했으므로 강제종료나 재실행을 하지 않았다. 프로파일링과 여러 세션의 코드·연구 작업이 함께 있었고, 다른 테스트 프로세스의 동시실행 여부는 전체구간에 걸쳐 검증하지 않았으므로 시간 편차를 고려해야 한다.

가장 오래 걸린 테스트

테스트 시간 결과
HtmlEndToEndAllOutputsTests.Html_To_ImagesAndPdf_Via_Engine_Succeeds(targetExt: ".png") 46.433초 Failed
BatchInputSafetyTests.AppendNumber_WhenNumberRangeExhausted_NeverReturnsExistingFile 15.950초 Passed
HtmlEndToEndAllOutputsTests.Html_To_ImagesAndPdf_Via_Engine_Succeeds(targetExt: ".gif") 4.117초 Passed
QueueInteractionRegressionTests.PopulatedQueue_ExposesEntryAndHelpActions 3.539초 Passed
HtmlProviderTests.HtmlProvider_ConvertAsync_HtmlToPng_Succeeds 3.368초 Passed
HtmlEndToEndAllOutputsTests.Html_To_ImagesAndPdf_Via_Engine_Succeeds(targetExt: ".pdf") 3.021초 Passed
HtmlProviderTests.HtmlProvider_ConvertAsync_HtmlToPdf_Succeeds 2.740초 Passed
HtmlEndToEndAllOutputsTests.Html_To_ImagesAndPdf_Via_Engine_Succeeds(targetExt: ".avif") 2.725초 Passed
HtmlEndToEndAllOutputsTests.Html_To_ImagesAndPdf_Via_Engine_Succeeds(targetExt: ".tiff") 2.701초 Passed
HtmlEndToEndAllOutputsTests.Html_To_ImagesAndPdf_Via_Engine_Succeeds(targetExt: ".jpg") 2.650초 Passed
HtmlEndToEndAllOutputsTests.Html_To_ImagesAndPdf_Via_Engine_Succeeds(targetExt: ".webp") 2.510초 Passed
HtmlEndToEndAllOutputsTests.Html_To_ImagesAndPdf_Via_Engine_Succeeds(targetExt: ".bmp") 2.475초 Passed

클래스별 누적 시간

병렬 실행되므로 아래 합계를 wall time으로 합산하면 안 된다. TRX start/end가 일부 결과에서 동일한 보고시각으로 찍혀 세부 타임라인으로 사용하지 않았다.

클래스 개수 duration 합
HtmlEndToEndAllOutputsTests 9 66.656초
BatchInputSafetyTests 4 16.126초
UnifiedTitleBarTests 16 12.178초
DesignAuditVisualTreeTests 14 12.152초
QueueInteractionRegressionTests 8 10.017초
HtmlProviderTests 2 6.108초
SwitchboardChatClientTests 7 1.627초
DataProviderTests 3 1.311초
AdMobServiceIntegrationTests 10 0.894초
ExternalProcessRunnerTests 3 0.669초
EngineCharacterizationTests 11 0.597초
SettingsWindowAdMobTests 3 0.421초

원인과 개선할 일

  1. HTML E2E 기본 대기만으로 10초 예산 초과: HtmlEndToEndAllOutputsTests.cs:30-59의 동일 클래스 8개 형식 테스트가 각각 new ConvertOptions를 사용한다. ConvertOptions.cs:151의 기본 WaitMilliseconds=2000을 HtmlProvider.cs:258-259가 매번 기다리므로 이 클래스에만 고정대기 16초가 있다. WebView2 환경도 HtmlProvider.cs:214-218에서 매번 새 프로필로 생성된다. 정적인 테스트 HTML에는 스크립트·웹폰트 지연이 없으므로 테스트 입력에서 대기를 0으로 명시하는 방안과, 렌더 대기 계약을 검증하는 별도 테스트를 검토할 수 있다. 실제 사용자 기본 대기를 무작정 줄이는 변경은 별도 동작 변경이므로 이 조사에서 하지 않았다.
  2. HTML→PNG cancellation 실패: 유일 실패는 46.433초 TaskCanceledException, stack HtmlProvider.ConvertAsync:83 → ConversionEngine.ExecuteChainAsync:177 → E2E :53. 테스트 CTS는30초지만 측정은46초로 늦었고, 같은 실행의 PNG 직접 provider 테스트는3.368초로 통과했다. 따라서 모든 PNG 변환이 항상 실패한다고 단정할 수 없다. dispatcher/STA 수명, 여러 WPF 테스트의 Application 상태 혼재, cancellation 전파와 WebView 부하를 후속 격리 재현해야 한다. assertion을 삭제하거나 skip해서 녹색으로 만들지 않았다.
  3. 번호소진 fixture 디스크비용: 이번 실행 AppendNumber...15.950초. 앞선 관련34개 게이트 전체는3초였으므로 병렬 UI/WebView/파일 I/O 부하 또는 실행환경 편차가 크다. 실제10,000개 File.Exists 재현은 가치 있으나 fixture 생성/삭제가 비용의 대부분이다. 현 테스트는 내용쓰기를 제거한 빈파일을 사용한다. 추가 개선은 하드링크/공유 fixture보다 가독성과 격리를 유지하는 파일시스템 seam(존재여부를 주입하되 다른 실제파일 통합케이스 유지)을 별도 RED와 설계 후 검토한다. 타이밍 목표 때문에 실파일 검증을 source 문자열 검사로 대체하지 않는다.
  4. WPF 창 반복 초기화: UnifiedTitleBarTests, DesignAuditVisualTreeTests, QueueInteractionRegressionTests 누적34.347초(동시실행 포함). 같은 창의 layout·버튼·명령 상태를 반복 생성한다. 의도별 assertion을 유지하면서 완결된 사용자 시나리오 단위로 fixture/STA 실행을 통폐합하고, 외부도구 감지는 fake seam을 활용하는 방안을 검토한다. 공유 WPF Application/dispatcher의 스레드 소유권을 먼저 명시해야 하며 무작정 전역 fixture로 합치면 flaky를 키울 수 있다.
  5. 증거 유지: baseline432개는 모두 통과33초였으나 이 profile은 실패가 있다. 후속 최종 빌드+전체 테스트가 별도로 필요하다. 테스트를 삭제·skip·분류 제외하는 변경은 하지 않았다.

최종 전체 Release 재측정 (2026-11-04)

test-completeness/final-timing.json은6회 실험을 보존한다. 마지막 full-release-final.trx는 clean Release 새 빌드 후 무필터501/501 통과, 실패0·경고0·skip0이다. TRX Times start/finish12.220101초, 개별 UnitTestResult earliest start/latest end10.735059초, 빌드+실행 wall19.3925942초다. CLI는10s로 반올림했으나10초 이내 목표를 달성하지 못했다. discovery/adapter 시간을 제외한 실행 span도10초를 넘는다.

HTML 정적fixture대기0,9999존재판정합성+별도실제2파일검증, 사용자이력격리, 동일상태창 통폐합, HTML직접2건중복통합으로 기능 검증을 유지했다. 3worker 실험은501통과지만12초로 악화하여4worker로 복귀했다. 최소값만 골라 성공이라 주장하지 않는다. 아직T01은열려 있다. root의 후속프리셋수정 이후에는 별도 최종전체가 필요하다.

root 최종 프리셋 통합 후

test-final/release-final-green.trx:501/501통과,0실패/skip/빌드경고. 첫개별test start마지막end=9.5422초. TRX runner startfinish=10.4308445초(준비/발견포함). 실행구간의10초목표를실측충족했으나이전cold10.735초및기동비용을숨기지않는다. 모든조건의dotnet명령wall10초보장이아니다.