16e791e044
8월 7일까지 워킹트리에만 남아 있던 미커밋 작업을 커밋한다. 여러 사본 폴더(worktree·clone)에 흩어져 있던 중간 스냅샷을 정리하기 전에 원본을 git 이력으로 고정하는 것이 목적이다. - contracts/routes/services: measurement, outcome_trajectory, rupture_repair, deliberate_practice, calibration_transfer, supervision_research, multimodal_alliance, continuous_improvement 계열 신규 모듈과 테스트 - infra/db/init: 07~16 마이그레이션(측정 기반~calibration transfer 실행) - apps/web: 세션 리뷰 카드·관리 화면·E2E 스펙 추가 - docs/ops: G0~G8 라이브 통합·배포·롤백 증거 문서와 evidence JSON/PNG - scripts: smoke·ledger·릴리스 에이전트·NAS 프리뷰 운영 스크립트 engine.public 로그 .bak과 apps/web/test-results 산출물은 커밋에서 제외했다.
83 lines
3.2 KiB
Python
83 lines
3.2 KiB
Python
from __future__ import annotations
|
|
|
|
import unittest
|
|
|
|
from .services.usage_report import REPORT_SCHEMA, build_model_cost_report
|
|
|
|
|
|
class UsageReportTest(unittest.TestCase):
|
|
def test_model_cost_report_derives_cost_efficiency_and_warnings(self) -> None:
|
|
report = build_model_cost_report(
|
|
{
|
|
"source": "database",
|
|
"durable": True,
|
|
"window_days": 7,
|
|
"total_turns": 5,
|
|
"metered_turns": 4,
|
|
"token_metered_turns": 3,
|
|
"token_unmetered_turns": 1,
|
|
"tokens_in": 300,
|
|
"tokens_out": 100,
|
|
"cost_usd": 0.4,
|
|
"budget": {
|
|
"status": "warn",
|
|
"limit_usd": 0.5,
|
|
"used_ratio": 0.8,
|
|
"remaining_usd": 0.1,
|
|
},
|
|
"evaluator_cache": {
|
|
"enabled": True,
|
|
"requests": 10,
|
|
"hits": 2,
|
|
"misses": 8,
|
|
"hit_rate": 0.2,
|
|
},
|
|
"by_provider": [
|
|
{
|
|
"provider": "cheap",
|
|
"model": "mini",
|
|
"turns": 3,
|
|
"token_metered_turns": 2,
|
|
"token_unmetered_turns": 1,
|
|
"tokens_in": 100,
|
|
"tokens_out": 50,
|
|
"cost_usd": 0.04,
|
|
},
|
|
{
|
|
"provider": "claude_cli",
|
|
"model": "opus",
|
|
"turns": 1,
|
|
"token_metered_turns": 1,
|
|
"token_unmetered_turns": 0,
|
|
"tokens_in": 200,
|
|
"tokens_out": 50,
|
|
"cost_usd": 0.36,
|
|
},
|
|
],
|
|
}
|
|
)
|
|
|
|
self.assertEqual(report["schema"], REPORT_SCHEMA)
|
|
self.assertEqual(report["summary"]["metered_coverage"], 0.8)
|
|
self.assertEqual(report["summary"]["token_metered_coverage"], 0.75)
|
|
self.assertEqual(report["summary"]["cost_per_1k_tokens_usd"], 1.0)
|
|
self.assertEqual(report["models"][0]["provider"], "claude_cli")
|
|
self.assertEqual(report["models"][0]["cost_share"], 0.9)
|
|
self.assertEqual(report["models"][0]["cost_per_1k_tokens_usd"], 1.44)
|
|
self.assertEqual(report["models"][1]["cost_per_turn_usd"], 0.013333)
|
|
self.assertIn("partial_metering", report["warnings"])
|
|
self.assertIn("partial_token_metering", report["warnings"])
|
|
self.assertIn("budget_warn", report["warnings"])
|
|
self.assertIn("low_evaluator_cache_hit_rate", report["warnings"])
|
|
self.assertIn("dominant_model_cost", report["warnings"])
|
|
|
|
def test_model_cost_report_handles_empty_usage(self) -> None:
|
|
report = build_model_cost_report({"budget": {}, "evaluator_cache": {}})
|
|
|
|
self.assertEqual(report["models"], [])
|
|
self.assertIsNone(report["top_cost_model"])
|
|
self.assertEqual(report["summary"]["metered_coverage"], 0.0)
|
|
|
|
|
|
if __name__ == "__main__":
|
|
unittest.main()
|