스트리밍 턴의 감사 기록 저장을 done 뒤로 옮긴다
감사 기록은 실패해도 응답을 막지 않는 최선노력 저장인데, 커밋이 끝날 때까지 done을 붙잡아 음성 합성 시작도 늦췄다(운영 NAS에서 커밋당 0.3~0.9초). 지연 측정 위치와 인자는 그대로 두고 done을 먼저 내보낸다. 유일한 운영 소비자는 done 뒤에도 생성기를 끝까지 읽으므로 감사 행은 같은 요청 안에서 그대로 남는다.
This commit is contained in:
parent
b6de32c1dd
commit
403a36f9a6
2 changed files with 122 additions and 15 deletions
|
|
@ -724,22 +724,10 @@ async def run_turn_stream(
|
||||||
yield StreamEvent("token", {"text": guard.text})
|
yield StreamEvent("token", {"text": guard.text})
|
||||||
|
|
||||||
latency_ms = int((time.perf_counter() - started) * 1000)
|
latency_ms = int((time.perf_counter() - started) * 1000)
|
||||||
await record_llm_audit(
|
|
||||||
audit_hook,
|
|
||||||
session_id=ctx.session_id,
|
|
||||||
provider=str(stream_meta.get("provider") or engine.engine_mode),
|
|
||||||
model=str(
|
|
||||||
stream_meta.get("model")
|
|
||||||
or engine.default_model
|
|
||||||
or ENGINE_GATEWAY_DEFAULT_MODEL_SENTINEL
|
|
||||||
),
|
|
||||||
tokens_in=_safe_int(stream_meta.get("tokens_in")),
|
|
||||||
tokens_out=_safe_int(stream_meta.get("tokens_out")),
|
|
||||||
cost_usd=_safe_float(stream_meta.get("cost_usd")),
|
|
||||||
inference_geo=_optional_str(stream_meta.get("inference_geo")),
|
|
||||||
latency_ms=latency_ms,
|
|
||||||
)
|
|
||||||
|
|
||||||
|
# done을 먼저 내보내 사용자 체감 지연(글 표시·음성 준비)을 줄인다.
|
||||||
|
# 감사 기록(record_llm_audit)은 최선노력이며 예외를 삼키므로, done 뒤로
|
||||||
|
# 미뤄도 사용자에게 보이는 결과는 바뀌지 않는다.
|
||||||
yield StreamEvent(
|
yield StreamEvent(
|
||||||
"done",
|
"done",
|
||||||
{
|
{
|
||||||
|
|
@ -760,6 +748,22 @@ async def run_turn_stream(
|
||||||
"output_error": output_error,
|
"output_error": output_error,
|
||||||
},
|
},
|
||||||
)
|
)
|
||||||
|
|
||||||
|
await record_llm_audit(
|
||||||
|
audit_hook,
|
||||||
|
session_id=ctx.session_id,
|
||||||
|
provider=str(stream_meta.get("provider") or engine.engine_mode),
|
||||||
|
model=str(
|
||||||
|
stream_meta.get("model")
|
||||||
|
or engine.default_model
|
||||||
|
or ENGINE_GATEWAY_DEFAULT_MODEL_SENTINEL
|
||||||
|
),
|
||||||
|
tokens_in=_safe_int(stream_meta.get("tokens_in")),
|
||||||
|
tokens_out=_safe_int(stream_meta.get("tokens_out")),
|
||||||
|
cost_usd=_safe_float(stream_meta.get("cost_usd")),
|
||||||
|
inference_geo=_optional_str(stream_meta.get("inference_geo")),
|
||||||
|
latency_ms=latency_ms,
|
||||||
|
)
|
||||||
except EngineGatewaySseDecodeError as e:
|
except EngineGatewaySseDecodeError as e:
|
||||||
yield StreamEvent(
|
yield StreamEvent(
|
||||||
"error",
|
"error",
|
||||||
|
|
|
||||||
|
|
@ -609,5 +609,108 @@ class OrchestratorMaskingGateTest(unittest.IsolatedAsyncioTestCase):
|
||||||
self.assertEqual(events[-1].data["output_error"], "client_reply_quality_retryable")
|
self.assertEqual(events[-1].data["output_error"], "client_reply_quality_retryable")
|
||||||
|
|
||||||
|
|
||||||
|
class StreamAuditAfterDoneTest(unittest.IsolatedAsyncioTestCase):
|
||||||
|
"""USER-LATENCY: done 이벤트가 감사 저장보다 먼저 사용자에게 전달돼야 한다."""
|
||||||
|
|
||||||
|
def setUp(self) -> None:
|
||||||
|
self.client_affect_provider_patch = patch.object(
|
||||||
|
orchestrator.settings,
|
||||||
|
"client_affect_provider",
|
||||||
|
"legacy",
|
||||||
|
)
|
||||||
|
self.client_affect_provider_patch.start()
|
||||||
|
self.addCleanup(self.client_affect_provider_patch.stop)
|
||||||
|
self.presidio_patch = patch.object(
|
||||||
|
guardrail,
|
||||||
|
"_try_load_presidio",
|
||||||
|
return_value=(None, None),
|
||||||
|
)
|
||||||
|
self.presidio_patch.start()
|
||||||
|
guardrail.set_ko_pii_recognizer(None)
|
||||||
|
self.addCleanup(self.presidio_patch.stop)
|
||||||
|
self.addCleanup(guardrail.set_ko_pii_recognizer, None)
|
||||||
|
|
||||||
|
async def test_done_event_is_observed_before_audit_hook_is_called(self) -> None:
|
||||||
|
ctx = _prepare_context()
|
||||||
|
engine = CaptureStreamEngine()
|
||||||
|
audit_payloads: list[dict[str, Any]] = []
|
||||||
|
|
||||||
|
async def audit_hook(payload: dict[str, Any]) -> None:
|
||||||
|
audit_payloads.append(payload)
|
||||||
|
|
||||||
|
done_seen_hook_call_count: int | None = None
|
||||||
|
done_event: Any = None
|
||||||
|
async for event in orchestrator.run_turn_stream(
|
||||||
|
ctx,
|
||||||
|
engine, # type: ignore[arg-type]
|
||||||
|
audit_hook=audit_hook,
|
||||||
|
):
|
||||||
|
if event.event == "done":
|
||||||
|
# 소비자가 done을 받는 바로 이 시점에 감사 hook은 아직 호출되지
|
||||||
|
# 않아야 한다(지연의 핵심: done이 사용자에게 먼저 전달된다).
|
||||||
|
done_seen_hook_call_count = len(audit_payloads)
|
||||||
|
done_event = event
|
||||||
|
|
||||||
|
self.assertIsNotNone(done_event)
|
||||||
|
self.assertEqual(done_seen_hook_call_count, 0)
|
||||||
|
self.assertEqual(len(audit_payloads), 1)
|
||||||
|
|
||||||
|
async def test_audit_hook_called_once_with_same_payload_as_before(self) -> None:
|
||||||
|
ctx = _prepare_context()
|
||||||
|
engine = CaptureStreamEngine()
|
||||||
|
audit_payloads: list[dict[str, Any]] = []
|
||||||
|
|
||||||
|
async def audit_hook(payload: dict[str, Any]) -> None:
|
||||||
|
audit_payloads.append(payload)
|
||||||
|
|
||||||
|
events = [
|
||||||
|
event
|
||||||
|
async for event in orchestrator.run_turn_stream(
|
||||||
|
ctx,
|
||||||
|
engine, # type: ignore[arg-type]
|
||||||
|
audit_hook=audit_hook,
|
||||||
|
)
|
||||||
|
]
|
||||||
|
|
||||||
|
done_event = events[-1]
|
||||||
|
self.assertEqual(done_event.event, "done")
|
||||||
|
self.assertEqual(len(audit_payloads), 1)
|
||||||
|
payload = audit_payloads[0]
|
||||||
|
self.assertEqual(payload["session_id"], ctx.session_id)
|
||||||
|
self.assertEqual(payload["provider"], "fake-provider")
|
||||||
|
self.assertEqual(payload["model"], "fake-model")
|
||||||
|
self.assertEqual(payload["tokens_in"], 5)
|
||||||
|
self.assertEqual(payload["tokens_out"], 6)
|
||||||
|
self.assertEqual(payload["cost_usd"], 0.0)
|
||||||
|
self.assertIsInstance(payload["latency_ms"], int)
|
||||||
|
self.assertGreaterEqual(payload["latency_ms"], 0)
|
||||||
|
self.assertEqual(payload["provider"], done_event.data["llm_provider"])
|
||||||
|
self.assertEqual(payload["model"], done_event.data["model"])
|
||||||
|
self.assertEqual(payload["tokens_in"], done_event.data["tokens_in"])
|
||||||
|
self.assertEqual(payload["tokens_out"], done_event.data["tokens_out"])
|
||||||
|
self.assertEqual(payload["cost_usd"], done_event.data["cost_usd"])
|
||||||
|
|
||||||
|
async def test_audit_hook_exception_does_not_break_the_stream(self) -> None:
|
||||||
|
ctx = _prepare_context()
|
||||||
|
engine = CaptureStreamEngine()
|
||||||
|
hook_calls: list[dict[str, Any]] = []
|
||||||
|
|
||||||
|
async def failing_audit_hook(payload: dict[str, Any]) -> None:
|
||||||
|
hook_calls.append(payload)
|
||||||
|
raise RuntimeError("audit sink unavailable")
|
||||||
|
|
||||||
|
events = [
|
||||||
|
event
|
||||||
|
async for event in orchestrator.run_turn_stream(
|
||||||
|
ctx,
|
||||||
|
engine, # type: ignore[arg-type]
|
||||||
|
audit_hook=failing_audit_hook,
|
||||||
|
)
|
||||||
|
]
|
||||||
|
|
||||||
|
self.assertEqual([event.event for event in events], ["token", "done"])
|
||||||
|
self.assertEqual(len(hook_calls), 1)
|
||||||
|
|
||||||
|
|
||||||
if __name__ == "__main__":
|
if __name__ == "__main__":
|
||||||
unittest.main()
|
unittest.main()
|
||||||
|
|
|
||||||
Loading…
Add table
Add a link
Reference in a new issue