스트리밍 턴의 감사 기록 저장을 done 뒤로 옮긴다
감사 기록은 실패해도 응답을 막지 않는 최선노력 저장인데, 커밋이 끝날 때까지 done을 붙잡아 음성 합성 시작도 늦췄다(운영 NAS에서 커밋당 0.3~0.9초). 지연 측정 위치와 인자는 그대로 두고 done을 먼저 내보낸다. 유일한 운영 소비자는 done 뒤에도 생성기를 끝까지 읽으므로 감사 행은 같은 요청 안에서 그대로 남는다.
This commit is contained in:
parent
b6de32c1dd
commit
403a36f9a6
2 changed files with 122 additions and 15 deletions
|
|
@ -724,22 +724,10 @@ async def run_turn_stream(
|
|||
yield StreamEvent("token", {"text": guard.text})
|
||||
|
||||
latency_ms = int((time.perf_counter() - started) * 1000)
|
||||
await record_llm_audit(
|
||||
audit_hook,
|
||||
session_id=ctx.session_id,
|
||||
provider=str(stream_meta.get("provider") or engine.engine_mode),
|
||||
model=str(
|
||||
stream_meta.get("model")
|
||||
or engine.default_model
|
||||
or ENGINE_GATEWAY_DEFAULT_MODEL_SENTINEL
|
||||
),
|
||||
tokens_in=_safe_int(stream_meta.get("tokens_in")),
|
||||
tokens_out=_safe_int(stream_meta.get("tokens_out")),
|
||||
cost_usd=_safe_float(stream_meta.get("cost_usd")),
|
||||
inference_geo=_optional_str(stream_meta.get("inference_geo")),
|
||||
latency_ms=latency_ms,
|
||||
)
|
||||
|
||||
# done을 먼저 내보내 사용자 체감 지연(글 표시·음성 준비)을 줄인다.
|
||||
# 감사 기록(record_llm_audit)은 최선노력이며 예외를 삼키므로, done 뒤로
|
||||
# 미뤄도 사용자에게 보이는 결과는 바뀌지 않는다.
|
||||
yield StreamEvent(
|
||||
"done",
|
||||
{
|
||||
|
|
@ -760,6 +748,22 @@ async def run_turn_stream(
|
|||
"output_error": output_error,
|
||||
},
|
||||
)
|
||||
|
||||
await record_llm_audit(
|
||||
audit_hook,
|
||||
session_id=ctx.session_id,
|
||||
provider=str(stream_meta.get("provider") or engine.engine_mode),
|
||||
model=str(
|
||||
stream_meta.get("model")
|
||||
or engine.default_model
|
||||
or ENGINE_GATEWAY_DEFAULT_MODEL_SENTINEL
|
||||
),
|
||||
tokens_in=_safe_int(stream_meta.get("tokens_in")),
|
||||
tokens_out=_safe_int(stream_meta.get("tokens_out")),
|
||||
cost_usd=_safe_float(stream_meta.get("cost_usd")),
|
||||
inference_geo=_optional_str(stream_meta.get("inference_geo")),
|
||||
latency_ms=latency_ms,
|
||||
)
|
||||
except EngineGatewaySseDecodeError as e:
|
||||
yield StreamEvent(
|
||||
"error",
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue