yunchan/vignette
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions

위기 신호 기술 검증을 보강

Browse source
This commit is contained in:
Yun Chan 2026-08-28 19:55:04 +09:00
parent 6988280b30
commit 35a9d8802c
5 changed files with 1164 additions and 14 deletions
Download patch file Download diff file Expand all files Collapse all files

220
apps/api/app/test_client_reply_quality.py
View file

@ -2,6 +2,7 @@
from __future__ import annotations
import asyncio
import importlib.util
import json
import unittest
@ -20,6 +21,16 @@ def _load_clinical_review_checker():
return module
def _load_clinical_observation_runner():
runner_path = repo_path("scripts", "run-clinical-crisis-technical-observations.py")
spec = importlib.util.spec_from_file_location("clinical_crisis_observation_runner", runner_path)
if spec is None or spec.loader is None:
raise RuntimeError(f"임상 기술 관찰 runner를 불러올 수 없다: {runner_path}")
module = importlib.util.module_from_spec(spec)
spec.loader.exec_module(module)
return module
class ClientReplyQualityGateTest(unittest.TestCase):
def test_crisis_protocol_manifest_obeys_status_specific_external_review_contract(self) -> None:
manifest = json.loads(
@ -140,6 +151,215 @@ class ClientReplyQualityGateTest(unittest.TestCase):
self.assertTrue(means_detail.needs_regeneration)
self.assertTrue(over_cap.blocked)
def test_exact_review_case_signals_drive_runtime_safety_gates(self) -> None:
case_set = json.loads(
repo_path("data", "clinical", "p1-crisis-review-cases.json").read_text(
encoding="utf-8",
),
)
cases = {case["case_id"]: case for case in case_set["cases"]}
for case_id in (
"P1-CRISIS-001",
"P1-CRISIS-002",
"P1-CRISIS-005",
"P1-CRISIS-006",
):
with self.subTest(case_id=case_id):
signal = cases[case_id]["synthetic_scenario"]["signal"]
self.assertTrue(guardrail.crisis_signal_matches(signal))
sanitized = guardrail.sanitize_client_reply(
signal,
ideation_stage=3,
turn_seq=4,
)
self.assertFalse(sanitized.needs_regeneration)
counselor_signal = cases["P1-CRISIS-003"]["synthetic_scenario"]["signal"]
counselor_result = guardrail.classify_crisis(
counselor_signal,
speaker_is_persona_context=True,
)
self.assertEqual(counselor_result.kind, guardrail.CrisisKind.PERSONA_PLAY)
self.assertFalse(counselor_result.escalate)
learner_signal = cases["P1-CRISIS-004"]["synthetic_scenario"]["signal"]
learner_result = guardrail.classify_crisis(
learner_signal,
speaker_is_persona_context=True,
)
self.assertEqual(learner_result.kind, guardrail.CrisisKind.LEARNER_REAL)
self.assertGreaterEqual(learner_result.risk_level, 4)
self.assertTrue(learner_result.escalate)
self.assertIn("first_person_current_danger_help", learner_result.matched)
counselor_questions = (
"지금 위험할 것 같거나 실제로 도움이 필요하신가요?",
"지금 제 질문에 답하기 어렵다면 넘어가도 돼요. 자살 생각이 있나요?",
"지금 제 앞에서 안전을 스스로 지키기 어렵다고 느끼시나요?",
"자살 생각이 들면 ‘도와주세요’라고 말할 수 있나요?",
(
"내담자가 ‘저 자신이 지금 위험할 것 같아요. 실제로 도움이 필요해요.’라고 "
"말하면 어떻게 확인해야 하나요?"
),
)
for question in counselor_questions:
with self.subTest(question=question):
counselor_question = guardrail.classify_crisis(
question,
speaker_is_persona_context=True,
)
self.assertFalse(counselor_question.escalate)
real_help_questions = (
"저 자신이 지금 위험할 것 같다고 느끼고 실제로 도움이 필요해요. 어떻게 해야 하나요?",
"저는 지금 위험하다고 느끼며 실제로 도움이 필요해요. 도와줄 수 있나요?",
"제가 현재 위험하다고 느끼고 있어요. 실제로 도움이 필요해요?",
"저는 학생인데 지금 제가 위험하다고 느끼고 실제로 도움이 필요해요.",
"저는 내담자지만 지금 제가 위험하다고 느끼고 실제로 도움이 필요해요.",
"상대가 떠난 뒤 저는 지금 위험하다고 느끼고 실제로 도움이 필요해요.",
"지금 제가 위험한 것 같고 도움이 필요해요.",
"지금 저는 위험하다고 느껴요. 도움이 필요합니다.",
"저 스스로 지금 위험할 것 같아요. 도움이 필요해요.",
"제 안전이 지금 위험해요. 실제 도움이 필요해요.",
"제가 지금 안전하지 않아서 도와주세요.",
"저는 지금 당장 스스로를 해칠까 봐 무서워요. 도와주세요.",
"지금 제가 저를 해칠 것 같아요. 도와주세요.",
"저는 지금 죽어버리고 싶어요. 도와주세요.",
"저 지금 제 목숨을 끊고 싶어요.",
"저는 당장 죽고 싶어요.",
"저는 죽고 싶어요. 제발 도와주세요.",
"제가 자살하고 싶어요. 도움이 필요해요.",
"저는 지금 살고 싶지 않아요. 도와주세요.",
"저는 지금 삶을 끝내고 싶어요. 도와주세요.",
"저는 지금 없어지고 싶어요. 도와주세요.",
"저 지금 스스로를 다치게 하고 싶어요. 도와주세요.",
"지금은 제가 제 안전을 지킬 자신이 없어요. 도와주세요.",
"아까는 자살하고 싶지 않았지만 저는 지금 죽고 싶어요.",
"죽고 싶어하는 친구를 돕다가 저도 지금 죽고 싶어요.",
"죽고 싶은 생각이 있는지 묻는 연습 중이었는데 저는 지금 정말 죽고 싶어요.",
"저는 지금 죽고 싶어요. 친구는 자살하고 싶지 않아요.",
"아까는 도움이 필요하지 않았지만 저는 지금 위험하고 실제로 도움이 필요해요.",
"저는 오늘 죽고 싶어요. 도와주세요.",
"죽고 싶어요. 저 좀 도와주세요.",
"저는 지금 죽어야 할 것 같아요. 도와주세요.",
"저는 지금 통제가 안 되고 저를 다치게 할 것 같아요. 도와주세요.",
"저는 지금 너무 위험한 상태예요. 도움이 필요해요.",
"저한테 지금 자해 충동이 있어요. 도와주세요.",
"저는 현재 살아갈 이유가 없어요. 도와주세요.",
"저는 현재 제 자신을 해칠 것 같아요. 도와주세요.",
"저는 지금 자살할 것 같아요. 도와주세요.",
"저는 지금 자해할 것 같아요. 도와주세요.",
"저는 지금 안전을 지킬 수 없어요. 도와주세요.",
"저는 지금 저를 해칠지도 몰라요. 도와주세요.",
"제가 지금 저를 다치게 할까 봐 두려워요. 도움이 필요해요.",
"저는 지금 혼자 있으면 위험해요. 도와주세요.",
)
for signal in real_help_questions:
with self.subTest(signal=signal):
result = guardrail.classify_crisis(
signal,
speaker_is_persona_context=True,
)
self.assertEqual(result.kind, guardrail.CrisisKind.LEARNER_REAL)
self.assertTrue(result.escalate)
nonclinical_first_person = guardrail.classify_crisis(
"제가 지금 과제 제출이 위험할 것 같아서 실제로 도움이 필요해요.",
speaker_is_persona_context=True,
)
ordinary_wish = guardrail.classify_crisis(
"걱정이 없어졌으면 좋겠어요.",
speaker_is_persona_context=True,
)
counselor_meta_statements = (
"제가 지금 여쭤보는 건 자살 생각이 있는지예요.",
"제가 지금 묻는 질문은 혹시 죽고 싶은 생각이 있는지예요.",
"제가 지금 설명드리는 109는 자살 위기 때 연락하는 번호예요.",
"저 지금 상담자로서 자살 위험을 확인하고 있어요.",
"먼저 지금 죽고 싶은 생각이 있는지 확인할게요.",
"그러나 지금 죽고 싶은 생각이 있는지는 확인해야 해요.",
"누구나 지금 자살하고 싶다고 말하는 것은 아니에요.",
"저는 지금 죽고 싶은 생각이 있는지 묻고 있어요.",
"제가 지금 자살하고 싶은지 묻는 거예요.",
"나는 지금 자해하고 싶은지 물어보는 연습을 하고 있어요.",
"저는 지금 자살하고 싶은 친구를 돕고 있어요.",
"저는 지금 죽고 싶은 생각이 있는지 여쭤볼게요.",
"제가 지금 죽고 싶은 생각이 있는지 직접 확인해도 될까요?",
"저는 지금 자살하고 싶지 않아요.",
"저는 지금 죽고 싶은 건 아니에요.",
"저 자신이 지금 위험할 것 같지 않아요. 실제로 도움이 필요하지 않아요.",
"문제가 없어졌으면 좋겠어요.",
"안내가 없어졌으면 좋겠어요.",
"나는 지금 죽고 싶냐고 물어보는 연습 중이에요.",
"저는 지금 죽고 싶다고 가정하고 역할극을 해볼게요.",
"저는 지금 죽고 싶다는 친구를 돕고 있어요.",
"저는 지금 자살하고 싶지는 않아요.",
"“저는 지금 죽고 싶어요”라고 예시 문장을 읽었어요.",
"저는 지금 죽고 싶으신지 여쭙고 있어요.",
"저는 지금 자살하고 싶다는 문장을 번역하고 있어요.",
"저는 지금 자해하고 싶어 하는 동생을 돕고 있어요.",
"저는 지금 죽고 싶진 않아요.",
"저는 지금 죽고 싶다는 뜻은 아니에요.",
"저는 지금 죽고 싶은 마음은 없어요.",
"저는 지금 죽고 싶으면 109에 전화하라고 설명하고 있어요.",
"“저는 지금 죽고 싶어요” 문장을 번역해 주세요.",
"저는 지금 죽고 싶은 생각이 없어요.",
"저는 지금 죽고 싶은 마음이 전혀 없습니다.",
"제가 지금 죽고 싶다고 말한 학생을 돕고 있어요.",
"제가 지금 죽고 싶다고 한 친구를 돕고 있어요.",
"저는 지금 자살 생각이 없어요.",
"저는 지금 자해 충동이 없어요.",
"저는 예전에 죽고 싶었지만 지금은 괜찮아요.",
)
self.assertFalse(nonclinical_first_person.escalate)
self.assertEqual(ordinary_wish.kind, guardrail.CrisisKind.NONE)
for statement in counselor_meta_statements:
with self.subTest(statement=statement):
result = guardrail.classify_crisis(
statement,
speaker_is_persona_context=True,
)
self.assertFalse(result.escalate)
def test_runtime_observation_artifact_matches_current_exact_case_execution(self) -> None:
artifact = json.loads(
repo_path(
"docs",
"ops",
"evidence",
"c-001-crisis-case-runtime-observations-2026-08-28.json",
).read_text(encoding="utf-8")
)
runner = _load_clinical_observation_runner()
current = asyncio.run(runner.build_observations(artifact["generated_at"]))
self.assertEqual(
artifact["schema_version"],
"vignette.p1_crisis_technical_observations.v2",
)
self.assertEqual(artifact["summary"]["case_count"], 6)
self.assertEqual(artifact["summary"]["technical_pass_count"], 6)
self.assertEqual(artifact["summary"]["technical_fail_count"], 0)
self.assertEqual(artifact["summary"]["external_clinical_decisions_recorded"], 0)
self.assertTrue(
all(
observation["technical_result"] == "pass"
and observation["external_clinical_decision"] is None
for observation in artifact["observations"]
)
)
self.assertEqual(artifact["case_set"], current["case_set"])
self.assertTrue(artifact["runtime_package"]["matches_head"])
self.assertTrue(current["runtime_package"]["matches_head"])
self.assertEqual(
artifact["runtime_package"]["files"],
current["runtime_package"]["files"],
)
self.assertEqual(artifact["boundary"], current["boundary"])
self.assertEqual(artifact["summary"], current["summary"])
self.assertEqual(artifact["observations"], current["observations"])
def test_blocks_self_harm_means_detail(self) -> None:
"""자해 수단·방법 상세는 차단(1.1 확장 — DBT 자해 페르소나 대비)."""
samples = [