DMF_Crawler/docs/research/02-benchmark-github-projects.md

유사 프로젝트 벤치마킹과 채택 구조

이 문서의 역할: DMF_Crawler 를 스크래치에서 만들기 전에, 실제로 존재가 확인된 GitHub 저장소 37개 이상을 범주별로 해부하여 "무엇을 베끼고 무엇을 버릴지"를 확정하고, 그 근거 위에서 최종 디렉터리 구조와 모듈 경계(fetch / parse / diff / store / report / notify / orchestrate)를 SSOT 로 못박는 문서다.

---

0. 한눈에 보기

이 문서에서 내린 결론(상세 근거는 각 섹션에):

• 한국 식약처(MFDS) DMF 전용 오픈소스는 존재하지 않는다. 30회 이상의 검색과 68회의 실제 페이지 fetch 로도 nedrug/MFDS/DMF 를 대상으로 한 크롤러 저장소를 하나도 찾지 못했다. 가장 근접한 것이 Q00/data.go.kr-crawling(★4, DUR 품목정보 API → xlsx)뿐이다. 즉 fetch/parse 계층은 우리가 직접 쓴다. 베낄 것은 "구조"이지 "코드"가 아니다.
• 1차 데이터 소스는 스크래핑이 아니라 공공 API 로 확정한다. 식품의약품안전처_원료의약품등록(DMF)현황 OpenAPI 엔드포인트 https://apis.data.go.kr/1471000/MdcDmfInfoService01/getMdcDmfList01 가 DMF_PERMIT_NO, INGR_KOR_NAME, ENTP_NAME, MNFCTR_NAME, MNFCTR_PLACE, MANUF_COUNTRY_CODE_NM, DMF_PERMIT_DATE 를 JSON/XML 로 준다. 공고 게시판(nedrug.mfds.go.kr/bbs/117, 총 710건)은 API 가 놓치는 "변경/취하" 서사를 보완하는 2차 소스다.
• 아키텍처의 정본 레퍼런스는 mrueda/nomenclator-delta다. 스페인 보건부 의약품 목록의 월간 델타를 추적하는 프로젝트로, 수집(collection) → 정규화(normalization) → 디핑(diffing) → 검증(validation) 이라는 4단계 모듈 분리와 data/(스냅샷 + 변경 이력) 레이아웃이 우리 요구사항과 1:1 로 대응한다. 모듈 경계는 이걸 그대로 채택한다.
• 범용 변경감지 도구(changedetection.io ★33.5k, urlwatch ★3.1k, huginn ★49.9k)는 "도입"하지 않고 "설계 개념만" 가져온다. 이들은 텍스트 블록 diff 도구지 레코드 키 기반 diff 도구가 아니다. 우리에게 필요한 것은 DMF_PERMIT_NO 를 키로 한 added/removed/changed 판정이고, 그 형태는 larsyencken/csvdiff(★131, _index/added/removed/changed JSON 구조)가 정답이다. 다만 csvdiff 는 2021-02-18 아카이브되었으므로 JSON 스키마만 채택하고 구현은 자체 작성한다.
• 운영 방식은 "Windows Task Scheduler(schtasks) + 상주 워치독" 2단 구조로 간다. michalzobec/autorunsalerts 가 검증한 패턴 — SYSTEM 컨텍스트 스캔 태스크와 사용자 컨텍스트 토스트 태스크를 분리 — 를 그대로 채택한다. 토스트는 SYSTEM/서비스 세션에서 뜨지 않기 때문이다(BurntToast 문서가 명시).
• 서비스화는 WinSW(★14.3k, v2.12.0 안정)를 1순위로 한다. <onfailure action="restart" delay="10 sec"/> + <resetfailure>1 hour</resetfailure> + <startmode>Automatic</startmode> + <log mode="roll"> 이 XML 한 장에 선언적으로 들어가고 .NET 외 런타임 의존이 없다. NSSM(★1.2k, v2.24 / 2014-08-31)은 대안, pywin32 서비스는 기각(복구 액션이 트리거되지 않는 알려진 결함 — pywin32 issue #1563).
• AI CLI headless 호출 규약은 claude -p / gemini -p / codex exec 3종의 공통 패턴을 agy -p 로 사상한다: (1) 프롬프트를 파일로 빼서 -p "$(cat prompt.txt)", (2) --output-format json + JSON Schema 로 구조화 출력 강제, (3) stdout 을 파일로 리다이렉트 후 파싱, (4) 종료코드로 분기. agy 자체의 플래그는 raw dump 에서 확인되지 않았으므로 ⚠️ 미검증이며 부트스트랩 단계에서 agy --help 로 실측해야 한다.
• 리포트는 xlsxwriter 로 만들고, 탭 간 연동은 write_url(row, col, 'internal:Sheet2!A1') 로 구현한다. openpyxl 대신 xlsxwriter 를 쓰는 이유는 add_table() / conditional_format() / 내부 하이퍼링크가 한 API 로 깔끔하게 나오기 때문이다(Bwhiz/Auto-Excel-Reports 는 openpyxl 예시이나 서식 품질 요구가 우리보다 낮다).
• 알림은 Apprise(★17.2k) 한 겹으로 추상화한다. windows://(pywin32 필요, 250자 제한, 같은 PC 한정), tgram://bottoken/ChatID, slack://, mailto:// 를 URL 문자열 하나로 갈아끼울 수 있다. 다만 리치 토스트(버튼/이미지)는 win11toast(★333) 로 직접 호출하는 이중 경로를 둔다.
• 최종 디렉터리 구조는 src/dmf_crawler/{fetch,parse,diff,store,report,notify,orchestrate} + data/{raw,snapshots,history} + ops/{winsw,tasks,watchdog} + config/sources.yaml 이다. 각 경로의 출처는 §10 에 저장소별로 명기했다.

---

1. 목차

• 0. 한눈에 보기
• 1. 목차
• 2. 조사 방법과 신뢰도 표기 규칙
• 3. 전체 저장소 인덱스 (실존 확인 37건)
• 4. (a) 한국 식약처 / 공공데이터 크롤러
• 5. (b) FDA / openFDA / 규제 데이터
• 6. (c) 규제 변경 감지 · 인텔리전스
• 7. (d) 범용 변경 감지 도구
• 8. (e) 크롤링 → 엑셀/시트 리포트 파이프라인
• 9. (f) AI CLI headless 자동화
• 10. (g) Windows 서비스화 · 워치독 · 토스트
• 11. (h) awesome 리스트 및 기타 참고
• 12. 채택 결정 표 (채택 / 부분채택 / 기각)
• 13. 최종 디렉터리 구조 제안
• 14. 모듈 경계 제안과 입출력 계약
• 15. 데이터 소스 실측 정보 (DMF API / 공고 게시판)
• 부록 A. 출처 목록
• 부록 B. 미해결 질문 / 실측 필요 항목

---

2. 조사 방법과 신뢰도 표기 규칙

원본 리서치는 WebSearch 33회 + WebFetch 68회로 수행되었다(WebSearch 예산 200/200 소진으로 #31, #32, #33 검색은 미수행). 본 문서는 그 raw dump 를 손실 없이 정제한 것이다.

표기	의미
[F#n]	raw dump 의 [FETCH #n] — 해당 페이지를 실제로 열어 확인함 (verified_by_fetch=true)
[S#n]	raw dump 의 [SEARCH #n] — 검색 결과 링크로만 등장. 페이지를 직접 열지 않음
⚠️ 미검증	존재/수치를 직접 확인하지 못함. 삭제하지 않고 남기되 구현 전 실측 필요

스타 수·커밋 수는 2026-09-02 조사 시점 기준이며, GitHub 페이지에 "last commit date" 가 텍스트로 노출되지 않은 경우 커밋 총수로 대체 기록했다(원 dump 가 그렇게 기록했으므로 그대로 보존).

---

3. 전체 저장소 인덱스 (실존 확인 37건)

아래는 WebFetch 로 저장소 페이지를 실제로 열어 확인한 항목이다. 범주 기호는 원 조사 항목 (a)~(h) 를 따른다.

#	저장소	URL	★	Fork	언어	최근 활동	무엇을 하는가	이 프로젝트에서 정확히 무엇을 베낄 것인가
1	Q00/data.go.kr-crawling	https://github.com/Q00/data.go.kr-crawling	4	0	Python	development 브랜치 55 commits	건강정보·의약품 크롤링, gevent 멀티스레딩 표방	config.py.example 로 API 키를 코드 밖으로 빼는 패턴, column.py 로 응답 필드명↔한글명 매핑을 생성해서 파일로 떨구는 아이디어, page = int(totalCount/100) + 1 페이지네이션 공식
2	jjscan/data.go.kr-1	https://github.com/jjscan/data.go.kr-1	0	0	R	미표기	data.go.kr MFDS DURPrdlstInfoService/getUsjntTabooInfoList 수집	실패 사례 카탈로그: 연결 실패→폴링 재시도, totalCount == 0 로 빈 응답 판정, 351,010건 단일스레드 17시간 병목. 우리 재시도/공백판정 로직의 근거
3	WooilJeong/PublicDataReader	https://github.com/WooilJeong/PublicDataReader	597	113	Python	168 commits	공공데이터포털/KOSIS/ECOS 등 조회 파이썬 라이브러리	공공 API 래퍼의 패키지 레이아웃과 provider 별 모듈 분리. 단 식약처/의약품 커버리지는 없음(문서 명시) → 의존하지 않고 구조만 참고
4	NomaDamas/k-skill	https://github.com/NomaDamas/k-skill	7.4k	—	—	—	한국 특화 스킬 모음. docs/features/mfds-food-safety.md + scripts/mfds_food_safety.py	API 키를 사용자 머신이 아니라 프록시 서버 환경변수(DATA_GO_KR_API_KEY, FOODSAFETYKOREA_API_KEY)에 두는 분리 원칙. 우리는 로컬 단독이므로 .env 로 대체하되 "키를 코드/리포지토리에 절대 넣지 않는다"는 규범만 채택
5	FDA/openfda	https://github.com/FDA/openfda	705	166	Python	—	FDA 공식. Luigi 파이프라인으로 공개 데이터셋 → JSON → Elasticsearch	openfda/ 패키지 + schemas/ + config/ + scripts/ 4분할 레이아웃. 데이터셋별 파이프라인 파일 분리(NSDE, CAERS, Substance, Device Clearance, Device PMA, Device Event)
6	jbremz/FDA-Analysis	https://github.com/jbremz/FDA-Analysis	5	2	Python	—	(은퇴한) Drugs@FDA 사이트를 Scrapy 로 22,000+ 제품 스크래핑 후 pandas 분석	"스파이더 디렉터리 / 원시 CSV / 분석 스크립트 / 노트북" 4분할. 우리 data/raw ↔ notebooks/ 분리의 근거
7	logiover/fda-data-scraper	https://github.com/logiover/fda-data-scraper	0	0	미표기	1 commit	openFDA 9개 데이터셋 → JSON/CSV/XLSX/JSONL/XML/HTML	출력 포맷을 하나의 CLI 인자로 스위칭하는 설계. 우리도 `--format xlsx
8	coderxio/OpenFDA	https://github.com/coderxio/OpenFDA	3	3	Python	—	openFDA drug NDC 데이터셋을 DB 에 적재, CherryPy 로 서빙	docker-compose.yml + docker-compose.override.yml 로 최초적재/운영 구성 분리. 우리는 Docker 미사용이나 "초기 백필 실행"과 "일일 증분 실행"을 다른 엔트리포인트로 분리하는 개념을 채택
9	Tanguy9862/AI-Powered-FDA-Drug-Scraper	https://github.com/Tanguy9862/AI-Powered-FDA-Drug-Scraper	3	0	Python	—	Drugs.com 신약 승인 페이지 스크래핑 → LangChain+GPT-4o-mini 분류 (1,770건)	scraper.py / classification.py / utils.py 3파일 분리 — 수집과 LLM 후처리를 절대 한 파일에 섞지 않는다. 회사명 표기 정규화(약 1000→700종)의 필요성 근거
10	anton-semerenko/pharma-radar	https://github.com/anton-semerenko/pharma-radar	0	0	Python	2 commits	Claude(Opus급) 에이전트가 매일 06:00 규제/경쟁 인텔리전스 브리핑 생성 → Telegraph + Telegram	가장 유사한 프로젝트. ① prompts/system_prompt.md 로 에이전트 방법론을 파일로 분리 ② config/sources.yaml 로 소스 계층·루브릭 정의 ③ src/deliver.py 는 표준 라이브러리만 사용 ④ "≥2개 독립 출처 또는 1개 공식 규제 1차 출처"라는 검증 정책 ⑤ 매일 06:00 스케줄 — 우리 요구사항과 동일
11	mrueda/nomenclator-delta	https://github.com/mrueda/nomenclator-delta	1	0	Python	Updated Aug 9, 2026	스페인 보건부 Nomenclátor 의약품 목록의 월간 델타(추가/삭제/변경) 비교	아키텍처 정본. src/nomenclator_delta/(collection·normalization·diffing·validation), data/(스냅샷+변경이력), site/(정적 앱), docs-site/, tests/. CLI 는 python3 -m nomenclator_delta validate data / python3 -m nomenclator_delta dist 형태의 서브커맨드
12	Mzands2622/Zanalytix	https://github.com/Mzands2622/Zanalytix	0	0	Python	Updated Mar 9, 2026 / 1 commit	60+ 제약사 파이프라인 페이지 스크래핑 → GPT-4o 로 old vs new 비교, 우선순위 1~5 부여	① 소스별 파서 모듈을 1파일 1소스로 쪼개는 규칙({company}_pipeline.py, fetch_{company}_html() / process_{company}_html() 시그니처 통일) ② 날짜 스냅샷을 JSON 으로 보관 ③ 변경건에 우선순위 점수를 매겨 알림 대상 선별
13	suriyadeepan/WebScraping-for-Healthcare	https://github.com/suriyadeepan/WebScraping-for-Healthcare	8	1	Python	44 commits	DrugBank·ClinicalTrials.gov·EMC(SMPC/PIL)·HPRA·MHRA 등 규제/의약 데이터 수집	phscrape 패키지 안에서 소스별 모듈이 동일한 fetch() / crawl_k() 인터페이스를 노출하는 규약
14	dgtlmoon/changedetection.io	https://github.com/dgtlmoon/changedetection.io	33.5k	2.0k	Python	2,448 commits / release 0.55.8 (13 Jul 09:26)	웹페이지 변경 감지·알림 SaaS/셀프호스트	개념만: CSS/XPath/JSONPath/jq 로 감시 범위를 좁히는 필터 체인, word/line/character 3단계 diff 시각화, 타임존 인식 스케줄(요일·시간 제한), Apprise 알림, {{diff}}/{{diff_added}}/{{diff_removed}} 템플릿 토큰
15	thp/urlwatch	https://github.com/thp/urlwatch	3.1k	354	Python	974 commits / 릴리스 없음	URL·셸 명령 출력의 변경을 감시하고 unified diff 로 통지	urls.yaml 잡 정의 스키마(url/name/method/data/headers/cookies/encoding/filter/ignore_connection_errors), job_defaults 로 공통 설정 상속, 28종 내장 필터 체인 개념, diff_filter 로 diff 결과 자체를 후처리하는 발상
16	huginn/huginn	https://github.com/huginn/huginn	49.9k	4.3k	Ruby	4,134 commits	에이전트가 웹을 읽고 이벤트를 만들어 유향 그래프로 전파	WebsiteAgent 의 mode: all / on_change / merge 3분류 — 우리 diff 모듈의 출력 모드와 정확히 대응. 기본 스케줄 every_12h. extract 설정이 선언적 추출 스펙을 데이터로 표현
17	larsyencken/csvdiff	https://github.com/larsyencken/csvdiff	131	31	Python	2021-02-18 아카이브	두 CSV 를 키 기준으로 비교해 added/removed/changed 산출	JSON 출력 스키마를 그대로 채택: _index(키 컬럼 배열), added, removed, changed(키별 field-level from/to). CLI 옵션 --style=summary|pretty, --output, --ignore-columns, --significance 도 우리 CLI 에 이식
18	ecprice/newsdiffs	https://github.com/ecprice/newsdiffs	506	136	Python (Django)	—	뉴스 기사 변경 이력 추적 프레임워크	parsers/ 아래 BaseParser 상속 사이트별 서브클래스 구조, 진행 로그와 에러 로그를 분리 기록(/tmp/newsdiffs_logging per-run vs /tmp/newsdiffs/logging_errs cumulative)
19	simonw/git-scraper-template	https://github.com/simonw/git-scraper-template	132	10	—	—	GitHub Actions 로 URL 을 주기적으로 받아 변경 시 커밋(Git scraping)	"스냅샷을 버전관리에 커밋해 변경 이력 자체를 만든다"는 발상. 우리는 GitHub Actions 대신 로컬 Task Scheduler + 로컬 git 리포로 data/snapshots 를 커밋
20	Bwhiz/Auto-Excel-Reports	https://github.com/Bwhiz/Auto-Excel-Reports	1	0	Python	—	openpyxl 로 엑셀 리포트 생성 + GitHub Actions cron + SMTP 발송	report_script.py(생성) / auto_mail.py(배포) 분리, cron 0 0 * * *, 자격증명은 GitHub Secrets → 우리는 .env
21	HasData/playwright-scraping	https://github.com/HasData/playwright-scraping	15	4	Python/Node.js	5 commits	Playwright 스크래핑 레시피 모음	디렉터리 분류 자체가 체크리스트: basics/ scraping/ selectors/ interactions/ save_data/ auth/ browser/ errors/ debug/. 특히 errors/(재시도·타임아웃)와 debug/(video/trace 녹화)를 우리 fetch 모듈 설계 항목으로 채택
22	jshchnz/claude-code-scheduler	https://github.com/jshchnz/claude-code-scheduler	510	37	TypeScript	—	AI CLI 를 OS 네이티브 스케줄러에 등록해 claude -p 자동 실행	① OS별 스케줄러 어댑터 분리(src/schedulers/base.ts, darwin.ts, linux.ts, windows.ts, index.ts) ② 스케줄 정의를 JSON 파일로(.claude/schedules.json) ③ 로그를 태스크 ID별 파일로(~/.claude/logs/<task-id>.log). Windows 는 Task Scheduler 사용
23	addyosmani/gemini-cli-tips	https://github.com/addyosmani/gemini-cli-tips	2.4k	105	—	—	Gemini CLI 팁 모음	headless gemini -p "...", stdin 파이프, --format=json, GEMINI_SYSTEM_MD 환경변수로 시스템 프롬프트 교체 — agy 의 동등 플래그를 찾을 때의 탐색 체크리스트
24	winsw/winsw	https://github.com/winsw/winsw	14.3k	1.7k	C#	v3 브랜치 841 commits / 최신 v3.0.0-alpha.11(29 Jan 02:20), 안정 v2.12.0(28 Jan 16:22)	임의 실행파일을 Windows 서비스로 감싸는 래퍼	XML 한 장으로 서비스 정의: <executable>, <arguments>, <onfailure action="restart" delay="10 sec"/>, <resetfailure>1 hour</resetfailure>, <startmode>Automatic</startmode>, <delayedAutoStart>true</delayedAutoStart>, <log mode="roll">, <env name= value=>, <workingdirectory>, <priority>, <serviceaccount>
25	kirillkovalenko/nssm	https://github.com/kirillkovalenko/nssm	1.2k	169	C++	v2.24 (2014-08-31)	NSSM — 애플리케이션을 NT 서비스로 실행, 실패 시 재시작	WinSW 대안. CLI 로 AppDirectory/AppParameters/AppStdout/AppStderr/AppThrottle/AppRestartDelay/AppRotateFiles/Start 설정 (§10.2 에 전체 명령 보존)
26	larsekje/PythonWindowsServices	https://github.com/larsekje/PythonWindowsServices	1	0	Python	—	NSSM 으로 파이썬 스크립트를 서비스로 돌리는 PoC	/logs, /scripts, /windows_service 3분할. **"NSSM 은 로그 파일을 자동 생성하지 않으므로 사전 생성 필요"**라는 실전 함정
27	HaroldMills/Python-Windows-Service-Example	https://github.com/HaroldMills/Python-Windows-Service-Example	21	11	Python	—	pywin32 + PyInstaller 로 파이썬 서비스 빌드	반면교사. example_service.exe install / start 를 관리자 권한 프롬프트에서 실행해야 함. PyInstaller 가 Python 3.5 까지만 지원한다는 오래된 주석(2016) → 이 경로는 기각 근거
28	mhammond/pywin32 (issue #1563)	https://github.com/mhammond/pywin32/issues/1563	—	—	Python	—	서비스 크래시 시 Windows 복구 액션이 트리거되지 않는 문제	pywin32 서비스 기각의 결정적 근거: SvcRun() 이 예외를 던지거나 sys.exit() 해도 pywin32 정리 코드가 SERVICE_STOPPED 를 보고해버려 복구 액션이 발동하지 않는다. 우회책이 os.kill(os.getpid(), signal.SIGABRT) 수준
29	Windos/BurntToast	https://github.com/Windos/BurntToast	1.7k	126	PowerShell	v1.1.0	Windows 10/Server 2019+ 토스트 알림 PowerShell 모듈	Install-Module -Name BurntToast, New-BurntToastNotification -Text ..., New-BTButton, -AppLogo. 핵심 제약: SYSTEM/서비스 계정에서는 데스크톱 세션 요구 때문에 동작 제한 → 워치독 2단 분리의 근거
30	michalzobec/autorunsalerts	https://github.com/michalzobec/autorunsalerts	0	—	PowerShell	—	autoruns 설정 변경을 감지해 토스트로 알림	운영 패턴 정본. ① AutorunsAlert(SYSTEM, 60분마다): 스캔→state.json 과 비교→audit.log 기록 ② AutorunsAlertToast(사용자 컨텍스트, 15분마다): 플래그 확인 후 토스트. 파일 구성 autorunsalert.ps1/autorunstoast.ps1/configuration.json/state.json/audit.log/install.ps1/uninstall.ps1
31	DatGuy1/Windows-Toasts	https://github.com/DatGuy1/Windows-Toasts	142	9	Python	—	WinRT 기반 파이썬 토스트	python -m pip install windows-toasts. Toast(), WindowsToaster('Python'), text_fields, on_activated 콜백. duration 이 short/long 만 지원(pywin32 대비 제약)
32	GitHub30/win11toast	https://github.com/GitHub30/win11toast	333	24	Python	—	Windows 10/11 토스트 (WinRT)	pip install win11toast. toast(), notify()(논블로킹), toast_async(), buttons=[...], on_click='https://...', image=, duration='long'. 함정: 스크립트 실행 시 현재 디렉터리가 C:\Windows\system32 이므로 os.chdir() 필요
33	ysfchn/toasted	https://github.com/ysfchn/toasted	31	2	Python	—	리치 토스트(이미지/select/input/progress)	Progress(value="{value}", status="...") 로 진행률 토스트 — 백필 실행처럼 오래 걸리는 작업의 진행 표시에 사용 가능
34	caronc/apprise	https://github.com/caronc/apprise	17.2k	652	Python	1,178 commits	100+ 알림 서비스를 URL 문자열 하나로 통합	pip install apprise; apobj.add('...') / apobj.notify(body=, title=). URL: windows://(pywin32 필요, ?duration=5, 250자 제한, 타 PC 전송 불가), slack://TokenA/TokenB/TokenC/Channel, tgram://bottoken/ChatID, mailto:///mailtos://
35	786raees/task-scheduler-python	https://github.com/786raees/task-scheduler-python	2	0	Python	2 commits	win32com.client 로 Windows Task Scheduler 제어	create_task()(실행경로/인자/ISO 8601 트리거), get_all_tasks(), toggle_task(), run_task(), delete_task() — 설치 스크립트에서 schtasks 문자열 조립 대신 COM 으로 다루는 대안
36	lorien/awesome-web-scraping	https://github.com/lorien/awesome-web-scraping	8.1k	934	—	640 commits	스크래핑 라이브러리/도구/API 큐레이션	python.md / javascript.md / php.md / ruby.md / golang.md / cli.md / manuals.md 언어별 분할. 변경감지·스케줄링·엑셀 섹션은 없음(확인함) → 라이브러리 선정 참고용으로만
37	testing-in-production/gemini-jobs	https://github.com/testing-in-production/gemini-jobs	—	—	—	—	(블로그가 언급한 cron+Gemini CLI 예제 저장소)	HTTP 404 — 존재하지 않음. ⚠️ 미검증. 참조 금지

3.1 검색 결과에만 등장한 저장소 (⚠️ 미검증 — 페이지를 직접 열지 않음)

버리지 않고 남긴다. 필요 시 실측 후 승격.

저장소	URL	범주	검색에서 파악된 내용
DarpitPatel/OpenFDA	https://github.com/DarpitPatel/OpenFDA	(b)	openFDA API 를 파이썬으로 스크래핑해 txt + CSV 출력 [S#3]
shaayohn/fda-drug-aproval-data-scraping	https://github.com/shaayohn/fda-drug-aproval-data-scraping	(b)	Drugs@FDA 에서 특정 기준의 승인 상세를 가져옴 [S#6]
tsbischof/fda	https://github.com/tsbischof/fda	(b)	FDA 510(k) 및 관련 문서 스크래퍼·집계, predicate device 분석 [S#19]
sheetalkalburgi/web-scraping	https://github.com/sheetalkalburgi/web-scraping	(b)(c)	BeautifulSoup 로 FDA + Health Canada 사이트 스크래핑 [S#19]
Norbaeocystin/FDA	https://github.com/Norbaeocystin/FDA	(b)	FDA 의약품 승인 데이터 스크래핑·분석 [S#19]
vshah1016/pharma_scraper	https://github.com/vshah1016/pharma_scraper	(b)	Biopharmcatalyst PDUFA 캘린더 → CSV [S#19][S#27]
arpitamangal/pharma-scrape-and-analysis	https://github.com/arpitamangal/pharma-scrape-and-analysis	(b)	대체 브랜드 식별, FDA 40개 카테고리 분류 [S#8]
rOpenHealth/openfda	https://github.com/rOpenHealth/openfda	(b)	R 패키지. jsonlite/magrittr 로 openFDA 접근 [S#23]
roivant/openfda	https://github.com/roivant/openfda	(b)	openFDA 관련 포크 [S#23]
betagouv/api-medicaments	https://github.com/betagouv/api-medicaments	(a 유사)	프랑스 ANSM 공식 의약품 공개 DB API [S#13]
kawsarlog/AmerisourceBergen	https://github.com/kawsarlog/AmerisourceBergen	(b)	★4, Python, Updated Aug 5, 2023. AmerisourceBergen 제품 가격 추출 자동화 [F#19]
MohammedAhmed-01/DataDoseProject	https://github.com/MohammedAhmed-01/DataDoseProject	(b)	★0, Jupyter Notebook, Updated Mar 22, 2026. 성분 검증 + OpenFDA 라벨 보강 + DDI 탐지 파이프라인 [F#19]
Dagiayy/kara-medical-telegram-data-platform	https://github.com/Dagiayy/kara-medical-telegram-data-platform	(e)	★0, Python, Updated Aug 23, 2026. Telegram 스크래핑 + PostgreSQL + Dagster 오케스트레이션 [F#19]
bdmorris238/pharmaco-database-project	https://github.com/bdmorris238/pharmaco-database-project	(b)	★0, PLpgSQL, Updated Aug 15, 2025. 제약 시장 분석용 관계형/DW 설계 [F#19]
khushihajiyani-dotcom/drug-spending-analysis	https://github.com/khushihajiyani-dotcom/drug-spending-analysis	(b)	★0, SQLite, Updated May 3, 2026. 캐나다 주별 약품 지출 분석 2020-2024 [F#19]
Tanguy9862/new-drug-approvals-dashboard	https://github.com/Tanguy9862/new-drug-approvals-dashboard	(e)	위 #9 의 자매 프로젝트. Dash 로 실시간 대시보드 [F#42]
patrickloeber/llm-data-scrapers	https://github.com/patrickloeber/llm-data-scrapers	(h)	LLM 용 데이터 수집 오픈소스 도구 목록 [S#18]
ManiMozaffar/linkedIn-scraper	https://github.com/ManiMozaffar/linkedIn-scraper	(e)	Playwright + FastAPI, 결과를 DB 와 Telegram 채널로 [S#17]
dineshk-qa/playwright.slack.reporter	https://github.com/dineshk-qa/playwright.slack.reporter	(e)	Playwright 결과를 Slack 웹훅으로 리포팅 [S#17]
god233012yamil/Excel-Automation-Using-Python	https://github.com/god233012yamil/Excel-Automation-Using-Python	(e)	openpyxl 엑셀 자동화 예제 모음 [S#7]
prabudevarajan/Task-Reminder-Automation-Python-Excel-CSV-Email-Alerts	https://github.com/prabudevarajan/Task-Reminder-Automation-Python-Excel-CSV-Email-Alerts	(e)	Tkinter UI + Excel/CSV 저장 + 15/7/3/1일 전 이메일 리마인더 + daily scheduler + 로깅 [S#7]
jithurjacob/Windows-10-Toast-Notifications	https://github.com/jithurjacob/Windows-10-Toast-Notifications	(g)	win10toast 원본. 커스텀 아이콘, threaded 알림 [S#9]
jacobcolbert/Windows-10-Toast-Notifications	https://github.com/jacobcolbert/Windows-10-Toast-Notifications	(g)	위 포크 [S#9]
NakedPowerShell/BurntToast	https://github.com/NakedPowerShell/BurntToast	(g)	BurntToast 포크 [S#25]
Badgerati/Hook	https://github.com/Badgerati/Hook	(g)	PowerShell 모듈. 서비스 상태 감시 후 BurntToast 팝업 [S#25]
mattwolfe/changedetection	https://github.com/mattwolfe/changedetection	(d)	changedetection.io 포크 [S#5]
huginn/huginn_agent	https://github.com/huginn/huginn_agent	(d)	Huginn 에이전트를 Gem 으로 만드는 베이스 [S#12]
SublimeText/Pywin32	https://github.com/SublimeText/Pywin32	(g)	pywin32 번들 [S#16]
WinSW-Windows (org)	https://github.com/WinSW-Windows	(g)	WinSW 관련 조직 계정 [S#15]
google-gemini/gemini-cli Discussion #3215	https://github.com/google-gemini/gemini-cli/discussions/3215	(f)	"Headless execution" 논의 스레드 [S#20]
realpython/list-of-python-api-wrappers	https://github.com/realpython/list-of-python-api-wrappers	(h)	파이썬 API 래퍼 목록 [S#23]
noirquant/awesome-web-scraping	https://github.com/noirquant/awesome-web-scraping	(h)	lorien 포크 [S#8]
jjwangnlp/awesome-web-scraping	https://github.com/jjwangnlp/awesome-web-scraping	(h)	lorien 포크 [S#8]
luminati-io/Awesome-Web-Scraping	https://github.com/luminati-io/Awesome-Web-Scraping	(h)	HTTP 라이브러리·브라우저 자동화·프록시 서비스 포함 목록 [S#8]
spinov001-art/awesome-web-scraping-2026	https://github.com/spinov001-art/awesome-web-scraping-2026	(h)	130+ 도구, Python/JS/Go/Rust, 안티디텍션·프록시·클라우드, 주간 갱신 [S#8]
duyet/awesome-web-scraper	https://github.com/duyet/awesome-web-scraper	(h)	스크래퍼/크롤러 모음 [S#8]
firecrawl/firecrawl	https://github.com/firecrawl/firecrawl/releases	(d)	릴리스 페이지가 검색에 노출 [S#24]
diakes/coupang_crawler_python	https://github.com/diakes/coupang_crawler_python	(a)	쿠팡 크롤러 — 무관 [S#1]
FareedKhan-dev/best-llm-finder-pipeline	https://github.com/FareedKhan-dev/best-llm-finder-pipeline	(c)	Agentic RAG / 멀티에이전트 파이프라인 [S#18]
architkaila/Fine-Tuning-LLMs-for-Medical-Entity-Extraction	https://github.com/architkaila/Fine-Tuning-LLMs-for-Medical-Entity-Extraction	(c)	Llama2/StableLM PEFT·LoRA 로 약물명·부작용 추출 [S#18]
guilopgar/Medication-Detection-LLM	https://github.com/guilopgar/Medication-Detection-LLM	(c)	소셜미디어 텍스트에서 약물 언급 탐지 [S#18]
FDA (org)	https://github.com/FDA	(b)	FDA 공식 GitHub 조직 [S#4]

3.2 Gist (⚠️ 코드 조각, 저장소 아님)

Gist	URL	내용
drmalex07/10554232	https://gist.github.com/drmalex07/10554232	pywin32 서비스 예제. class HelloWorldSvc(win32serviceutil.ServiceFramework), _svc_name_, _svc_display_name_, SvcStop, SvcDoRun, win32event.CreateEvent, win32serviceutil.HandleCommandLine [F#40]
seanherron/5997278	https://gist.github.com/seanherron/5997278	drugs@fda scraper [S#3][S#19]
nmpowell/dc8e7187948788c5c126f01755252164	https://gist.github.com/nmpowell/dc8e7187948788c5c126f01755252164	기존 Windows Task Scheduler 태스크와 상호작용하는 파이썬 스크립트 [S#29]
hygull/32a742339a416dcfa2990504c848c1a9	https://gist.github.com/hygull/32a742339a416dcfa2990504c848c1a9	Windows 10 토스트 생성 [S#9]
HainanZhao/92b43e68850189bfee8f39a2c2581ca6	https://gist.github.com/HainanZhao/92b43e68850189bfee8f39a2c2581ca6	"Gemini CLI Job" 으로 반복 작업 자동화 [S#20]

---

4. (a) 한국 식약처 / 공공데이터 크롤러

4.1 결론: DMF 전용 오픈소스는 없다

WebSearch #1, #2, #11, #13, #21, #22, #30 을 통해 다음 질의를 던졌으나 nedrug/MFDS/DMF 전용 크롤러 저장소는 하나도 나오지 않았다:

• github nedrug 식약처 크롤링 의약품 crawler python
• github 공공데이터포털 식약처 의약품 API python wrapper mfds
• github 원료의약품 DMF 등록 식약처 크롤러 파이썬
• github 의약품안전나라 e약은요 API 파이썬 오픈API 크롤링 selenium 의약품 허가
• "nedrug.mfds.go.kr" github python selenium requests 크롤링 프로젝트
• github Korea MFDS drug approval scraper "nedrug" OR "mfds" python
• github 공공데이터포털 data.go.kr 파이썬 라이브러리 PublicDataReader 식약처 의약품

검색 엔진이 반환한 것은 대부분 식약처 공식 포털 페이지와 블로그 튜토리얼이었다. 따라서 fetch/parse 계층은 우리가 최초 구현자라고 전제하고 설계한다.

4.2 Q00/data.go.kr-crawling [F#1][F#62][F#64]

항목	값
URL	https://github.com/Q00/data.go.kr-crawling
설명	"건강정보, 의약품 크롤링, 멀티쓰레딩 gevent"
★ / Fork	4 / 0
언어	Python
커밋	development 브랜치 55 commits
토픽	crawling, gevent, Python, python-lock, threading

파일 구조:

apis/
async_data_crawler.py
go_data_crwaler.py      # 오타 그대로 (crwaler)
column.py
url.py
config.py.example
requirements.txt
README.md
.gitignore

go_data_crwaler.py 실측 내용 [F#64] — 호출하는 data.go.kr MFDS 엔드포인트:

• getDurPrdlstInfoList (메인 품목 목록)
• getSeobangjeongPartitnAtentInfoList
• getEfcyDplctInfoList
• getOdsnAtentInfoList
• getMdctnPdAtentInfoList
• getCpctyAtentInfoList
• getPwnmTabooInfoList
• getSpcifyAgrdeTabooInfoList
• getUsjntTabooInfoList

핵심 코드 라인(원문 인용):

• 인증: config.go_data_api_key
• 파라미터 조립: params.update({'typeName' : column.typeName[addUrl]})
• 페이지네이션: params_str2 += '&pageNo=' + str(i+1)
• 총 페이지 계산: page = int(totalCount/100) + 1
• 출력: wb.save(column.typeName[addUrl]+'.xlsx')

중요한 반증: 저장소 설명과 토픽은 gevent 를 내세우지만, 실제 go_data_crwaler.py 에는 gevent 사용이 없고 동기 requests.get() 만 쓴다. 저장소 설명을 믿지 말고 코드를 읽어야 한다는 교훈.

url.py 실측 내용 [F#62] — 이 파일은 크롤링이 아니라 API 명세 스크래핑을 한다:

• 대상: https://www.data.go.kr/pubn/lab/gui/IrosDevGuide/selectReqResPrmList.do
• POST payload: publicDataDetailPk: "uddi:9a60503c-b31c-4879-9028-a4250f0f6998", paramtrSe: "2", oprtinSeqNo: 15920
• 응답 JSON 의 RESULT_RE_LIST 를 순회(인덱스 8은 건너뜀)하며 파라미터명과 한글명을 추출
• 결과를 column.py 파일로 써낸다
• import: gevent, base64, requests, BeautifulSoup, json

베낄 것: 공공데이터포털의 "요청/응답 파라미터 목록" 화면을 긁어 필드 사전을 코드로 자동 생성하는 발상. DMF API 의 영문 필드명(DMF_PERMIT_NO 등)을 한글 헤더로 바꿔야 하는 우리 리포트 요구와 정확히 맞물린다. → config/field_map.yaml 을 손으로 쓰되, 생성 스크립트를 scripts/gen_field_map.py 로 둔다.

4.3 jjscan/data.go.kr-1 [F#46]

항목	값
URL	https://github.com/jjscan/data.go.kr-1
★ / Fork	0 / 0
언어	R
파일	DURPrdlstInfoService.R, README.md
대상 API	DURPrdlstInfoService / getUsjntTabooInfoList (병용금기정보조회)

응답 구조 실측: numOfRows: 100, pageNo: 895(예), totalCount: 351010. XML 응답을 xmlSApply / xpathSApply 로 파싱 후 CSV 로 내보냄. HTTP 는 httr 패키지.

README 가 기록한 구현 난제 4가지(우리가 그대로 대비해야 할 항목):

1. 연결 실패 — 폴링(재시도) 메커니즘으로 해결
2. 널 데이터 처리 — totalCount == 0 검증으로 탐지
3. R 세션 크래시 — 간헐적, 미해결
4. 성능 병목 — 단일 스레드로 약 350,000건에 17시간. Rmpi 로 MPI 병렬화하여 해결

베낄 것: (1) 재시도 정책의 필요성, (2) totalCount == 0 을 "데이터 없음"의 공식 판정 기준으로 삼기, (3) 전체 백필은 반드시 병렬/증분으로 설계 — DMF 현황 전량 백필 시에도 동일한 함정이 있다.

4.4 WooilJeong/PublicDataReader [F#37]

항목	값
URL	https://github.com/WooilJeong/PublicDataReader
설명	"공공 데이터 조회를 위한 오픈소스 파이썬 라이브러리"
★ / Fork	597 / 113
언어	Python
커밋	168
설치	pip install PublicDataReader --upgrade

지원 provider: FRED, 공공데이터포털(국토교통부 실거래가/건축물대장/건축인허가/주택인허가/토지임야/토지소유, 소상공인시장진흥공단 상권정보, 한국자산관리공사 공매물건, 국세청 사업자등록 확인, 한국부동산원), KOSIS, ECOS, 서울시 교통, V-World, KB부동산.

결정적 사실: 식약처/MFDS/의약품 커버리지가 없다(문서에 명시). 따라서 의존성으로 채택하지 않는다. 다만 "provider 별 모듈 + 공통 조회 인터페이스" 라는 패키지 레이아웃은 우리 fetch/ 의 소스별 어댑터 설계 참고가 된다.

4.5 NomaDamas/k-skill — docs/features/mfds-food-safety.md [F#36]

항목	값
URL	https://github.com/NomaDamas/k-skill/blob/main/docs/features/mfds-food-safety.md
부모 저장소 ★	7.4k
문서 주제	"식품 안전 체크 가이드"
스크립트 경로	scripts/mfds_food_safety.py
참조 데이터 소스	① 공공데이터포털 "부적합 식품" 엔드포인트 ② 식품안전나라 회수·판매중지 API
API 키 처리	DATA_GO_KR_API_KEY, FOODSAFETYKOREA_API_KEY 를 "프록시 운영 서버" 환경변수에 두고, 사용자는 k-skill-proxy 의 /v1/mfds/food-safety/search 로 접근
안전 규범	"이 helper 는 직접 진단을 하지 않는다" — 자동 판정보다 전문가 상담 우선

베낄 것: ① 키를 사용자 머신 코드에 박지 않는 분리 원칙(우리는 로컬 단독이므로 .env + .gitignore) ② "자동화가 판정하지 않고 근거만 제시한다"는 안전 규범 — DMF 변경 탐지 결과도 "규제 판단"이 아니라 "차이 보고"로 문구를 통일한다.

4.6 이 범주에서 확인되지 않은 것 (⚠️ 미검증)

• nedrug.mfds.go.kr 를 WebFetch 로 열었을 때 https://nedrug.mfds.go.kr/searchDmf 는 에러 페이지("The requested page cannot be found")를 반환했다 [F#63]. DMF 검색 화면의 실제 URL·파라미터는 브라우저로 실측해야 한다.
• data.go.kr 의 DMF OpenAPI 는 페이지 자체는 열렸다 [F#29]. §15 참조.

---

5. (b) FDA / openFDA / 규제 데이터

한국 DMF 에 직접 쓸 코드는 없지만, "규제 데이터셋을 주기적으로 받아 정규화하고 저장한다" 는 문제를 가장 오래 푼 집단이 여기다. 레이아웃과 파이프라인 분할을 여기서 가져온다.

5.1 FDA/openfda (공식) [F#2]

항목	값
URL	https://github.com/FDA/openfda
설명	"openFDA is a research project to provide open APIs, raw data downloads, documentation and examples, and a developer community for an important collection of FDA public datasets."
★ / Fork	705 / 166
언어	Python
최상위 디렉터리	api/faers, config, dependencies, openfda, schemas, scripts + Dockerfile, docker-compose.yml, requirements.txt, setup.py
파이프라인 기술	Luigi — "Python pipelines written with Luigi for processing public FDA data sets (drugs, foods, medical devices, and other) into a JSON format that can be loaded into Elasticsearch."
데이터셋	NSDE, CAERS, Substance Data, Device Clearance, Device PMA, Device Event 파이프라인 명시
실행	docker-compose up → Elasticsearch + API 컨테이너(포트 8000). "the API container starts right away, it will not serve any data until some or all of the pipelines above have finished running."
전제 조건	Elasticsearch 7, Python 3.10, Node 16+

베낄 것

• config/(설정) · schemas/(데이터 계약) · scripts/(운영 스크립트) · <pkg>/(코드) 4분할. 우리 트리에 그대로 반영한다.
• schemas/ 를 별도 최상위로 두는 것 — 응답 스키마와 스냅샷 스키마를 코드와 분리해 버전 관리하면, 식약처가 필드를 바꿨을 때 diff 로 즉시 감지된다.
• "데이터 적재 전에는 API 가 아무것도 서빙하지 않는다"는 명시 — 우리도 스냅샷이 2개 미만이면 리포트를 만들지 않고 "기준선 수립" 상태로 종료해야 한다.

기각할 것: Luigi / Elasticsearch / Docker. 단일 Windows PC 에 하루 1회 소량 데이터. 오버엔지니어링이다.

5.2 jbremz/FDA-Analysis [F#3]

항목	값
URL	https://github.com/jbremz/FDA-Analysis
설명	"Scraping and analysis of the (now retired) Drugs@FDA site - with scrapy and pandas"
★ / Fork	5 / 2
언어	Python
파일	FDA Spider/(Scrapy 프로젝트, 메인 스파이더는 FDASpider), masterDrugList2.csv(원시 산출물), FDA_Data_Analysis.py(pandas 분석), Drugs@FDA Analysis.ipynb(결론 노트북), .ipynb_checkpoints/
규모	"over 22,000 different products" — British Medical Journal 의뢰로 데이터 품질·누락 보고 평가

베낄 것: "스파이더 / 원시 CSV / 분석 스크립트 / 결론 노트북" 4단 분리. 특히 원시 산출물을 저장소에 남겨 재현 가능하게 한 점. 우리는 data/raw/YYYY-MM-DD/ 에 원시 응답을 그대로 남긴다.

경고 신호: 대상 사이트(Drugs@FDA 구 버전)가 은퇴하면서 이 프로젝트도 죽었다. 우리도 nedrug 게시판 구조 변경에 대비해 파서를 소스별로 격리하고, 파싱 실패를 즉시 알림으로 올려야 한다.

5.3 logiover/fda-data-scraper [F#4]

항목	값
URL	https://github.com/logiover/fda-data-scraper
설명	"FDA data scraper — openFDA drug/device/food recalls, adverse events & 510(k) clearances as JSON/CSV"
★ / Fork	0 / 0 (master 1 commit)
라이선스	MIT
파일	/examples(CLI, API, JavaScript, Python 사용 예), .gitignore, LICENSE, README.md

지원 9개 데이터셋: ① Drug recalls (enforcement) ② Drug adverse events (20M+ records) ③ Drug labels (258K records) ④ Device recalls ⑤ Device adverse events (24M+ records) ⑥ Device 510(k) clearances ⑦ Food recalls ⑧ Food adverse events ⑨ Animal & veterinary adverse events

출력 포맷: "JSON, CSV, Excel (XLSX), JSONL, XML or HTML"

자동화 기능: 일일 스케줄 실행, 완료 웹훅, Google Sheets/Excel 연동, 클라우드 스토리지 내보내기(S3, GCS), "Zapier, Make, n8n or Pipedream" 호환. 실행 경로는 Apify Console / Apify CLI / API(curl) / apify-client(JS·Python) 4가지.

베낄 것: 출력 포맷을 데이터 파이프라인이 아니라 최종 어댑터에서 스위칭하는 설계. report 모듈이 동일한 DiffResult 를 받아 xlsx/csv/json 중 하나로 렌더링한다.

기각할 것: Apify 플랫폼 의존. 로컬 실행이 요구사항이다.

5.4 coderxio/OpenFDA [F#18]

항목	값
URL	https://github.com/coderxio/OpenFDA
설명	"Python scripts for capturing OpenFDA data in a database."
★ / Fork	3 / 3
언어	Python
파일	openfda/, .gitignore, README.md, docker-compose.override.yml, docker-compose.yml
데이터	drug NDC 데이터셋 (https://open.fda.gov/apis/drug/ndc/download/) 을 압축 해제 후 drug-ndc.json 으로 이름 바꿔 ./data/ 에 배치
실행 (venv)	venv 생성 → requirements 설치 → python app/load_data.py → python app/serve_data.py
실행 (Docker)	"First run to load DB: docker-compose up --build" → 운영은 별도 compose 파일 → 정리는 docker-compose down -v
서버	CherryPy

베낄 것: load_data(적재) 와 serve_data(제공) 의 엔트리포인트 분리, 그리고 "최초 실행"과 "이후 실행"이 다른 명령이라는 명시. 우리 CLI 에서 dmf backfill 과 dmf daily 로 구현한다. 또한 원시 다운로드물을 ./data/ 에 고정 파일명으로 두는 규칙.

5.5 Tanguy9862/AI-Powered-FDA-Drug-Scraper [F#42]

항목	값
URL	https://github.com/Tanguy9862/AI-Powered-FDA-Drug-Scraper
설명	"Python-based web scraper leveraging generative AI with LangChain and GPT-4o-mini to extract and classify FDA drug approval data"
★ / Fork	3 / 0
언어	Python
파일	new_drug_approvals_scraper/(패키지), img_readme/, scraper.py, classification.py, utils.py, __init__.py, requirements.txt, setup.py, .gitignore, LICENSE, README.md
대상	https://www.drugs.com/newdrugs.html
규모	"over 1,770 records"
정규화	회사명 표기 변형을 접미사·약어·협업 서술 표준화로 약 1000종 → 700종으로 축소
자매	https://github.com/Tanguy9862/new-drug-approvals-dashboard (Dash 대시보드)

베낄 것

• scraper.py / classification.py / utils.py 분리 — 수집(결정론)과 LLM 분류(비결정론)를 절대 같은 파일에 두지 않는다. 우리 구조에서는 fetch/(결정론) 와 enrich/(agy 호출) 로 대응.
• 업체명 정규화가 필수 작업이라는 실증. DMF ENTP_NAME/MNFCTR_NAME 도 "(주)"·"주식회사"·영문/한글 혼용 때문에 같은 문제를 겪는다. parse/normalize.py 에 정규화 규칙 테이블을 둔다.

5.6 FDA DMF 목록 자체에 대해 확인된 것 / 확인 실패한 것

• FDA 는 DMF 목록을 분기별로 갱신한다. 검색 결과가 인용한 문장: "The list of DMFs, which is updated quarterly, contains DMFs received by June 30, 2026, for which acknowledgment letters were sent before July 19, 2026." [S#6]
• 컬럼(검색 결과 기준, ⚠️ 미검증): DMF 번호, submitter, file type, acknowledgment date, review division [S#27]
• https://www.fda.gov/drugs/drug-master-files-dmfs/list-drug-master-files-dmfs 와 https://www.fda.gov/drugs/drug-master-files-dmfs 는 둘 다 WebFetch 에서 HTTP 404 를 반환했다 [F#48][F#53]. 실제 xls/xlsx/zip 다운로드 URL 은 확인하지 못했다. ⚠️ 미검증.
• 이 프로젝트는 한국 DMF 가 대상이므로 FDA DMF 는 범위 밖이다. 다만 "분기 갱신 스프레드시트를 받아 이전 분기와 비교" 라는 문제 형태는 우리와 동형이므로 참고로만 남긴다.

---

6. (c) 규제 변경 감지 · 인텔리전스

이 범주가 우리 프로젝트와 문제 정의가 가장 가깝다. 세 저장소가 각각 다른 축을 보여준다.

6.1 anton-semerenko/pharma-radar — 에이전트 파이프라인의 정본 [F#6]

항목	값
URL	https://github.com/anton-semerenko/pharma-radar
설명	"Autonomous LLM agent delivering a daily, source-verified pharma regulatory & competitive intelligence briefing to Telegram."
★ / Fork	0 / 0
언어	Python
커밋	main 브랜치 2 commits
라이선스	MIT

디렉터리 구조 (원문 그대로):

├── prompts/system_prompt.md    (agent methodology)
├── config/sources.yaml         (source hierarchy & rubrics)
├── src/deliver.py              (Telegraph + Telegram publishing)
└── examples/sample_digest.md   (sample output)

감시 소스

• 규제기관: FDA, EMA, WHO, 우크라이나 당국(МОЗ, ДЕЦ, Держлікслужба)
• 업계지: Endpoints News, FiercePharma, STAT News
• 기업 IR 페이지 및 등록부

에이전트 로직 (원문 인용): Claude(Opus급)를 agentic loop 로 사용하여 "retrieves broadly, verifies every item against ≥2 independent sources or one official regulatory primary, attributes every number, and states what each development means."

검증 정책: 2개 독립 출처 또는 1개 공식 규제 1차 출처가 있어야 항목에 포함. 단일 2차 출처는 불충분으로 간주.

출력 구조: 4개 루브릭 — Regulatory & Approvals / Clinical & Pipeline / Market·Access & Ukraine / Competitive & Corporate — 에 Forward Agenda 와 Signals to Watch 섹션 추가. 각 항목은 4~7문장 + 출처 명시.

배포·스케줄: 롤링 Telegraph 페이지에 게시 + Telegram 푸시. 매일 06:00 스케줄드 태스크로 무인 실행. 배포 계층은 파이썬 표준 라이브러리만 사용.

베낄 것 (5가지, 전부 채택)

1. prompts/ 를 최상위 디렉터리로. 에이전트 프롬프트는 코드가 아니라 자산이다. prompts/dmf_summarize.md, prompts/dmf_classify.md 로 분리하고 버전 관리한다.
2. config/sources.yaml 로 소스 계층·루브릭을 데이터로 선언. 소스를 추가할 때 코드를 고치지 않는다.
3. 배포(notify) 계층은 의존성 최소화. pharma-radar 는 표준 라이브러리만 썼다. 우리는 Apprise 하나만 허용하고 그 외 SDK 는 금지한다.
4. 검증 정책을 문서로 명시. 우리 버전: "DMF 변경 건은 ① 공공 API 응답과 ② 공고 게시판 중 최소 1개의 공식 1차 출처로 뒷받침되어야 리포트에 '확정' 으로 표기한다. 한쪽만 있으면 '관찰 중(pending)' 으로 표기한다."
5. 매일 06:00 + 무인 + 스케줄드 태스크 — 우리 요구사항과 동일한 운영 형태가 실제로 굴러가고 있다는 존재 증명.

주의: ★0 / 2 commits 로 성숙도는 매우 낮다. 구조만 참고하고 코드 재사용은 하지 않는다.

6.2 mrueda/nomenclator-delta — 모듈 경계의 정본 [F#30]

항목	값
URL	https://github.com/mrueda/nomenclator-delta
설명	"Compare monthly changes in medicines and health products from the Ministerio de Sanidad's Nomenclátor de Facturación."
★ / Fork	1 / 0
언어	Python
최근 갱신	Updated Aug 9, 2026 [F#19]
라이선스	MIT

디렉터리 구조 (원문 그대로):

src/nomenclator_delta/     (collection, normalization, diffing, validation)
data/                      (snapshots and change history)
site/                      (Spanish static application)
docs-site/                 (documentation and Pages build)
tests/                     (unit and integration tests)

데이터 소스: 스페인 보건부 "Nomenclátor de facturación" — 국가보건시스템 의약품 공개 DB

델타 계산: "compares consecutive monthly releases" 하고 "finds changes by Código Nacional, medicine name, active ingredient, or laboratory." 즉 국가코드(고유 키) + 3개 부가 축으로 변경을 찾는다. added/removed/changed 를 식별한다고 README 가 기술.

출력: 백엔드 없는 정적 브라우저 앱 (GitHub Pages 호스팅)

운영: "a monthly update runbook" 문서가 존재 — 유지보수자가 정기 릴리스를 다루는 절차서

CLI:

python3 -m nomenclator_delta validate data
python3 -m nomenclator_delta dist

베낄 것 (이 프로젝트의 골격)

• collection / normalization / diffing / validation 4단 모듈 분리를 그대로 채택. 우리 명칭으로는 fetch / parse(normalize) / diff / validate.
• data/ 에 "스냅샷"과 "변경 이력"을 함께 둔다. 스냅샷은 시점의 진실, 변경 이력은 시점 간의 진실. 둘 다 보존해야 재계산이 가능하다.
• validate 를 별도 CLI 서브커맨드로. 파이프라인을 돌리기 전에 데이터 무결성을 먼저 검사한다. 우리는 dmf validate data 로 동일하게 만든다.
• docs-site/(문서) 와 site/(산출물 뷰어) 를 분리. 우리는 산출물이 xlsx 이므로 site/ 대신 reports/ 를 둔다.
• runbook 문서를 리포지토리 안에. docs/ops/runbook.md 로 채택.
• python3 -m <pkg> <subcommand> 형태의 진입점. Windows 에서도 python -m dmf_crawler daily 가 배치 파일보다 견고하다.

6.3 Mzands2622/Zanalytix — LLM 기반 변경 감지의 실물 [F#31]

항목	값
URL	https://github.com/Mzands2622/Zanalytix
설명	"AI-powered pipeline for scraping and tracking pharmaceutical clinical pipeline data with LLM-based change detection."
★ / Fork	0 / 0
언어	Python
커밋	main 브랜치 1 commit / Updated Mar 9, 2026

파일 구조: 60+ 개의 회사별 파서 모듈(abbvie_pipeline.py, pfizer_pipeline.py …) + 코어:

• db.py (DB 관리)
• function_app.py, master_scheduler.py (API 계층 / 스케줄러)
• login.py, sign_up.py (인증)
• notifications.py (알림)
• cleanup_text.py, treatment_visualizer.py (유틸)

수집 흐름 (원문): "HTML Scraping (Zyte API) --> 60+ Company Parsers (BeautifulSoup)" → 표준화 파이프라인. 각 회사 모듈은 두 함수를 반드시 구현:

• fetch_{company}_html() — 파이프라인 페이지 획득
• process_{company}_html() — 구조화 객체로 파싱

LLM 변경 감지 (원문): "GPT-4o compares old vs new treatment data, assigns priority (1-5), categorizes changes" — 비교 큐를 통해 수행. 날짜별 스냅샷을 JSON 으로 유지해 시계열 분석 가능.

저장 구조: Revised_MasterTable 이 treatment 를 키로, Treatment_Data 에 타임스탬프 스냅샷을 담는다. 별도 Stream 테이블이 변경 이벤트별 GPT-4o 응답과 메타데이터를 추적.

스케줄·알림: "Calendar-based scraping schedules with recurrence rules and auto-extension" 이 Azure Functions 를 트리거. 매칭된 변경은 사용자 저장 선호에 따라 "Twilio SMS/Calls, Email" 로 라우팅.

베낄 것 (3가지)

1. 소스별 파서 모듈의 함수 시그니처를 강제 통일 (fetch_* / process_*). 우리는 fetch(source_id) -> RawPayload, parse(RawPayload) -> list[DmfRecord] 프로토콜로 명문화한다.
2. 변경 이벤트에 우선순위 점수(1~5)를 부여하고, 그 점수로 알림 대상/채널을 결정. DMF 에서는 예: 신규 등록=3, 등록 취하=5, 제조소 주소 변경=2, 오탈자 수정=1.
3. 원본 스냅샷 테이블과 "변경 이벤트 + LLM 응답" 테이블을 분리. 우리 SQLite 스키마에 snapshots / changes / agent_runs 3테이블로 반영.

기각할 것: Azure Functions, Zyte API, Twilio, 로그인/회원가입. 로컬 단일 사용자에겐 전부 불필요.

6.4 suriyadeepan/WebScraping-for-Healthcare [F#22]

항목	값
URL	https://github.com/suriyadeepan/WebScraping-for-Healthcare
설명	"Scraping the internet for extracting healthcare and pharma data."
★ / Fork	8 / 1
언어	Python
커밋	main 브랜치 44 commits
라이선스	GPL-3.0

구조:

├── data/
├── mhra/
├── notebooks/
├── phscrape/
├── twitter/
├── .gitignore
├── LICENSE (GPL-3.0)
├── README.md
├── requirements.txt
└── tests.py

수집 대상: Drug Bank, ClinicalTrials.gov, COVID-19 API, Twitter(#remdesivir), EMC(Electronic Medicines Compendium — SMPC/PIL 추출), HPRA(아일랜드), MHRA(영국).

phscrape 모듈이 노출하는 함수: drugbank.fetch(), clinicaltrials.fetch(), emc.crawl_k(), hpra.crawl_k().

베낄 것: 소스별 서브모듈이 동일 인터페이스(fetch() / crawl_k())를 노출하는 규약. 위 Zanalytix 와 동일한 결론에 독립적으로 도달했다는 점이 이 패턴의 타당성을 보강한다.

주의: GPL-3.0 이므로 코드를 복사하면 안 된다. 설계만 참고.

6.5 상업 도구 및 업계 동향 (배경, 코드 없음)

• Clarivate 의 Biopharma Regulatory Compliance 서비스 [S#4]
• Vistaar 의 Regulatory Intelligence Database 소개 [S#4]
• IntuitionLabs: "AI and the Future of Regulatory Affairs in the U.S. Pharmaceutical Industry", "Open Source Pharma: Tools & Trends in Drug Development" [S#4]
• 2026년 1월, FDA 와 EMA 가 공동으로 "Guiding Principles for Good AI Practice in Drug Development" 를 발표 — 규제 당국이 새로운 도구 패러다임에 개방적임을 시사 [S#4]. ⚠️ 미검증(검색 요약문 기준)

---

7. (d) 범용 변경 감지 도구

7.0 이 범주에 대한 총평 — 도입이 아니라 설계 차용

도구	감지 단위	우리 요구와의 불일치
changedetection.io	페이지 텍스트 블록	DMF 는 레코드 집합이다. "이 페이지의 3줄이 바뀜"이 아니라 "등록번호 XXX 가 신규/변경/취하"를 알아야 한다
urlwatch	URL·명령 출력의 unified diff	위와 동일. 또한 xlsx 리포트 생성 기능이 없다
huginn	이벤트 그래프	Ruby/Rails + DB. Windows 단일 PC 에 얹기엔 과중
csvdiff	레코드 키 기반 added/removed/changed	✅ 맞음. 단 2021 아카이브

결정: 우리 diff 모듈은 csvdiff 의 출력 스키마를 채택하고, 필터/알림/스케줄 개념은 urlwatch·changedetection.io 에서 가져오되, 도구 자체는 도입하지 않는다.

7.1 dgtlmoon/changedetection.io [F#7][F#55][F#61]

항목	값
URL	https://github.com/dgtlmoon/changedetection.io
설명	"Best and simplest tool for website change detection, web page monitoring, and website change alerts. Perfect for tracking content changes, price drops, restock alerts, and website defacement monitoring—all for free or enjoy our SaaS plan!"
★ / Fork	33.5k / 2.0k
언어	Python
커밋	master 2,448 commits
최신 릴리스	0.55.8 (13 Jul 09:26)

콘텐츠 필터·감지

• CSS Selectors, XPath (1.0 & 2.0)
• JSONPath, jq 필터 (API 모니터링용)
• HTML 페이지 내 embedded JSON 추출
• Visual Selector 도구

모니터링

• word / line / character 레벨 diff 시각화
• 인터랙티브 브라우저 스텝 (로그인, 폼 채우기, 버튼 클릭)
• PDF 변경 추적
• 커스터마이즈 가능한 체크 간격

알림: Apprise 통합 — Discord, Email, Slack, Telegram, webhooks 등 90+ 서비스, Jinja2 템플릿

스케줄: 타임존 인식, 요일·시간 제한 지원

고급: LiteLLM 연동 AI 변경 감지·요약, REST API, Chrome 확장, 프록시(Bright Data 포함)

설치

# Docker Compose
docker compose up -d

# Docker standalone
docker run -d --restart always -p "127.0.0.1:5000:5000" -v datastore-volume:/datastore --name changedetection.io dgtlmoon/changedetection.io

# pip
pip3 install changedetection.io
changedetection.io -d /path/to/empty/data/dir -p 5000

접속: http://127.0.0.1:5000

REST API (x-api-key 헤더) [F#27] — Settings > API 에서 키 발급

# 감시 목록
curl -X GET "http://localhost:5000/api/v1/watch" \
  -H "x-api-key: YOUR_API_KEY"

# 감시 생성
curl -X POST "http://localhost:5000/api/v1/watch" \
  -H "x-api-key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com",
    "title": "My Monitor",
    "time_between_check": {"hours": 1}
  }'

# 단건 조회
curl -X GET "http://localhost:5000/api/v1/watch/{uuid}" \
  -H "x-api-key: YOUR_API_KEY"

# 수정
curl -X PUT "http://localhost:5000/api/v1/watch/{uuid}" \
  -H "x-api-key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"notification_muted": true}'

# 삭제
curl -X DELETE "http://localhost:5000/api/v1/watch/{uuid}" \
  -H "x-api-key: YOUR_API_KEY"

# 이력
curl -X GET "http://localhost:5000/api/v1/watch/{uuid}/history" \
  -H "x-api-key: YOUR_API_KEY"

# 최신 스냅샷
curl -X GET "http://localhost:5000/api/v1/watch/{uuid}/history/latest" \
  -H "x-api-key: YOUR_API_KEY"

# 이전↔최신 비교
curl -X GET "http://localhost:5000/api/v1/watch/{uuid}/difference/previous/latest?format=htmlcolor" \
  -H "x-api-key: YOUR_API_KEY"

# 전역 알림 URL 등록
curl -X POST "http://localhost:5000/api/v1/notifications" \
  -H "x-api-key: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"notification_urls": ["mailto:admin@example.com"]}'

추가 동작: 강제 재확인은 GET watch 엔드포인트에 ?recheck=1, 일시정지/음소거는 ?paused=paused / ?muted=muted. 연결 URL 형식은 로컬 http://localhost:5000/api/v1/, 호스티드 https://<your-domain>/api/v1/.

알림 템플릿 토큰 [F#55] (정확히 인용):

{{base_url}}
{{current_snapshot}}
{{diff}}
{{diff_full}}
{{diff_added}}
{{diff_removed}}
{{watch_url}}
{{triggered_text}}

예시 본문:

{
  'myKey': 1234,
  'url': '{{watch_url|tojson}}'
}

주의: {{current_snapshot}}, {{diff}}, {{diff_full}} 은 길어서 서비스 길이 제한(Discord 2,000자)을 넘길 수 있다. "your notification body contains at least something" 을 보장할 것.

베낄 것

• {{diff_added}} / {{diff_removed}} 로 알림 본문을 조립하는 토큰 설계 → 우리 notify 모듈의 템플릿 변수명을 이것과 동일하게 맞춘다(added, removed, changed, report_path, run_date).
• 알림 본문 길이 상한을 서비스별로 강제하는 규칙. Apprise windows:// 는 250자 제한이므로 토스트에는 요약 카운트만, 상세는 xlsx 링크로.
• 타임존 인식 + 요일/시간 제한 스케줄 개념. 우리는 매일 06:00 고정이지만, 공휴일 스킵 옵션을 config/schedule.yaml 로 열어둔다.
• 강제 재확인(?recheck=1) 에 대응하는 수동 실행 커맨드 dmf daily --force.

7.2 thp/urlwatch [F#5][F#26][F#50][F#60]

항목	값
URL	https://github.com/thp/urlwatch
설명	"Watch (parts of) webpages and get notified when something changes via e-mail, on your phone or via other means. Highly configurable."
★ / Fork	3.1k / 354
언어	Python
커밋	master 974 commits
릴리스	"There aren't any releases here" — 공식 릴리스 없음 [F#60]
문서	https://urlwatch.readthedocs.io/
홈페이지	https://thp.io/2008/urlwatch/
토픽	automation, monitor, python, webpage

URL 잡 형식 [F#26]:

name: "urlwatch homepage"
url: "https://thp.io/2008/urlwatch/"

URL 잡 옵션: url(필수), name, method(기본 GET), data(POST/PUT 페이로드), headers, cookies, encoding, filter, ignore_connection_errors.

셸 잡 형식:

name: "What is in my Home Directory?"
command: "ls -al ~"

설정 저장/실행: 잡은 urls.yaml 에 저장하고 urlwatch --edit 로 편집. urlwatch --list 로 인덱스 번호와 함께 목록 표시. 각 잡은 --- 만 있는 줄로 구분. 메인 설정 파일에 job_defaults 섹션을 두어 전 잡에 공통 설정 적용 가능(키 반복 제거).

내장 필터 28종 [F#50] (정확히 인용):

beautify, css, csv2text, element-by-class, element-by-id, element-by-style,
element-by-tag, format-json, grep, grepi, hexdump, html2text, pdf2text,
pretty-xml, ical2text, ocr, re.sub, re.findall, reverse, sha1sum, shellpipe,
sort, remove-duplicate-lines, strip, striplines, xpath, jq

필터 체인 예시:

url: https://example.net/css.html
filter:
  - css: ul#groceries > li.unchecked
  - html2text

diff 관련: diff_filter 는 "applied to the diff result before reporting the changes" 이며, --test-diff-filter 로 캐시된 과거 데이터로 테스트 가능. diff_tool 은 Filters 페이지에 문서화되어 있지 않음(⚠️ 미검증 — Configuration 페이지 확인 필요).

베낄 것

• config/sources.yaml 의 스키마를 urlwatch 잡 스키마에 맞춘다: name, url, method, headers, params, encoding, ignore_connection_errors, filter(체인).
• job_defaults 상속 개념 — 타임아웃·User-Agent·재시도 횟수를 소스마다 반복하지 않는다.
• 필터를 이름 붙은 체인으로 선언하고 코드가 아니라 설정으로 조합. 우리는 strip, sort, re.sub, jq 정도만 있으면 충분하다.
• ignore_connection_errors — nedrug 게시판이 일시 장애일 때 파이프라인 전체를 죽이지 않는 플래그. 채택.
• --test-diff-filter 처럼 과거 캐시로 diff 로직을 테스트하는 서브커맨드 → dmf diff --replay 2026-09-01 2026-09-02.

경고: 릴리스가 없는 저장소다. 의존성으로 채택하지 않는다.

7.3 huginn/huginn [F#8][F#65][F#68]

항목	값
URL	https://github.com/huginn/huginn
설명	"Create agents that monitor and act on your behalf. Your agents are standing by!"
★ / Fork	49.9k / 4.3k
언어	Ruby (Rails)
커밋	master 4,134 commits
라이선스	MIT

에이전트 타입(확인된 것): WeatherAgent, WebsiteAgent, EmailAgent, TwitterAgent, 그리고 HipChat / FTP / IMAP / Jabber / JIRA / MQTT 커넥터, JavaScript 실행 에이전트, 위치 추적.

동작 원리: "Huginn's Agents create and consume events, propagating them along a directed graph." "send digest email with things that you care about at specific times during the day"

WebsiteAgent 실측 [F#68]:

• 정의: "The Website Agent scrapes a website, XML document, or JSON feed and creates Events based on the results."
• mode 옵션 3종:
  • all — 모든 추출 결과에 대해 이벤트 생성
  • on_change — 이전 결과와 다를 때만 이벤트 생성
  • merge — 기존 페이로드를 유지하며 새 값으로 갱신
• 기본 스케줄: every_12h
• extract 설정 예시:

"extract": {
  "url": { "css": "#comic img", "value": "@src" },
  "title": { "css": "#comic img", "value": "@alt" },
  "hovertext": { "css": "#comic img", "value": "@title" }
}

CSS selector, XPath, JSON path, regex 를 문서 타입에 따라 지원.

주의: Huginn wiki 의 Agent-Types 페이지는 로딩 오류로 ChangeDetectorAgent, DeDuplicationAgent, DigestAgent, EmailDigestAgent, SchedulerAgent, ShellCommandAgent 의 설명을 확보하지 못했다 [F#65]. ⚠️ 미검증.

베낄 것

• mode: all / on_change / merge 3분류를 diff 모듈의 출력 모드로 그대로 채택.
  • all = 전체 스냅샷 시트
  • on_change = 변경 건만 담은 시트 (일일 리포트의 메인)
  • merge = 마스터 테이블 갱신 (누적 현황 시트)
• extract 를 선언적 데이터로 표현하는 방식 — 게시판 파싱 규칙을 config/sources.yaml 안에 {"필드": {"css": "...", "value": "..."}} 형태로 넣는다.

기각: Ruby/Rails 스택 전체.

7.4 larsyencken/csvdiff — diff 출력 스키마의 정본 [F#32]

항목	값
URL	https://github.com/larsyencken/csvdiff
설명	"Generate a diff between two tabular datasets expressed in CSV files."
★ / Fork	131 / 31
언어	Python
상태	2021년 2월 18일 아카이브 (read-only, 유지보수 종료)
라이선스	BSD-3-Clause

CLI:

csvdiff --style=summary KEY file1.csv file2.csv
csvdiff --style=summary id a.csv b.csv

옵션: --style(summary, pretty), --output(JSON 출력 파일), --ignore-columns(제외 컬럼 콤마 목록), --significance(수치 비교 정밀도, 음수는 자릿수)

JSON 출력 구조 (이것을 채택한다):

• _index — 키 컬럼 배열
• added — 새 행 전체 필드
• removed — 삭제된 행 전체 필드
• changed — 변경 행. 키별로 필드 레벨 "from/to"

Python API:

import csvdiff
patch = csvdiff.diff_files('a.csv', 'b.csv', ['id'])
patch = csvdiff.diff_records(records_a, records_b, ['id'])

patch 적용 메서드도 제공.

채택 결정: JSON 스키마와 CLI 옵션 이름은 채택, 라이브러리는 미채택(아카이브). 우리 diff/ 모듈이 동일 구조를 만들어낸다:

{
  "_index": ["DMF_PERMIT_NO"],
  "added":   [ { "DMF_PERMIT_NO": "...", "INGR_KOR_NAME": "...", ... } ],
  "removed": [ { "DMF_PERMIT_NO": "...", ... } ],
  "changed": {
    "20250001": {
      "MNFCTR_PLACE": { "from": "구주소", "to": "신주소" }
    }
  }
}

--ignore-columns 는 필수다 — 조회수·수집시각 같은 노이즈 필드를 diff 에서 빼야 오탐이 사라진다.

7.5 ecprice/newsdiffs [F#43]

항목	값
URL	https://github.com/ecprice/newsdiffs
설명	"A website and framework that tracks changes in online news articles over time."
★ / Fork	506 / 136
언어	Python (Django)

아키텍처:

• 스냅샷 저장: 기사별 git 저장소가 아니라 디렉터리 기반. 셋업 시 생성되는 articles 디렉터리에 저장
• diff 생성: 스크래퍼가 주기적으로 실행되어 버전을 캡처하고 스냅샷 간 변경 탐지
• 스케줄링: cron 또는 루프

  while true; do python website/manage.py scraper; sleep 60m; done
  

• 파서 프레임워크: parsers/ 디렉터리에 모듈식, BaseParser 를 상속한 사이트별 서브클래스
• 로깅: 진행 로그 /tmp/newsdiffs_logging(per-run), 에러 로그 /tmp/newsdiffs/logging_errs(cumulative)

베낄 것: per-run 로그와 누적 에러 로그의 분리. 우리는 logs/runs/YYYY-MM-DD.log(실행별) 와 logs/errors.log(누적)로 구현한다. 워치독이 감시할 대상은 후자다. 또한 BaseParser 상속 구조 — 소스가 늘어날 때 파서만 추가하면 되는 형태.

7.6 simonw/git-scraper-template [F#47]

항목	값
URL	https://github.com/simonw/git-scraper-template
설명	"Template repository for setting up a new Git scraper using GitHub Actions."
★ / Fork	132 / 10

동작: GitHub Actions 가 ./download.sh(curl) 로 URL 내용을 받아 변경이 있으면 저장소에 커밋. 기본 스케줄 24시간마다. 파일: .github/workflows/scrape.yml, README.md, download.sh, scrape.sh(템플릿 생성 시 만들어짐). 파이썬 스크래퍼는 scrape.yml 의 주석 블록을 풀고 requirements.txt 를 두면 지원.

관련 개념 [S#24]: "Git scrapers can grab data periodically, commit it to a repository if changed, creating a commit log of changes to information over time." Simon Willison 의 git-history 도구가 이렇게 수집한 데이터를 분석하는 데 쓰인다.

베낄 것: data/snapshots/ 를 로컬 git 리포지토리로 만들어 매일 커밋한다. 이러면 (1) 변경 이력이 공짜로 생기고 (2) git diff 로 언제든 재검증 가능하며 (3) 스냅샷 파일이 무한히 쌓이지 않는다. 원격 push 는 하지 않는다(사내 데이터).

---

8. (e) 크롤링 → 엑셀/시트 리포트 파이프라인

8.1 Bwhiz/Auto-Excel-Reports [F#16]

항목	값
URL	https://github.com/Bwhiz/Auto-Excel-Reports
설명	"Scripts and workflows to automate the generation and distribution of Excel reports using Python's openpyxl library" + GitHub Actions 로 "scheduled and event-triggered report generation and email distribution"
★ / Fork	1 / 0
언어	Python
파일	.github/workflows/, assets/, report_script.py, auto_mail.py, requirements.txt, .gitignore, README.md

핵심:

1. 리포트 생성: openpyxl 로 워크북 생성·서식
2. 스케줄: GitHub Actions cron — 예시 워크플로가 schedule: - cron: '0 0 * * *' (매일 실행)
3. 배포: auto_mail.py 가 SMTP 로 발송, 발신자 자격증명·수신자 주소는 환경변수
4. 보안: GitHub Secrets 로 "securely handle sensitive information like email credentials"

베낄 것: report_script.py(생성)와 auto_mail.py(배포) 파일 분리 — 리포트를 만들 수 있는데 배포에서 실패하는 경우와, 애초에 리포트를 못 만드는 경우를 로그에서 구분할 수 있어야 한다. 우리는 report/ 와 notify/ 로 모듈 분리. 기각: GitHub Actions(로컬 실행 요구), SMTP(1차 채널은 Windows 토스트).

8.2 XlsxWriter — 탭 연동 리포트의 실제 API [F#58]

우리 요구사항 "탭(시트)별로 연동된 보기 좋은 xlsx" 를 만족시키는 정확한 API 는 다음과 같다. (출처: https://xlsxwriter.readthedocs.io/worksheet.html)

내부 하이퍼링크 — write_url()

write_url(row, col, url[, cell_format[, string[, tip]]])

# 현재 워크시트의 셀로 링크
worksheet.write_url('A1',  'internal:Sheet2!A1')

# 다른 워크시트의 셀로 링크
worksheet.write_url('A2',  'internal:Sheet2!A1:B2')

# 시트명에 공백이 있으면 작은따옴표로 감싼다
worksheet.write_url('A3',  "internal:'Sales Data'!A1")

표 — add_table()

add_table(first_row, first_col, last_row, last_col, options)

worksheet.add_table('B3:F7', { ... })
# 또는 행-열 표기
worksheet.add_table(2, 1, 6, 5, { ... })

컬럼 너비 — set_column()

set_column(first_col, last_col, width, cell_format, options)

worksheet.set_column(0, 0, 20)   # A열 너비 20
worksheet.set_column(1, 3, 30)   # B-D열 너비 30
worksheet.set_column('E:E', 20)  # E열 너비 20
worksheet.set_column('F:H', 30)  # F-H열 너비 30

조건부 서식 — conditional_format()

conditional_format(first_row, first_col, last_row, last_col, options)

worksheet.conditional_format('B3:K12', {'type':     'cell',
                                        'criteria': '>=',
                                        'value':    50,
                                        'format':   format1})

확인 실패: autofilter() 와 freeze_panes() 는 위 fetch 에서 문서 내용을 확보하지 못했다. ⚠️ 미검증 — 다만 XlsxWriter 에 두 메서드가 존재한다는 것은 널리 알려져 있으므로 구현 시 문서 재확인 필요.

채택: 리포트 엔진은 XlsxWriter. 근거는 위 4개 API 가 한 라이브러리에서 나오고, 특히 write_url('internal:...') 이 "탭 간 연동"의 유일한 정공법이기 때문이다. 리포트 시트 설계(초안)

시트명	내용	연동
요약	실행일자, 신규/변경/취하 건수, 각 카운트 셀이 해당 시트로 internal 링크	→ 신규/변경/취하
신규	added 레코드. add_table + autofilter	각 행의 등록번호 → 전체현황 해당 행
변경	changed 레코드. from/to 2열 병기, 조건부 서식으로 변경 필드 강조	동일
취하	removed 레코드	동일
전체현황	최신 스냅샷 전량(merge 모드)	—
실행로그	소스별 HTTP 상태, 건수, 소요시간, 에러	—

8.3 HasData/playwright-scraping [F#41]

항목	값
URL	https://github.com/HasData/playwright-scraping
설명	"Web scraping and browser automation using Playwright in both Python and Node.js. It includes scripts for common tasks such as scraping data, interacting with web elements, handling authentication, and managing errors."
★ / Fork	15 / 4
커밋	main 5 commits

Python/ 과 NodeJS/ 가 동일한 하위 구조:

basics/        (브라우저 실행, headless 모드, 멀티 탭)
scraping/      (텍스트, 링크, 이미지, Shadow DOM, 대기)
selectors/     (CSS, XPath, role 기반, text 기반)
interactions/  (클릭, 폼, 드롭다운, 페이지네이션, 스크롤)
save_data/     (JSON, CSV, PDF, 다운로드, 스크린샷)
auth/          (basic auth, 쿠키)
browser/       (user agent, 프록시, 디바이스 에뮬레이션)
errors/        (재시도 로직, 타임아웃 처리)
debug/         (video/trace 녹화, 일시정지, 콘솔 검사)

시연 대상: Amazon, WooCommerce 상품 데이터, 요소 선택, 폼 상호작용, 페이지네이션, 무한 스크롤.

베낄 것: 이 디렉터리 목록을 fetch 모듈의 요구사항 체크리스트로 사용한다. 특히

• errors/ — 재시도·타임아웃은 처음부터 설계에 넣는다
• debug/ — 실패 시 trace/스크린샷 자동 저장. nedrug 게시판 구조가 바뀌었을 때 원인 파악의 유일한 단서가 된다. data/debug/YYYY-MM-DD/ 에 저장.
• browser/ — User-Agent 설정. 공공기관 사이트는 기본 UA 를 차단하는 경우가 있다.

의사결정: DMF API 호출은 requests 로 충분하다. Playwright 는 nedrug 게시판(/bbs/117) 파싱에만 조건부로 도입한다(정적 HTML 이면 requests + BeautifulSoup 로 끝낸다). ⚠️ 미검증 — 게시판이 JS 렌더링인지 실측 필요.

8.4 검색 결과에만 있는 파이프라인 예시들 [S#7][S#17][S#29]

프로젝트	요점
god233012yamil/Excel-Automation-Using-Python	openpyxl 로 엑셀 읽기/쓰기/수정 예제 모음
prabudevarajan/Task-Reminder-Automation-...	pandas + openpyxl + schedule 라이브러리. Excel/CSV 에 태스크 저장, 15/7/3/1일 전 이메일, daily scheduler + 로깅
ManiMozaffar/linkedIn-scraper	Playwright 봇 + FastAPI. 결과를 DB 와 Telegram 채널에 저장
dineshk-qa/playwright.slack.reporter	Playwright 결과(통과/실패/flaky 수)를 Slack 웹훅으로
nmpowell gist	기존 Windows Task Scheduler 태스크와 상호작용하는 파이썬 스크립트

schtasks 로 일일 태스크를 만드는 표준 구문 [S#29]:

schtasks /create /tn "Task Name" /tr path_to_bat_file/run.bat /sc DAILY /st 16:00

일반적 접근: 파이썬을 호출하는 배치 파일을 만들고 그것을 Task Scheduler 에 등록.

채택: 우리 06:00 실행 등록 명령의 기본형은 다음과 같다(⚠️ 실측 필요 — 계정/권한//ru /rl 옵션).

schtasks /create /tn "DMF_Crawler_Daily" /tr "D:\workspace\DMF_Crawler\ops\tasks\run_daily.cmd" /sc DAILY /st 06:00 /rl HIGHEST /f

8.5 대안 경로: 786raees/task-scheduler-python [F#45]

항목	값
URL	https://github.com/786raees/task-scheduler-python
설명	"The Task Scheduler Python project provides a convenient way to interact with the Windows Task Scheduler using Python and the win32com.client library."
★ / Fork	2 / 0
언어	Python
커밋	main 2 commits
파일	.vscode/, app/, .gitignore, LICENSE(MIT), README.md, main.py, requirements.txt
의존성	pip install pywin32

TaskScheduler 클래스 메서드:

• create_task() — 실행 경로, 인자, ISO 8601 트리거 시각
• get_all_tasks() — 태스크 열거
• toggle_task() — 활성/비활성 토글
• run_task() — 즉시 실행
• delete_task() — 삭제

부분채택: 설치/제거 스크립트에서 schtasks 문자열을 조립하는 대신 COM 으로 다루면 태스크 존재 여부 확인·재등록·상태 조회가 훨씬 안정적이다. 우리 ops/tasks/install_tasks.py 의 구현 방식으로 이 API 형태를 참고한다. 단 코드 복사는 하지 않는다(★2, 2 commits).

---

9. (f) AI CLI headless 자동화

중요한 전제 정정: 이 프로젝트가 실제로 사용할 CLI 는 Google Antigravity CLI (agy) 이며 headless 모드는 agy -p 다. 그러나 raw dump 는 agy 를 조사하지 않았다 — claude -p, gemini -p, codex exec 세 가지만 조사되었다. 따라서 아래 내용은 "agy 에 사상해야 할 공통 규약"으로 읽어야 하며, agy 의 실제 플래그는 전부 ⚠️ 미검증이다.

9.1 claude -p (Claude Code headless) — 가장 상세히 문서화된 레퍼런스 [F#25]

출처: https://code.claude.com/docs/en/headless

기본 사용

claude -p "Find and fix the bug in auth.py" --allowedTools "Read,Edit,Bash"
claude -p "What does the auth module do?"

• -p (= --print) 로 비대화형 실행
• 종료 코드: 성공 0, 실패 시 0 이 아닌 값. 잘못된 플래그는 실행 전 stderr 로 보고. 실행 중 발생한 실패(예: 인증 누락)는 결과로 stdout 에 출력
• -p 와 자주 조합: --continue, --allowedTools, --output-format
• --bg 는 거부됨. --cloud + 태스크 설명도 거부. --cloud + 세션 ID + -p 는 클라우드 세션에 메시지를 큐잉하고 종료

--bare 모드 (CI/스크립트 권장)

claude --bare -p "Summarize README.md" --allowedTools "Read"

• hooks, skills, custom commands, subagents, plugins, MCP servers, auto memory, CLAUDE.md 자동 탐색을 건너뛴다 → 모든 머신에서 동일 결과
• bare 모드에서는 OAuth 자격증명/시스템 키체인을 읽지 않는다. ANTHROPIC_API_KEY 를 환경변수로 설정하거나 --settings JSON 에 apiKeyHelper 제공
• bare 모드 기본 도구: Bash, file read, file edit
• 컨텍스트 주입 플래그:

로드할 것	플래그
시스템 프롬프트 추가	--append-system-prompt, --append-system-prompt-file
설정	--settings <file-or-json>
MCP 서버	--mcp-config <file-or-json>
커스텀 에이전트	--agents <json>
플러그인	--plugin-dir <path>, --plugin-url <url>

• 문서 주석: "--bare is the recommended mode for scripted and SDK calls, and will become the default for -p in a future release."
• 경고: --bare 없이는 신뢰하지 않은 폴더에서도 프로젝트 .claude/settings.json 의 hooks 를 실행하고 .mcp.json 의 서버에 연결한다. -p 세션은 워크스페이스 신뢰 대화상자도, 서버별 승인 프롬프트도 표시하지 않는다.

stdin 파이프

cat build-error.txt | claude -p 'concisely explain the root cause of this build error' > output.txt

• 파이프 stdin 상한 10MB. 초과 시 명확한 에러와 함께 비정상 종료. 더 큰 입력은 파일로 쓰고 경로를 프롬프트에 참조
• stdin 을 읽을 수 없으면 stderr 에 경고 후 커맨드라인 프롬프트로 계속. v2.1.211 이전에는 Windows 에서 읽을 수 없는 stdin 이 세션을 크래시시키거나 출력 없이 조용히 종료시켰다

빌드 스크립트 통합 예 (Windows 이식성 고려한 이스케이프)

{
  "scripts": {
    "lint:claude": "git diff main | claude -p \"you are a typo linter. for each typo in this diff, report filename:line on one line and the issue on the next. return nothing else.\""
  }
}

구조화 출력 — 이 프로젝트의 핵심 규약

• --output-format 값: text(기본), json(result·session ID·metadata 포함), stream-json(개행 구분 JSON 스트리밍)

claude -p "Summarize this project" --output-format json

claude -p "Extract the main function names from auth.py" \
  --output-format json \
  --json-schema '{"type":"object","properties":{"functions":{"type":"array","items":{"type":"string"}}},"required":["functions"]}'

• 구조화 결과는 응답의 structured_output 필드에 담긴다. 텍스트 결과는 result 필드
• 스키마가 유효하지 않으면 Error: --json-schema is not a valid JSON Schema + 검증기 진단 출력. format 키워드(예: "format": "email")는 허용되지만 주석으로만 취급하고 강제하지 않는다. v2.1.205 이전에는 잘못된 스키마를 조용히 무시하고 비구조화 텍스트를 반환했다
• --output-format json 사용 시 응답 페이로드에 total_cost_usd 와 모델별 비용 내역 포함(클라이언트 측 추정치)

jq 로 파싱:

# 텍스트 결과 추출
claude -p "Summarize this project" --output-format json | jq -r '.result'

# 구조화 출력 추출
claude -p "Extract function names from auth.py" \
  --output-format json \
  --json-schema '{"type":"object","properties":{"functions":{"type":"array","items":{"type":"string"}}},"required":["functions"]}' \
  | jq '.structured_output'

스트리밍

claude -p "Explain recursion" --output-format stream-json --verbose --include-partial-messages

claude -p "Write a poem" --output-format stream-json --verbose --include-partial-messages | \
  jq -rj 'select(.type == "stream_event" and .event.delta.type? == "text_delta") | .event.delta.text'

• 스트림 마지막 줄은 최종 응답 텍스트·비용·세션 메타데이터를 담은 result 메시지
• 소비자가 느리게 읽으면 큐 배출까지 대기, 최대 30초(v2.1.214 이전엔 약 2초라 대용량 응답 끝이 잘렸다)
• 서브에이전트 메시지는 parent_tool_use_id 로 구분(메인은 null). --forward-subagent-text 또는 CLAUDE_CODE_FORWARD_SUBAGENT_TEXT 로 서브에이전트 텍스트·사고 블록도 방출(v2.1.211+)

프로세스 수명

• 백그라운드 Bash 태스크는 최종 결과 반환 + stdin 닫힘 약 5초 후 종료. v2.1.163 이전에는 종료하지 않는 백그라운드 프로세스가 claude -p 를 무한정 붙잡았다
• 백그라운드 서브에이전트/워크플로는 5초 유예에서 면제되어 완료까지 대기. v2.1.182 부터 연속 유휴 대기 최대 10분으로 상한. CLAUDE_CODE_PRINT_BG_WAIT_CEILING_MS 로 조정, 0 이면 무제한
• SIGTERM 으로 중단하면 종료 코드 143. 진행 중이던 턴은 미완료로 남고 결과가 기록되지 않는다. 턴을 끝내려면 SIGINT 를 보내거나 SDK interrupt() 호출. SIGTERM 시 실행 중 Bash 명령의 프로세스 트리를 종료하고 SessionEnd 훅을 실행 후 종료

agy 로 사상할 규약 (⚠️ 플래그명은 실측 필요)

개념	claude	gemini	codex	agy (미검증)
비대화형 프롬프트	-p / --print	-p	codex exec	agy -p
JSON 출력	--output-format json	--format=json	(문서 미확인)	?
스키마 강제	--json-schema	없음	없음	?
권한 우회	--dangerously-skip-permissions	—	--ask-for-approval never	?
쓰기 허용	--allowedTools	—	--sandbox workspace-write	?
전자동	—	—	--full-auto	?
시스템 프롬프트	--append-system-prompt-file	GEMINI_SYSTEM_MD 환경변수	—	?
컨텍스트 최소화	--bare	—	--ephemeral	?

반드시 지킬 것: (1) 프롬프트는 파일에 두고 $(cat ...) 로 주입, (2) 출력은 파일로 리다이렉트 후 파싱, (3) 종료 코드로 성공/실패 분기, (4) 타임아웃을 반드시 걸 것, (5) 실패해도 파이프라인 전체가 죽지 않게 — AI 요약은 선택적 보강이지 필수 경로가 아니다.

9.2 실전 호출 예시 — drew.tech [F#21]

출처: https://drew.tech/posts/claude-code-as-a-cron-job

claude \
  --dangerously-skip-permissions \
  --output-format json \
  --json-schema "$(cat /tmp/schema.json)" \
  -p "$(cat /tmp/prompt.txt)" \
  > /tmp/output.json

플래그	용도
--dangerously-skip-permissions	권한 프롬프트 우회
--output-format json	구조화 JSON 반환
--json-schema	제공된 스키마로 출력 검증
-p	파일 또는 stdin 에서 프롬프트 수용

출력 처리: stdout 을 /tmp/output.json 으로 리다이렉트 → sandbox.readFileToBuffer() 로 읽기 → JSON 파싱 후 structured_output 필드 추출 → Zod 스키마로 검증.

함정: "snapshots preserve auth state" — MCP·통합은 자동화 시작 전에 스냅샷에 미리 설정해두어야 한다. PATH/환경변수 이슈는 이 글에서 언급되지 않았다.

이 스니펫이 우리 orchestrate 모듈의 원형이다. 4개 요소 — 스키마 파일, 프롬프트 파일, 출력 파일, 권한 우회 플래그 — 를 그대로 ops/agent/run_agy.cmd 에 옮긴다.

9.3 jshchnz/claude-code-scheduler [F#9][F#39][F#44][F#57][F#66]

항목	값
URL	https://github.com/jshchnz/claude-code-scheduler
설명	"Put Claude on autopilot. Schedule code reviews, security audits, and anything else - Claude Code runs them automatically, even while you sleep."
★ / Fork	510 / 37
언어	TypeScript
요구사항	"Claude Code v1.0.33+"

파일 구조:

.claude-plugin/     플러그인 설정
commands/           CLI 명령 구현
src/                소스
skills/scheduler/   스케줄러 스킬 모듈
examples/           사용 예시
dist/               빌드 산출물
package.json, tsconfig.json, vitest.config.ts

src/ 하위 [F#57]:

__tests__/  cron/  history/  logs/  schedulers/  utils/  vcs/
config.ts  index.ts  types.ts

src/schedulers/ 하위 [F#66] (정확히 인용):

base.ts
darwin.ts
index.ts
linux.ts
windows.ts

동작: 태스크를 OS 네이티브 스케줄러에 등록하고, 예정 시각에 claude -p "your command" 를 실행. 출력은 ~/.claude/logs/<task-id>.log 에 로깅.

OS 지원: "macOS (launchd), Linux (crontab), Windows (Task Scheduler)"

설정 형식: .claude/schedules.json(프로젝트) 또는 ~/.claude/schedules.json(전역). 속성: id, name, trigger(cron 표현식), execution(command, timeout, skipPermissions), 선택적 worktree.

지원 플래그: --dangerously-skip-permissions(파일 편집·명령 실행 자율 수행). --output-format 은 README 에 명시되지 않음.

실제 스케줄 JSON 전문 [F#44] (examples/daily-review.json, 원문 그대로):

{
  "version": 1,
  "tasks": [
    {
      "id": "daily-code-review",
      "name": "Daily Code Review",
      "description": "Review commits from the previous day for code quality and potential issues",
      "enabled": true,
      "trigger": {
        "type": "cron",
        "expression": "0 9 * * 1-5",
        "timezone": "local"
      },
      "execution": {
        "command": "Review all commits from yesterday. Check for: 1) Code quality issues, 2) Security vulnerabilities, 3) Performance concerns, 4) Missing tests. Summarize findings and suggest improvements.",
        "workingDirectory": ".",
        "timeout": 300
      },
      "tags": ["code-quality", "daily"],
      "createdAt": "2025-01-01T00:00:00.000Z",
      "updatedAt": "2025-01-01T00:00:00.000Z"
    }
  ],
  "settings": {
    "defaultTimezone": "local",
    "logRetentionDays": 30,
    "maxExecutionHistory": 100
  }
}

examples/ 에는 daily-review.json 과 weekly-audit.json 두 파일이 있다 [F#39].

Windows 에서 스케줄된 Claude 태스크 확인 [S#28]:

schtasks /query /tn "ClaudeSchedule*"

플러그인은 태스크 생성 시 래퍼(wrapper) 셸 스크립트를 생성해 Claude Code 를 프롬프트와 함께 호출하고, 그 래퍼를 Task Scheduler 에 등록한다. Task Scheduler 는 시스템 레벨 프로세스이므로 앱을 열지 않아도 실행된다.

베낄 것 (3가지, 전부 채택)

1. src/schedulers/{base,darwin,linux,windows} 어댑터 분리 → 우리는 Windows 만 필요하지만 ops/tasks/ 에 동일한 인터페이스를 두어 나중에 서버 이관이 가능하게 한다.
2. 스케줄 정의를 JSON/YAML 파일로. 위 JSON 의 필드 구성(id, name, enabled, trigger.{type,expression,timezone}, execution.{command,workingDirectory,timeout}, tags, settings.{defaultTimezone,logRetentionDays,maxExecutionHistory})을 거의 그대로 config/schedule.yaml 로 옮긴다. 특히 timeout(초)과 logRetentionDays 는 필수다.
3. 태스크 ID 별 로그 파일(logs/<task-id>.log). 우리는 logs/runs/<task-id>-YYYYMMDD.log.

9.4 Gemini CLI [F#35][S#20]

addyosmani/gemini-cli-tips (★2.4k / Fork 105):

# 원샷
gemini -p "Your prompt here"

# stdin 파이프
echo "Count to 10" | gemini

• "output a single response and exit" — 대화형 REPL 진입 없음
• --format=json 으로 프로그램적 소비. "parse the JSON to get the answer or any tool actions details"
• 시스템 프롬프트 교체:

export GEMINI_SYSTEM_MD="/path/to/custom_system.md"

• 위치: "It transforms Gemini CLI from an interactive assistant into a backend service or utility that other programs can call."
• 관련 문서/논의: https://github.com/google-gemini/gemini-cli/discussions/3215 (Headless execution), https://geminicli.com/docs/issue-and-pr-automation/

주의: 블로그가 소개한 예제 저장소 github.com/testing-in-production/gemini-jobs 는 404 다 [F#17].

9.5 Codex CLI [S#26]

• codex exec 는 대화형 TUI 없이 실행 — CI/CD, Git hooks, cron job, 스크립트 자동화용
• 단일 에이전트 세션을 시작해 태스크를 완료까지 실행, 진행 상황은 stderr 로 스트리밍, 최종 에이전트 메시지는 stdout 으로, 그리고 종료. 승인 프롬프트 없음
• 기본 샌드박스는 read-only. 파일 수정이 필요하면 --sandbox workspace-write, 무인 실행은 --ask-for-approval never
• GitHub Actions 예시: codex exec --full-auto 를 cron: '0 8 * * 1-5' 스케줄로
• 배치 패턴: bash 루프로 codex exec --full-auto --ephemeral 를 태스크 목록마다 별도 세션으로 실행

agy 에 대한 시사점: 세 CLI 모두 "기본은 안전(읽기 전용/승인 요구), 자동화는 명시적 플래그로 해제" 구조다. agy 도 동일할 가능성이 높으므로, 부트스트랩 시 agy --help 로 (a) 비대화형 프롬프트 플래그, (b) 쓰기 권한 플래그, (c) 승인 우회 플래그, (d) JSON 출력 플래그 4가지를 반드시 식별해 docs/research/ 에 기록해야 한다.

9.6 Claude Code Desktop 스케줄드 태스크 — 우리가 쓰지 않을 경로 [F#49]

출처: https://code.claude.com/docs/en/desktop-scheduled-tasks

세 가지 스케줄링 옵션 비교(문서 표 원문):

	Cloud (routines)	Desktop	/loop
실행 위치	클라우드, 기본 Anthropic 관리	사용자 머신	사용자 머신
머신 켜짐 필요	No	Yes	Yes
열린 세션 필요	No	No	Yes
재시작 후 지속	Yes	Yes	만료 전이면 --resume 시 복원
로컬 파일 접근	No (fresh clone)	Yes	Yes
MCP 서버	태스크별 커넥터	설정 파일 + 커넥터	세션 상속
권한 프롬프트	No (자율 실행)	태스크별 설정 가능	세션 상속
스케줄 커스터마이즈	CLI /schedule	Yes	Yes
최소 간격	1시간	1분	1분

주요 제약:

• 로컬 태스크는 앱이 열려 있고 컴퓨터가 깨어 있을 때만 발화한다. 컴퓨터가 자면 실행은 스킵
• Settings → Desktop app → General 의 Keep computer awake 로 유휴 절전 방지 가능. 노트북 뚜껑을 닫으면 여전히 잠듦
• 놓친 실행: 앱 시작/기기 깨어남 시 지난 7일 내 놓친 실행을 확인해 가장 최근에 놓친 1회만 캐치업 실행하고 나머지는 폐기. "A task scheduled for 9am might run at 11pm if your computer was asleep all day."
• 태스크마다 몇 분의 결정론적 지연 오프셋이 붙어 API 트래픽을 분산
• 프롬프트 파일: ~/.claude/scheduled-tasks/<task-name>/SKILL.md (YAML frontmatter 로 name/description, 본문이 프롬프트). 스케줄·폴더·모델·활성 상태는 이 파일에 없음
• 태스크가 실행 중 update_scheduled_task MCP 도구로 자기 스케줄/프롬프트를 수정 가능

기각 결정: Desktop 스케줄드 태스크는 앱이 열려 있어야 한다는 치명적 제약 때문에 "재부팅 후에도 자동 복구되는 서비스" 요구를 만족하지 못한다. Windows Task Scheduler + 워치독으로 간다. 다만 채택할 개념 2가지: ① 놓친 실행 캐치업 로직 — 06:00 에 PC 가 꺼져 있었다면 부팅 후 1회만 따라잡는다(중복 실행 금지). ② 프롬프트를 YAML frontmatter + 본문 마크다운 파일로 관리.

---

10. (g) Windows 서비스화 · 워치독 · 토스트

10.1 winsw/winsw — 서비스화 1순위 [F#10][F#23][F#59]

항목	값
URL	https://github.com/winsw/winsw
설명	"A wrapper executable that can run any executable as a Windows service, in a permissive license."
★ / Fork	14.3k / 1.7k
언어	C#
커밋	v3 브랜치 841 commits
최신 릴리스	v3.0.0-alpha.11 — "29 Jan 02:20"
최신 안정	v2.12.0 — "28 Jan 16:22"
배포	GitHub Releases + NuGet/Maven(2.x)

설치 절차 (README 원문 요약): WinSW.exe 또는 WinSW.zip 을 받아 → myapp.xml 작성 → winsw install myapp.xml → winsw start myapp.xml → winsw status myapp.xml. 또는 WinSW.exe 를 myapp.exe 로 리네임하고 myapp.xml 을 나란히 두면 자동 발견된다.

XML 설정 요소 전문 [F#23]:

<!-- 실패 시 동작: restart / reboot / none. delay 단위: sec/secs/min/mins/hour/hours/day/days -->
<onfailure action="restart" delay="10 sec"/>
<onfailure action="restart" delay="20 sec"/>
<onfailure action="reboot" />

<!-- Windows SCM 이 실패 카운트를 리셋하는 시점. 기본 1 day -->
<resetfailure>1 hour</resetfailure>

<!-- Automatic | Manual. 기본 Automatic -->
<startmode>Automatic</startmode>

<!-- Automatic 일 때 지연 시작 -->
<delayedAutoStart>true</delayedAutoStart>

<!-- 로그 모드: append(기본) | reset | ignore | roll -->
<log mode="roll"></log>

<!-- 시작/정지 실행 파일과 인자 -->
<executable>catalina.sh</executable>
<startarguments>jpda run</startarguments>
<stopexecutable>catalina.sh</stopexecutable>
<stoparguments>stop</stoparguments>

<!-- 환경변수 -->
<env name="HOME" value="c:\\abc" />

<!-- 작업 디렉터리 -->
<workingdirectory>C:\\application</workingdirectory>

<!-- 프로세스 우선순위: idle | belownormal | normal | abovenormal | high | realtime -->
<priority>idle</priority>

<!-- 서비스 계정. gMSA 는 username 끝에 $ 를 붙이고 password 생략 -->
<serviceaccount>
  <username>DomainName\\UserName</username>
  <password>Pa55w0rd</password>
  <allowservicelogon>true</allowservicelogon>
</serviceaccount>

설정 XML 은 %Name% 형태의 환경변수 확장을 지원한다.

샘플 파일: https://github.com/winsw/winsw/blob/v3/samples/minimal.xml (필수 옵션만), https://github.com/winsw/winsw/blob/v3/samples/complete.xml (전체 옵션)

채택 (1순위) — 근거:

• <onfailure action="restart" delay="10 sec"/> 를 여러 개 나열해 1차/2차 재시도 지연을 다르게 줄 수 있다. 요구사항 "서비스가 죽으면 복구" 를 선언적으로 만족.
• <resetfailure>1 hour</resetfailure> 로 "1시간 정상 동작하면 실패 카운트 리셋" — 무한 재시작 루프 방지.
• <log mode="roll"> 로 로그 로테이션 내장.
• <startmode>Automatic</startmode> + <delayedAutoStart>true</delayedAutoStart> 로 재부팅 후 자동 복구 요구를 만족. 지연 시작은 부팅 직후 네트워크 미준비 상태를 회피.
• 파이썬 런타임 의존이 없다(C# 단일 exe).

우리 XML 초안 (ops/winsw/dmf-watchdog.xml):

<service>
  <id>DMFCrawlerWatchdog</id>
  <name>DMF Crawler Watchdog</name>
  <description>DMF_Crawler 일일 파이프라인 감시 및 복구 안내</description>
  <executable>D:\workspace\DMF_Crawler\.venv\Scripts\python.exe</executable>
  <arguments>-m dmf_crawler watchdog</arguments>
  <workingdirectory>D:\workspace\DMF_Crawler</workingdirectory>
  <startmode>Automatic</startmode>
  <delayedAutoStart>true</delayedAutoStart>
  <onfailure action="restart" delay="10 sec"/>
  <onfailure action="restart" delay="60 sec"/>
  <onfailure action="restart" delay="300 sec"/>
  <resetfailure>1 hour</resetfailure>
  <log mode="roll"></log>
  <env name="PYTHONUTF8" value="1"/>
  <priority>belownormal</priority>
</service>

⚠️ 미검증 — <id>, <name>, <description>, <startarguments> vs <arguments> 의 정확한 요구 여부는 samples/minimal.xml 로 실측 필요.

10.2 NSSM — 서비스화 2순위 [F#24][F#51][F#14]

kirillkovalenko/nssm (★1.2k / Fork 169, C++, 버전 2.24 / 2014-08-31). README 는 http://nssm.cc/ 를 공식 문서로 지목하며, 이 저장소는 커뮤니티 포크로 보인다(공식 소스 미러 여부 불확실 — ⚠️ 미검증). 핵심 문장: NSSM "can start any application as an NT service and will restart the service if it fails for any reason."

CLI 사용법 전문 [F#24] (출처: https://nssm.cc/usage):

nssm install <servicename> <application> [<options>]

nssm set <servicename> Application C:\path\to\app.exe
nssm set <servicename> AppDirectory C:\startup\directory
nssm set <servicename> AppParameters argument1 argument2

nssm set <servicename> AppStdout C:\path\to\output.log
nssm set <servicename> AppStderr C:\path\to\error.log

nssm set <servicename> Start SERVICE_AUTO_START
nssm set <servicename> Start SERVICE_DELAYED_AUTO_START

종료 액션 (애플리케이션 종료 시 반응): Restart(자동 재실행) / Ignore(중지 상태 유지) / Exit(서비스 중지). 레지스트리 경로: HKLM\System\CurrentControlSet\Services\<servicename>\Parameters\AppExit

재시작 스로틀링 (CPU 루프 방지 — 임계 밀리초 내 종료 시 재시작 지연):

nssm set <servicename> AppThrottle 1500

재시작 지연 (재시작 간 강제 간격):

nssm set <servicename> AppRestartDelay 3000

로그 로테이션:

nssm set <servicename> AppRotateFiles 1

제거:

nssm remove <servicename> confirm

전체 구성 예시:

nssm install MyService "C:\Program Files\app.exe"
nssm set MyService AppDirectory C:\Program Files
nssm set MyService AppParameters --config settings.ini
nssm set MyService AppStdout C:\logs\output.log
nssm set MyService AppStderr C:\logs\error.log
nssm set MyService Start SERVICE_AUTO_START
nssm set MyService AppThrottle 2000
nssm set MyService AppRestartDelay 5000

larsekje/PythonWindowsServices 의 실전 지식 [F#14] (★1 / Fork 0, Python. 파일: /logs, /scripts, /windows_service, .gitignore, readme.md, requirements.txt):

nssm install "SERVICE_NAME" "PATH_TO_PYTHON.exe" "PATH_TO_PYTHON_SCRIPT.py"
nssm start SERVICE_NAME

요구사항: NSSM 이 시스템 PATH 에 있을 것, requirements.txt 로 파이썬 환경 구성, 그리고 "NSSM 이 로그 파일을 자동 생성하지 않으므로 로그 파일을 미리 만들어 둘 것".

부분채택 (폴백): WinSW 설치가 실패하거나 .NET 런타임 문제가 생기면 NSSM 으로 전환한다. AppThrottle(15002000ms) + AppRestartDelay(30005000ms) 조합이 WinSW 의 onfailure delay 와 등가다. 버전이 2014년이라는 점이 감점 요인.

10.3 pywin32 서비스 — 기각 [F#15][F#40][F#52][S#16]

HaroldMills/Python-Windows-Service-Example (★21 / Fork 11, Python, MIT). 파일: .gitignore, LICENSE, README.md, example_service.py, example_service.spec.

• 의존성: "The service should be built in a Python environment that includes the pywin32 and pyinstaller packages."
• 빌드: pyinstaller example_service.spec (저장소 루트에서)
• 설치: build\example_service 에서 example_service.exe install → example_service.exe start
• "The commands must be issued from a command prompt that was run as administrator."
• 제거: example_service.exe stop → example_service.exe remove (관리자 권한)
• 치명적 주석: "as of this writing (2016-03-37), PyInstaller supports Python versions only through 3.5"

drmalex07/10554232 gist 의 표준 골격 [F#40]:

class HelloWorldSvc (win32serviceutil.ServiceFramework):
    _svc_name_ = "HelloWorld-Service"
    _svc_display_name_ = "HelloWorld Service"

    def __init__(self, args):
        win32serviceutil.ServiceFramework.__init__(self, args)
        self.stop_event = win32event.CreateEvent(None, 0, 0, None)
        socket.setdefaulttimeout(60)
        self.stop_requested = False

SvcStop 은 self.ReportServiceStatus(win32service.SERVICE_STOP_PENDING) 후 정지 플래그를 세운다. SvcDoRun 이 self.main() 을 호출하고, 메인 루프는 if self.stop_requested: 로 탈출한다.

if __name__ == '__main__':
    win32serviceutil.HandleCommandLine(HelloWorldSvc)

스레드 코멘트: 이 기본 패턴은 타임아웃 에러를 만날 수 있으며, 개선판은 len(sys.argv) 로 커맨드라인 설치와 실제 서비스 실행을 구분한다.

기각의 결정적 근거 — pywin32 issue #1563 [F#52]:

요청 내용: win32serviceutil.ServiceFramework 서비스가 Windows 복구 액션(자동 재시작 등)을 트리거하는 방식으로 종료되기를 원한다. 복구 액션은 서비스가 SERVICE_STOPPED 를 보고하지 않고 끝날 때 발동한다. 문제: SvcRun() 이 예외를 던지거나 sys.exit() 를 호출하면, pywin32 의 정리 코드가 자동으로 서비스 상태를 SERVICE_STOPPED 로 설정해버려 복구 액션이 트리거되지 않는다. 현재 우회책: os.kill(os.getpid(), signal.SIGABRT) — 보고자 본인도 "극단적 조치"라고 인정. 요청: SvcRun() 이 자동 정리(특히 SetServiceStatus() 호출)를 건너뛰도록 플래그를 걸 수 있게 해달라.

관련 [S#16]: 크래시한 서비스의 재시작은 ChangeServiceConfig2 로 실패 액션 딕셔너리를 설정해 구성할 수 있다. win32service 모듈로 SCM 에 연결해 서비스를 열거하고 상태(Running/Stopped/Paused)를 확인하며 시작·중지·일시정지·재시작할 수 있다.

결정: pywin32 로 서비스를 직접 구현하지 않는다. 서비스 껍데기는 WinSW/NSSM 에 맡기고, pywin32 는 워치독이 서비스 상태를 조회할 때만(win32service 열거/상태 조회) 사용한다.

10.4 michalzobec/autorunsalerts — 운영 패턴 정본 [F#34]

항목	값
URL	https://github.com/michalzobec/autorunsalerts
설명	"Simple toast notifications for changes to autoruns configurations on windows"
★	0
언어	PowerShell

2개 스케줄드 태스크 구조:

1. AutorunsAlert (SYSTEM 컨텍스트, 60분마다) — autorunsc.exe 로 현재 상태 스캔 → state.json 의 이전 기준선과 비교 → 탐지된 모든 변경을 audit.log 에 기록
2. AutorunsAlertToast (사용자 컨텍스트, 15분마다) — 스캐너가 세운 알림 플래그를 확인하고 토스트를 띄우며 audit.log 로 연결

파일:

• autorunsalert.ps1 — 메인 스캔 스크립트
• autorunstoast.ps1 — 토스트 전달 스크립트
• configuration.json — 공유 설정 변수
• state.json — 비교용 이전 스캔 기준선
• audit.log — 변경 이력 및 조사 기록
• install.ps1 / uninstall.ps1 — 설치/제거

원문 결론: "This separation ensures alerts appear in the user's active session rather than the system session where detection occurs."

채택 (핵심 운영 패턴). 우리 대응:

autorunsalerts	DMF_Crawler
AutorunsAlert (SYSTEM, 60분)	DMF_Crawler_Daily (Task Scheduler, 매일 06:00) — 수집·diff·리포트 생성
AutorunsAlertToast (User, 15분)	DMF_Crawler_Notify (User 컨텍스트, 15분) — state/notify_queue.json 확인 후 토스트
state.json	data/state.json (마지막 성공 실행 시각, 마지막 스냅샷 해시)
audit.log	logs/audit.log (누적 변경 이력)
configuration.json	config/settings.yaml
install.ps1 / uninstall.ps1	ops/tasks/install.ps1 / uninstall.ps1

이 2단 분리가 필수인 이유: 아래 10.5 참조.

10.5 Windos/BurntToast — 그리고 SYSTEM 컨텍스트 제약 [F#33][S#25]

항목	값
URL	https://github.com/Windos/BurntToast
설명	"PowerShell Module for displaying Toast Notifications on Windows 10 and Windows Server 2019 and above."
★ / Fork	1.7k / 126
언어	PowerShell
최신 릴리스	v1.1.0 — Urgent 스위치(긴급 알림), 버튼 색상 커스터마이즈 추가
라이선스	MIT

Install-Module -Name BurntToast
New-BurntToastNotification -Text "제목", "본문"
New-BTButton   # 인터랙티브 버튼
# -AppLogo 로 앱 브랜딩

결정적 제약 (원문): "The module targets user-context notifications and has limitations when running from SYSTEM or service accounts due to the Windows notification framework's desktop session requirements."

관련 사례 [S#25]:

• Badgerati/Hook — 서비스 상태를 감시하다 중지되면 BurntToast 팝업(MongoDB 서비스 예시)
• Windows 업데이트 알림 패턴 (cyberdrain.com), 재부팅 알림 가이드 (dearing.dev), PDQ 블로그

채택: 워치독의 사용자 알림은 BurntToast(PowerShell) 또는 win11toast(Python) 로 하되, 반드시 사용자 컨텍스트 태스크에서 실행한다. 서비스(SYSTEM)에서 직접 토스트를 띄우려는 시도는 하지 않는다.

10.6 파이썬 토스트 라이브러리 3종 비교

라이브러리	★	Fork	설치	기반	특징	함정
GitHub30/win11toast [F#12][F#67]	333	24	pip install win11toast	WinRT	toast(), notify()(논블로킹), toast_async(), buttons, on_click, image, duration	실행 시 CWD 가 C:\Windows\system32 이므로 os.chdir() 필요. app_id 파라미터는 문서에 없음
DatGuy1/Windows-Toasts [F#11]	142	9	python -m pip install windows-toasts	WinRT (pywin32 아님)	Toast(), WindowsToaster(), text_fields, on_activated	duration 이 short/long 만 (pywin32 대비 제약)
ysfchn/toasted [F#20]	31	2	python -m pip install toasted	WinRT	Windows 가 제공하는 모든 요소 지원 — 이미지, select, input, progress	Python 버전 요구사항 미문서화

win11toast 코드 [F#12][F#67]:

from win11toast import toast
toast('Hello Python🐍')
toast('Hello Python', 'Click to open url', on_click='https://www.python.org')
toast('Hello', 'Click a button', buttons=['Approve', 'Dismiss', 'Other'])
toast('Hello', 'Hello from Python', image='https://example.com/image.png')
toast('Hello Python🐍', duration='long')

from win11toast import notify
notify('Hello Python', 'Click to open url', on_click='https://www.python.org')

from win11toast import toast_async
async def main():
    await toast_async('Hello Python', 'Click to open url',
                     on_click='https://www.python.org')

버튼은 프로토콜 활성화 지원: {'activationType': 'protocol', 'arguments': 'https://google.com', 'content': 'Open Google'} → 클릭 시 {'arguments': 'https://google.com', 'user_input': {}} 반환. 라이선스 MIT. 선행 프로젝트로 winsdk_toast, Windows-Toasts, MarcAlx/notification.py 를 인정.

Windows-Toasts 코드 [F#11]:

from windows_toasts import Toast, WindowsToaster
toaster = WindowsToaster('Python')
newToast = Toast()
newToast.text_fields = ['Hello, world!']
newToast.on_activated = lambda _: print('Toast clicked!')
toaster.show_toast(newToast)

toasted 코드 [F#20]:

from toasted import Toast, Progress, Text
import asyncio

async def main():
    toast = Toast()
    toast.elements = [
        Text("File downloader"),
        Progress(value="{value}", status="Downloading files...")
    ]
    await toast.show(dict(value=75/100))

win10toast (jithurjacob/Windows-10-Toast-Notifications) [S#9] — pip 설치 가능, 커스텀 아이콘·스레드 알림 지원. 가장 널리 쓰이지만 오래된 라이브러리.

채택: win11toast 를 1순위(별 수 가장 많고 on_click 으로 xlsx 파일 열기 연결 가능), toasted 를 백필 진행률 표시용 2순위. os.chdir() 함정은 워치독 스크립트 첫 줄에 반드시 반영.

10.7 Apprise — 알림 추상화 계층 [F#38][F#56]

항목	값
URL	https://github.com/caronc/apprise
설명	"Push Notifications that work with just about every platform!"
★ / Fork	17.2k / 652
언어	Python
커밋	master 1,178 commits
설치	pip install apprise

import apprise
apobj = apprise.Apprise()
apobj.add('mailto://myuserid:mypass@gmail.com')
apobj.notify(body='notification text', title='my title')

URL 형식:

서비스	URL
Windows Toast	windows://
Slack	slack://TokenA/TokenB/TokenC/Channel
Telegram	tgram://bottoken/ChatID
Email	mailto://userid:pass@domain.com, mailtos://(보안)

windows:// 상세 [F#56]:

• 필요 의존성: pip install pywin32
• 파라미터: duration — "Optionally set the duration of the popup message in seconds. By default this value is set to 12". 예: windows://?duration=5
• 제약: "this notification can not be sent from one PC to another." — 같은 시스템에만 전송 가능
• 메시지 사양: 아이콘 지원, 텍스트 포맷, 메시지당 최대 250자

채택: 알림 채널을 config/settings.yaml 의 URL 문자열 리스트로 선언하고 Apprise 로 일괄 전송한다. 100+ 서비스를 코드 수정 없이 갈아끼울 수 있다.

notify:
  urls:
    - "windows://?duration=8"
    # - "tgram://<bottoken>/<ChatID>"
    # - "mailto://user:pass@company.co.kr"
  max_body_chars: 250   # windows:// 제약에 맞춤

단, 리치 토스트(버튼/이미지/클릭 시 xlsx 열기)는 Apprise 로 불가능하므로 notify/toast.py 에서 win11toast 를 직접 호출하는 이중 경로를 유지한다.

10.8 Windows 워치독 최종 설계 (종합)

[Task Scheduler]
  ├─ DMF_Crawler_Daily        매일 06:00, 최고 권한
  │    → run_daily.cmd → python -m dmf_crawler daily
  │      성공: state.json 갱신 + notify_queue.json 에 요약 push
  │      실패: logs/errors.log 기록 + notify_queue.json 에 실패 push
  │
  ├─ DMF_Crawler_Notify       15분마다, 사용자 컨텍스트(로그온 시)
  │    → python -m dmf_crawler notify-drain
  │      notify_queue.json 을 비우며 win11toast 로 표시
  │
  └─ DMF_Crawler_Catchup      로그온 시 1회
       → python -m dmf_crawler daily --catchup
         state.json 의 마지막 성공일이 오늘 이전이면 1회만 따라잡기

[WinSW 서비스: DMFCrawlerWatchdog]  (선택, 상시 감시가 필요할 때)
  → python -m dmf_crawler watchdog
    · Task Scheduler 태스크 3개의 존재/활성 상태를 주기 확인 (win32com/win32service)
    · 마지막 성공 실행이 26시간을 넘으면 notify_queue.json 에 경보 push
    · 자기 자신이 죽으면 WinSW <onfailure action="restart"> 가 복구

왜 서비스와 스케줄드 태스크를 둘 다 쓰는가: 스케줄드 태스크는 "정시에 한 번 도는 일"에 최적이고, 서비스는 "죽었는지 지켜보는 일"에 최적이다. autorunsalerts 가 검증한 SYSTEM/User 분리에, WinSW 의 onfailure 자동 복구를 얹은 형태다.

---

11. (h) awesome 리스트 및 기타 참고

11.1 lorien/awesome-web-scraping [F#13]

항목	값
URL	https://github.com/lorien/awesome-web-scraping
설명	"List of libraries, tools and APIs for web scraping and data processing."
★ / Fork	8.1k / 934
커밋	master 640 commits

구조:

python.md       Python 패키지
javascript.md   JavaScript 패키지
php.md          PHP 패키지
ruby.md         Ruby 패키지
golang.md       Go 패키지
cli.md          커맨드라인 도구
manuals.md      교육 자료·서적

README 링크: https://github.com/lorien/awesome-web-scraping/blob/master/README.md

직접 확인한 사실: 이 저장소에는 변경 감지·스케줄링·엑셀/리포팅 섹션이 없다. 큐레이션 목록이지 모니터링 도구가 아니다. 캡차 해결 서비스, 프록시 마켓플레이스 참조, Telegram 커뮤니티 링크, CONTRIBUTING.md 를 포함.

활용 범위: python.md 를 라이브러리 선정 시 참고. 그 이상은 없다.

11.2 awesome 파생 리스트 (⚠️ 미검증)

저장소	요점
noirquant/awesome-web-scraping	lorien 포크
jjwangnlp/awesome-web-scraping	lorien 포크
luminati-io/Awesome-Web-Scraping	HTTP 라이브러리·브라우저 자동화·프록시 서비스 포함
spinov001-art/awesome-web-scraping-2026	"130+ web scraping tools — Python, JavaScript, Go, Rust. Anti-detection, proxies, cloud platforms. Updated weekly. Includes free API alternatives."
duyet/awesome-web-scraper	"A collection of awesome web scaper, crawler."
patrickloeber/llm-data-scrapers	"A list of useful Open Source tools and scrapers to gather data for LLMs"
realpython/list-of-python-api-wrappers	파이썬 API 래퍼 목록

awesome-pharma-data 같은 제약 전용 awesome 리스트는 존재가 확인되지 않았다. 대신 GitHub Topics 페이지가 그 역할을 한다:

Topic	URL
pharmaceutical-data	https://github.com/topics/pharmaceutical-data (7개 공개 저장소 — [F#19] 에서 전량 열거)
pharmaceuticals	https://github.com/topics/pharmaceuticals?l=python
pharma	https://github.com/topics/pharma?o=desc&s=updated
fda	https://github.com/topics/fda
open-fda	https://github.com/topics/open-fda
openfda	https://github.com/topics/openfda?l=r&o=desc&s=updated
openpyxl	https://github.com/topics/openpyxl?o=asc&s=forks
openpyxl-python	https://github.com/topics/openpyxl-python
excelwriter	https://github.com/topics/excelwriter?l=python
python-excel	https://github.com/topics/python-excel
xlsxwriter	https://github.com/topics/xlsxwriter?l=python
scheduled-tasks	https://github.com/topics/scheduled-tasks?l=python&o=desc&s=updated
task-scheduler	https://github.com/topics/task-scheduler?l=powershell
playwright-python	https://github.com/topics/playwright-python?o=asc&s=updated
playwright	https://github.com/topics/playwright?l=python
python-scraper	https://github.com/topics/python-scraper
huginn	https://github.com/topics/huginn?o=asc&s=stars
llm-pipeline	https://github.com/topics/llm-pipeline

활용: pharmaceutical-data 토픽에는 저장소가 7개뿐이다(2026-09 기준). 이 분야에 오픈소스가 거의 없다는 사실 자체가, 우리가 직접 만들어야 한다는 결론을 강화한다.

11.3 벤더/블로그 자료 (코드 없음, 배경 지식)

자료	URL	요점
PageCrawl.io: 오픈소스 변경감지 도구 비교	https://pagecrawl.io/blog/open-source-website-change-detection-tools	도구를 목적형 모니터(changedetection.io, urlwatch) 와 범용 자동화 플랫폼(Huginn, n8n) 으로 이분. 선택 기준: JavaScript 렌더링, 노이즈 필터링, 알림 폭, 실패 가시성, 유지보수 부담
GIGAZINE: changedetection.io 리뷰	https://gigazine.net/gsc_news/en/20260517-changedetection-io	셀프호스트 모니터링 도구 리뷰
alternativeto: urlwatch / changedetection.io 대안	https://alternativeto.net/software/urlwatch , https://alternativeto.net/software/changedetection-io/	Huginn 이 changedetection.io 의 최선 대안으로 언급
Simon Willison: Git scraping	https://simonwillison.net/2020/Oct/9/git-scraping/	"track changes over time by scraping to a Git repository". git-history 도구
Oxylabs / Flipnode / JC Chouinard / Biztory / Oreate AI	(부록 A 참조)	Python 스크래퍼 + Windows Task Scheduler 자동화 튜토리얼
PDQ: BurntToast	https://www.pdq.com/blog/display-toast-notifications-with-powershell-burnt-toast-module/	"perfect for script completion alerts, Pomodoro timers, or nudging users to reboot"
Infonautics / usro.net / ehmiiz.se	(부록 A 참조)	WinSW 로 프로그램을 서비스화하는 단계별 가이드, PowerShell 스크립트 서비스화
Codex Knowledge Base (danielvaughan.com) 4편	(부록 A 참조)	codex exec 헤드리스·배치·CI·스케줄드 에이전트
SmartScope / MindStudio / wmedia.es / hidekazu-konishi / StackNotice / Usagebar / DevShelfHub / HeyClaude / LikeOne / BuildThisNow	(부록 A 참조)	Claude Code 헤드리스·cron 가이드 다수
Level Up Coding: Claude Code Routines	https://levelup.gitconnected.com/claude-code-routines-the-cron-replacement-i-didnt-know-i-needed-6f53cf476577	Routines 를 cron 대체로
MCP Market: Windows Task Scheduler Skill	https://mcpmarket.com/tools/skills/windows-task-scheduler	Claude Code 로 Windows Task Scheduler 잡을 만들고 관리하는 스킬
Apify 스크래퍼들	https://apify.com/labrat011/fda-orange-book-scraper/api , https://apify.com/fortuitous_pirate/openfda-scraper/api/python , https://apify.com/benthepythondev/openfda-drug-intelligence/api/python	FDA Orange Book / openFDA 상용 스크래퍼. Drugs@FDA 28,000+ 신청(NDA/ANDA/BLA)
John Snow Labs / PharmaCompass / pharmaexcipients / fdapals / dmf-list.backgroundscheck.info	(부록 A 참조)	FDA DMF 디렉터리 상용 데이터
한국어 크롤링 블로그	velog naverPillCrawling, samslow.github.io 식품안전나라 크롤링 가이드, velog 공공데이터 포털API사용하기	Selenium/BeautifulSoup 기반 국내 의약품 크롤링 사례

11.4 라이선스 주의 표

코드를 참고할 때 반드시 확인해야 할 항목이다.

저장소	라이선스	코드 복사 가능?
anton-semerenko/pharma-radar	MIT	가능(출처 표기)
mrueda/nomenclator-delta	MIT	가능(출처 표기)
logiover/fda-data-scraper	MIT	가능
huginn/huginn	MIT	가능
GitHub30/win11toast	MIT	가능
Windos/BurntToast	MIT	가능
HaroldMills/Python-Windows-Service-Example	MIT	가능
786raees/task-scheduler-python	MIT	가능
larsyencken/csvdiff	BSD-3-Clause	가능(고지 유지)
suriyadeepan/WebScraping-for-Healthcare	GPL-3.0	불가 — 설계만 참고
나머지	미확인	⚠️ 복사 전 확인 필수

---

12. 채택 결정 표 (채택 / 부분채택 / 기각)

12.1 저장소·도구별 결정

후보	결정	이유 (1~2문장)
mrueda/nomenclator-delta	채택 (구조 정본)	collection/normalization/diffing/validation 4단 분리와 data/(스냅샷+이력) 레이아웃이 우리 문제와 1:1 대응한다. CLI 서브커맨드 형태(python -m pkg validate data)까지 그대로 가져온다.
anton-semerenko/pharma-radar	채택 (에이전트 계층 정본)	prompts/ + config/sources.yaml + 의존성 최소 deliver 계층, 그리고 "≥2 독립 출처 또는 1 공식 1차 출처" 검증 정책. 매일 06:00 무인 실행이라는 동일한 운영 형태의 존재 증명.
larsyencken/csvdiff	부분채택 (스키마만)	_index/added/removed/changed JSON 구조와 --ignore-columns/--significance 옵션은 우리 diff 요구에 정확히 맞다. 단 2021-02-18 아카이브라 라이브러리 의존은 금지하고 자체 구현한다.
huginn/huginn	부분채택 (개념만)	mode: all/on_change/merge 3분류를 diff 출력 모드로 채택. Ruby/Rails 스택 전체는 Windows 단일 PC 에 과중하므로 기각.
dgtlmoon/changedetection.io	부분채택 (개념만)	알림 템플릿 토큰({{diff_added}} 등), 필터 체인, 타임존 스케줄, 본문 길이 제한 규칙을 차용. 도구 자체는 텍스트 블록 diff 라서 레코드 키 기반 판정을 못 한다.
thp/urlwatch	부분채택 (설정 스키마만)	urls.yaml 잡 스키마와 job_defaults 상속, ignore_connection_errors, --test-diff-filter 개념을 config/sources.yaml 에 이식. 릴리스가 하나도 없는 저장소라 의존성 채택은 기각.
Mzands2622/Zanalytix	부분채택 (패턴만)	소스별 파서 함수 시그니처 통일, 변경 우선순위 1~5 점수, 스냅샷/변경 테이블 분리를 채택. Azure Functions·Zyte·Twilio·로그인 기능은 전부 기각.
FDA/openfda	부분채택 (레이아웃만)	config/·schemas/·scripts/·<pkg>/ 4분할을 채택. Luigi/Elasticsearch/Docker 는 하루 1회 소량 데이터에 과잉이므로 기각.
winsw/winsw	채택 (서비스화 1순위)	<onfailure action="restart"> 다단 지연 + <resetfailure> + <startmode>Automatic</startmode> + <delayedAutoStart> 로 "재부팅 후 자동 복구"를 XML 한 장으로 만족한다. ★14.3k, 안정판 v2.12.0.
kirillkovalenko/nssm / nssm.cc	부분채택 (폴백)	AppThrottle/AppRestartDelay/AppExit Restart 로 동등한 복구를 제공하지만 버전이 2014년(v2.24)이라 2순위. WinSW 가 실패할 때만 전환.
pywin32 서비스 (HaroldMills/..., gist drmalex07)	기각	issue #1563 — SvcRun() 예외/sys.exit() 시 pywin32 가 SERVICE_STOPPED 를 보고해 Windows 복구 액션이 트리거되지 않는다. 우회책이 SIGABRT 수준이면 운영에 못 쓴다. PyInstaller 도 Python 3.5 까지라는 낡은 제약.
michalzobec/autorunsalerts	채택 (운영 패턴 정본)	SYSTEM 스캔 태스크 + 사용자 컨텍스트 토스트 태스크 분리, state.json/audit.log/configuration.json/install.ps1 파일 구성을 그대로 매핑한다.
Windos/BurntToast	부분채택	사용자 컨텍스트 알림용 대안 경로로 유지. "SYSTEM/서비스 계정에서 제약" 이라는 문서가 2단 태스크 분리의 근거가 되었다는 점이 더 큰 기여.
GitHub30/win11toast	채택 (토스트 1순위)	★333 으로 파이썬 토스트 중 최다. on_click='<xlsx 경로>' 로 리포트 바로 열기가 가능하고 buttons/image/duration 을 모두 지원한다.
ysfchn/toasted	부분채택	Progress() 요소로 장시간 백필의 진행률 토스트를 띄울 때만 사용.
DatGuy1/Windows-Toasts	기각	win11toast 대비 기능이 좁고(duration short/long), 별도 채택 이유가 없다.
caronc/apprise	채택 (알림 추상화)	알림 채널을 URL 문자열로 선언해 Telegram/Slack/Email 로 코드 수정 없이 확장. windows:// 는 250자 제한이 있으므로 리치 토스트는 win11toast 이중 경로로 보완.
XlsxWriter	채택 (리포트 엔진)	write_url('internal:Sheet2!A1') 이 "탭 간 연동" 요구를 만족하는 유일한 정공법이고, add_table/conditional_format/set_column 이 같은 API 안에 있다.
openpyxl (Bwhiz/Auto-Excel-Reports)	기각 (엔진으로서)	생성/배포 파일 분리 아이디어만 채택. 서식·내부링크 품질 요구가 우리 쪽이 높아 XlsxWriter 가 낫다.
jshchnz/claude-code-scheduler	채택 (스케줄 설정 스키마)	schedules.json 필드 구성(trigger.expression, execution.timeout, settings.logRetentionDays)과 OS별 스케줄러 어댑터 분리, 태스크 ID별 로그 파일을 채택. TypeScript 구현체 자체는 미사용.
Claude Code Desktop 스케줄드 태스크	기각	"앱이 열려 있고 컴퓨터가 깨어 있어야 발화" 라는 제약이 "재부팅 후 자동 복구" 요구와 충돌. 단 놓친 실행 캐치업 1회 규칙은 채택.
Claude Code Routines (cloud)	기각	로컬 파일 접근 불가(fresh clone), 최소 간격 1시간. 로컬 xlsx 생성이 목적인 우리와 맞지 않는다.
claude -p / gemini -p / codex exec	부분채택 (규약만)	세 CLI 의 공통 호출 규약(프롬프트 파일 → JSON 출력 → 파일 리다이렉트 → 종료코드 분기)을 agy -p 에 사상한다. agy 실제 플래그는 실측 필요.
786raees/task-scheduler-python	부분채택	win32com.client 로 태스크를 CRUD 하는 API 형태만 참고. 코드 복사는 안 함(★2, 2 commits).
simonw/git-scraper-template	부분채택 (개념)	data/snapshots/ 를 로컬 git 리포로 두고 매일 커밋해 변경 이력을 무상으로 얻는다. GitHub Actions 부분은 기각(로컬 실행 요구).
HasData/playwright-scraping	부분채택 (체크리스트)	디렉터리 목록을 fetch 모듈 요구사항 체크리스트로 사용. Playwright 도입 자체는 게시판이 JS 렌더링일 때만 조건부.
ecprice/newsdiffs	부분채택	per-run 로그와 누적 에러 로그 분리, BaseParser 상속 구조를 채택. Django 스택은 기각.
WooilJeong/PublicDataReader	기각 (의존성으로)	식약처/의약품 커버리지가 없다고 문서에 명시. provider 별 모듈 레이아웃만 참고.
Q00/data.go.kr-crawling	부분채택	config.py.example 분리, 필드 사전 자동 생성, page = int(totalCount/100)+1 공식. 저장소 설명(gevent)과 실제 코드(동기 requests)가 다르므로 코드 신뢰 금지.
jjscan/data.go.kr-1	부분채택 (교훈만)	재시도 폴링, totalCount == 0 공백 판정, 대량 백필 병목(350k건 17시간) 경고를 설계에 반영. R 코드는 무관.
NomaDamas/k-skill	부분채택 (규범만)	API 키 분리 원칙과 "자동화가 직접 진단하지 않는다"는 안전 규범을 채택.
Tanguy9862/AI-Powered-FDA-Drug-Scraper	부분채택	scraper/classification/utils 3분리와 업체명 정규화 필요성. LangChain/GPT 의존은 agy 로 대체.
suriyadeepan/WebScraping-for-Healthcare	부분채택 (설계만)	소스별 동일 인터페이스 규약만. GPL-3.0 이므로 코드 복사 금지.
jbremz/FDA-Analysis	부분채택	스파이더/원시CSV/분석/노트북 4분할. 대상 사이트 은퇴로 프로젝트가 죽은 것은 파서 격리의 필요성 경고.
coderxio/OpenFDA	부분채택	load_data/serve_data 엔트리포인트 분리 → dmf backfill / dmf daily.
logiover/fda-data-scraper	부분채택	출력 포맷을 최종 어댑터에서 스위칭하는 설계. Apify 플랫폼 의존은 기각.
lorien/awesome-web-scraping	부분채택 (참고용)	python.md 를 라이브러리 선정 참고로만. 변경감지/스케줄/엑셀 섹션이 없음을 확인했다.
testing-in-production/gemini-jobs	기각	HTTP 404. 존재하지 않는다.

12.2 기술 스택 최종 결정

계층	채택	대안(폴백)	기각한 것
언어/런타임	Python 3.11+ (venv)	—	—
HTTP	requests	httpx	Scrapy(단일 API 호출에 과잉)
HTML 파싱	beautifulsoup4 + lxml	Playwright(JS 렌더링 시)	Selenium
데이터 프레임	pandas	—	—
저장	SQLite (sqlite3 표준 라이브러리) + JSON 스냅샷 파일	—	PostgreSQL, Elasticsearch
diff	자체 구현 (csvdiff 스키마)	—	csvdiff 라이브러리(아카이브), changedetection.io
리포트	XlsxWriter	—	openpyxl, Google Sheets API
알림	apprise + win11toast	BurntToast(PowerShell)	win10toast, Windows-Toasts
스케줄	Windows Task Scheduler (schtasks / win32com.client)	—	cron, GitHub Actions, Claude Desktop tasks
서비스	WinSW v2.12.0	NSSM 2.24	pywin32 ServiceFramework
AI CLI	Google Antigravity CLI agy -p	(미사용 시 파이프라인은 정상 동작)	claude/gemini/codex (규약만 차용)
설정	YAML (config/*.yaml) + .env	—	하드코딩, 레지스트리
버전관리	로컬 git (data/snapshots 포함)	—	원격 push

---

13. 최종 디렉터리 구조 제안

각 줄 끝의 ← 는 어느 저장소의 어느 레이아웃을 근거로 했는지를 표시한다.

D:\workspace\DMF_Crawler\
│
├─ README.md                     프로젝트 개요·빠른 시작
├─ pyproject.toml                패키지 메타/의존성        ← FDA/openfda(setup.py), Tanguy9862(setup.py)
├─ requirements.txt              고정 의존성 (운영 재현용)  ← Q00/data.go.kr-crawling, larsekje/PythonWindowsServices
├─ .env.example                  API 키 템플릿(실제 .env 는 .gitignore) ← Q00 의 config.py.example, NomaDamas/k-skill 의 키 분리 원칙
├─ .gitignore                    .env, data/raw, logs, reports 제외
│
├─ config\                       ★ 설정은 전부 데이터. 코드에 상수 금지  ← FDA/openfda 의 config/, pharma-radar 의 config/
│   ├─ sources.yaml              소스 정의(엔드포인트·파라미터·필터·job_defaults) ← pharma-radar sources.yaml + urlwatch urls.yaml 스키마
│   ├─ schedule.yaml             태스크 정의(cron, timezone, timeout, logRetentionDays) ← claude-code-scheduler schedules.json
│   ├─ settings.yaml             전역 설정(알림 URL, 재시도, 임계값, 우선순위 규칙) ← autorunsalerts configuration.json
│   └─ field_map.yaml            API 영문 필드 ↔ 리포트 한글 헤더 매핑    ← Q00 의 column.py 자동 생성 발상
│
├─ schemas\                      ★ 데이터 계약을 코드와 분리해 버전 관리  ← FDA/openfda 의 schemas/
│   ├─ dmf_record.schema.json    정규화된 DMF 레코드 스키마
│   ├─ diff_result.schema.json   diff 산출물 스키마(_index/added/removed/changed) ← csvdiff JSON 구조
│   └─ agent_output.schema.json  agy --output-format json 에 넘길 JSON Schema ← drew.tech 의 --json-schema 패턴
│
├─ prompts\                      ★ 에이전트 프롬프트는 자산이지 코드가 아니다 ← pharma-radar 의 prompts/system_prompt.md
│   ├─ system.md                 agy 시스템 프롬프트(YAML frontmatter + 본문) ← Claude Desktop 의 SKILL.md 형식
│   ├─ summarize_changes.md      변경 건 요약 프롬프트
│   └─ classify_priority.md      변경 우선순위(1~5) 분류 프롬프트 ← Zanalytix 의 priority 1-5
│
├─ src\
│   └─ dmf_crawler\              ★ python -m dmf_crawler <subcommand> ← nomenclator-delta 의 python3 -m nomenclator_delta
│       ├─ __init__.py
│       ├─ __main__.py           CLI 진입점(argparse 서브커맨드)
│       ├─ cli.py                daily / backfill / diff / report / notify-drain / validate / watchdog / doctor
│       ├─ settings.py           config/*.yaml + .env 로딩, 경로 상수
│       │
│       ├─ fetch\                ★ 수집 (결정론) ← nomenclator-delta 의 collection
│       │   ├─ __init__.py
│       │   ├─ base.py           BaseFetcher — 재시도·타임아웃·UA·디버그 덤프 ← newsdiffs BaseParser, playwright-scraping errors//browser//debug/
│       │   ├─ dmf_api.py        data.go.kr getMdcDmfList01 페이지네이션 수집
│       │   ├─ nedrug_board.py   nedrug.mfds.go.kr/bbs/117 공고 게시판 수집
│       │   └─ registry.py       source_id → Fetcher 매핑 ← Zanalytix 의 fetch_{company}_html() 규약
│       │
│       ├─ parse\                ★ 정규화 ← nomenclator-delta 의 normalization
│       │   ├─ __init__.py
│       │   ├─ dmf_api.py        JSON/XML → DmfRecord
│       │   ├─ nedrug_board.py   HTML → BoardPost (css/xpath 규칙은 sources.yaml 에서) ← huginn WebsiteAgent 의 extract 선언
│       │   └─ normalize.py      업체명·주소·성분명 표기 정규화 ← Tanguy9862 의 회사명 1000→700 정규화
│       │
│       ├─ diff\                 ★ 차이 판정 ← nomenclator-delta 의 diffing
│       │   ├─ __init__.py
│       │   ├─ engine.py         키 기반 added/removed/changed 산출 ← csvdiff diff_records()
│       │   ├─ modes.py          all / on_change / merge ← huginn WebsiteAgent mode
│       │   └─ priority.py       변경 유형별 우선순위 1~5 부여 ← Zanalytix
│       │
│       ├─ store\                ★ 저장
│       │   ├─ __init__.py
│       │   ├─ db.py             SQLite: snapshots / changes / runs / agent_runs ← Zanalytix db.py, Revised_MasterTable+Stream 분리
│       │   ├─ snapshots.py      data/snapshots/ 읽기·쓰기·해시
│       │   └─ gitlog.py         스냅샷 디렉터리 자동 커밋 ← simonw/git-scraper-template
│       │
│       ├─ report\               ★ 리포트 ← Bwhiz report_script.py
│       │   ├─ __init__.py
│       │   ├─ xlsx.py           XlsxWriter 멀티시트 + internal 링크 + add_table + conditional_format
│       │   ├─ sheets.py         시트별 빌더(요약/신규/변경/취하/전체현황/실행로그)
│       │   └─ styles.py         서식 상수(폰트·색·너비)
│       │
│       ├─ notify\               ★ 알림 ← Bwhiz auto_mail.py, pharma-radar src/deliver.py
│       │   ├─ __init__.py
│       │   ├─ queue.py          state/notify_queue.json push/drain ← autorunsalerts 의 플래그 파일 패턴
│       │   ├─ toast.py          win11toast (os.chdir 처리 포함)
│       │   └─ apprise_sink.py   Apprise URL 리스트 전송, 250자 트리밍
│       │
│       ├─ orchestrate\          ★ 오케스트레이션
│       │   ├─ __init__.py
│       │   ├─ pipeline.py       fetch→parse→diff→store→report→notify 순서 제어·부분 실패 허용
│       │   ├─ agy.py            agy -p 서브프로세스 호출(프롬프트 파일·스키마·타임아웃·종료코드) ← drew.tech 스니펫
│       │   ├─ catchup.py        놓친 실행 1회 따라잡기 ← Claude Desktop missed-runs 규칙
│       │   └─ watchdog.py       태스크 존재·최근 성공 시각 감시 ← autorunsalerts + Badgerati/Hook
│       │
│       └─ util\
│           ├─ logging.py        per-run 로그 + 누적 에러 로그 분리 ← newsdiffs
│           ├─ retry.py          지수 백오프 ← jjscan/data.go.kr-1 의 폴링 재시도
│           └─ hashing.py        스냅샷 해시
│
├─ ops\                          ★ 운영 자산 ← FDA/openfda 의 scripts/, larsekje 의 windows_service/
│   ├─ winsw\
│   │   ├─ WinSW.exe             (v2.12.0 배포본, .gitignore 대상)
│   │   ├─ dmf-watchdog.xml      서비스 정의 ← winsw samples/minimal.xml
│   │   └─ install.ps1           winsw install / start
│   ├─ tasks\
│   │   ├─ install.ps1           schtasks 3종 등록      ← autorunsalerts install.ps1
│   │   ├─ uninstall.ps1         제거                   ← autorunsalerts uninstall.ps1
│   │   ├─ run_daily.cmd         python -m dmf_crawler daily 래퍼 ← claude-code-scheduler 의 wrapper 생성 패턴
│   │   ├─ run_notify.cmd        python -m dmf_crawler notify-drain
│   │   └─ run_catchup.cmd       python -m dmf_crawler daily --catchup
│   ├─ agent\
│   │   ├─ bootstrap_agy.ps1     agy 미설치 시 설치·인증·프롬프트 창 표시
│   │   └─ run_agy.cmd           agy -p "$(cat prompt)" --output-format json > out.json ← drew.tech
│   └─ doctor.ps1                환경 진단(파이썬, agy, WinSW, 태스크, 권한)
│
├─ data\                         ★ .gitignore 대상 중 snapshots 만 로컬 git 추적 ← nomenclator-delta 의 data/
│   ├─ raw\                      원시 응답 원본 보존 (YYYY-MM-DD\<source>.json|html) ← jbremz masterDrugList2.csv, coderxio ./data/
│   ├─ snapshots\                정규화된 시점 스냅샷 (YYYY-MM-DD.json)  ← nomenclator-delta, Zanalytix 날짜별 JSON
│   ├─ history\                  일자별 diff 결과 (YYYY-MM-DD.diff.json)
│   ├─ debug\                    실패 시 HTML/스크린샷/trace ← playwright-scraping debug/
│   └─ dmf.sqlite3               운영 DB
│
├─ state\
│   ├─ state.json                마지막 성공 실행 시각·스냅샷 해시 ← autorunsalerts state.json
│   └─ notify_queue.json         대기 중 알림(사용자 컨텍스트 태스크가 소비)
│
├─ reports\                      ★ 산출물 xlsx (YYYY-MM-DD_DMF_리포트.xlsx) ← nomenclator-delta 의 site/ 자리
│
├─ logs\                         ← newsdiffs 로그 분리, claude-code-scheduler 의 task-id 별 로그
│   ├─ runs\                     <task-id>-YYYYMMDD.log (per-run)
│   ├─ errors.log                누적 에러 (워치독 감시 대상)
│   └─ audit.log                 누적 변경 이력 ← autorunsalerts audit.log
│
├─ tests\                        ← nomenclator-delta tests/, claude-code-scheduler src/__tests__/
│   ├─ unit\
│   ├─ integration\
│   └─ fixtures\                 고정 응답 샘플(회귀 테스트용)
│
├─ notebooks\                    탐색·검증용 ← jbremz 의 .ipynb, suriyadeepan 의 notebooks/
│
├─ scripts\                      1회성 유틸 ← FDA/openfda scripts/
│   ├─ gen_field_map.py          공공데이터포털 명세에서 field_map.yaml 생성 ← Q00 의 url.py → column.py
│   └─ inspect_board.py          nedrug 게시판 구조 실측
│
└─ docs\
    ├─ research\                 ★ 본 문서 등 리서치 SSOT
    │   ├─ 01-*.md
    │   └─ 02-benchmark-github-projects.md
    ├─ ops\
    │   ├─ runbook.md            일일 운영 절차·장애 대응 ← nomenclator-delta 의 monthly update runbook
    │   └─ install.md            최초 설치 순서
    └─ decisions\                ADR (Architecture Decision Record)

13.1 이 구조가 만족하는 요구사항 대조표

요구사항	이 구조에서 어디가 담당하는가
매일 06:00 크롤링	ops/tasks/install.ps1 → DMF_Crawler_Daily → run_daily.cmd → orchestrate/pipeline.py
신규·변경·취하 탐지	diff/engine.py + diff/modes.py, 결과는 data/history/*.diff.json
탭별 연동 xlsx	report/xlsx.py + report/sheets.py → reports/YYYY-MM-DD_DMF_리포트.xlsx
AI CLI headless	orchestrate/agy.py + prompts/*.md + schemas/agent_output.schema.json
agy 자동 부트스트랩	ops/agent/bootstrap_agy.ps1 (미설치 시 설치, 필요 시 프롬프트 창)
재부팅 후 자동 복구	WinSW <startmode>Automatic</startmode> + <delayedAutoStart> + Task Scheduler 등록 지속
서비스 사망 시 알림	orchestrate/watchdog.py → state/notify_queue.json → DMF_Crawler_Notify(사용자 컨텍스트) → notify/toast.py
놓친 실행 복구	DMF_Crawler_Catchup(로그온 시) → orchestrate/catchup.py
재현 가능성	data/raw 원본 보존 + data/snapshots git 커밋 + tests/fixtures

---

14. 모듈 경계 제안과 입출력 계약

14.0 설계 원칙 (근거 저장소 명시)

1. 결정론과 비결정론을 섞지 않는다 — fetch/parse/diff 는 순수 결정론. LLM 호출은 orchestrate/agy.py 한 곳에만. ← Tanguy9862 의 scraper/classification 분리
2. 소스별 어댑터는 동일 시그니처를 강제한다 ← Zanalytix 의 fetch_{company}_html()/process_{company}_html(), suriyadeepan 의 fetch()/crawl_k()
3. 각 단계는 파일에 산출물을 남긴다 — 중간 산출물이 없으면 재현도, 부분 재실행도 불가능 ← nomenclator-delta 의 data/
4. AI 는 선택적 보강이다 — agy 가 실패해도 xlsx 는 나와야 한다 ← pharma-radar 의 표준 라이브러리 배포 계층
5. 부분 실패를 허용한다 — 소스 하나가 죽어도 나머지는 진행 ← urlwatch 의 ignore_connection_errors

14.1 데이터 타입 정의 (공통 계약)

# src/dmf_crawler/types.py
from dataclasses import dataclass, field
from datetime import date, datetime
from typing import Any, Literal

SourceId = Literal["dmf_api", "nedrug_board"]
ChangeKind = Literal["added", "removed", "changed"]


@dataclass(frozen=True)
class RawPayload:
    """fetch 계층의 유일한 산출물. 파싱하지 않은 원본."""
    source_id: SourceId
    fetched_at: datetime
    url: str
    status_code: int
    content_type: str          # "application/json" | "text/html" | "application/xml"
    body: bytes
    meta: dict[str, Any] = field(default_factory=dict)   # pageNo, totalCount 등
    raw_path: str | None = None   # data/raw/YYYY-MM-DD/<source>_<page>.json 로 저장된 경로


@dataclass(frozen=True)
class DmfRecord:
    """parse 계층의 산출물. 정규화된 DMF 1건."""
    dmf_permit_no: str          # DMF_PERMIT_NO  ← 진짜 유일 키
    ingr_kor_name: str          # INGR_KOR_NAME  성분명
    entp_name: str              # ENTP_NAME      업체명 (정규화 적용됨)
    mnfctr_name: str            # MNFCTR_NAME    제조소명
    mnfctr_place: str           # MNFCTR_PLACE   제조소 소재지
    manuf_country: str          # MANUF_COUNTRY_CODE_NM 제조국가명
    dmf_permit_date: date       # DMF_PERMIT_DATE 발급일자
    source_id: SourceId
    raw: dict[str, Any] = field(default_factory=dict)   # 원본 필드 전량 보존


@dataclass(frozen=True)
class BoardPost:
    """공고 게시판 1건."""
    seq: int                    # 연번
    title: str                  # 제목
    view_count: int             # 조회건수
    registrant: str             # 등록자
    registered_on: date         # 등록일자
    detail_url: str
    attachments: list[str] = field(default_factory=list)


@dataclass(frozen=True)
class FieldChange:
    field_name: str
    before: Any
    after: Any


@dataclass(frozen=True)
class ChangeEvent:
    kind: ChangeKind
    key: str                    # dmf_permit_no
    priority: int               # 1~5  ← Zanalytix
    record_after: DmfRecord | None
    record_before: DmfRecord | None
    fields: list[FieldChange] = field(default_factory=list)


@dataclass(frozen=True)
class DiffResult:
    """csvdiff 호환 구조."""
    index: list[str]                    # == ["dmf_permit_no"]  ← csvdiff _index
    base_date: date                     # 이전 스냅샷 날짜
    head_date: date                     # 이번 스냅샷 날짜
    added: list[DmfRecord]
    removed: list[DmfRecord]
    changed: list[ChangeEvent]
    ignored_columns: list[str] = field(default_factory=list)


@dataclass
class RunContext:
    """파이프라인 전체를 관통하는 실행 컨텍스트."""
    run_id: str                 # "20260902-060000"
    run_date: date
    started_at: datetime
    dry_run: bool = False
    force: bool = False
    catchup: bool = False
    errors: list[str] = field(default_factory=list)   # 부분 실패 누적

14.2 모듈별 입출력 계약

모듈	입력	출력	부수효과	실패 시
fetch	source_id, config/sources.yaml, RunContext	list[RawPayload]	data/raw/YYYY-MM-DD/ 에 원본 저장, 실패 시 data/debug/ 에 덤프	ignore_connection_errors: true 면 빈 리스트 + ctx.errors 에 기록하고 계속. false 면 예외
parse	list[RawPayload]	list[DmfRecord] 또는 list[BoardPost]	없음 (순수 함수)	레코드 단위 실패는 스킵 + 카운트. 전체 실패율 20% 초과 시 예외
diff	list[DmfRecord](head), list[DmfRecord](base), ignore_columns	DiffResult	없음 (순수 함수)	base 스냅샷이 없으면 DiffResult(added=전량, ...) 가 아니라 "기준선 수립" 모드로 종료
store	list[DmfRecord], DiffResult, RunContext	snapshot_path, diff_path	data/snapshots/*.json, data/history/*.diff.json, SQLite 테이블, git commit	DB 트랜잭션 롤백 후 예외 전파(이건 치명적)
report	DiffResult, list[DmfRecord](전체현황), RunContext	report_path (xlsx 절대경로)	reports/*.xlsx 생성	예외 전파. 단 notify 는 "리포트 생성 실패" 알림으로 계속
notify	DiffResult 요약, report_path, ctx.errors	None	state/notify_queue.json 에 push, Apprise 전송	절대 예외를 전파하지 않는다(알림 실패로 파이프라인을 죽이지 않음). logs/errors.log 에만 기록
orchestrate	CLI 인자, 설정	프로세스 종료 코드	state/state.json 갱신, logs/runs/*.log	종료 코드 0(성공) / 1(부분 실패) / 2(치명적 실패)

14.3 함수 시그니처 (프로토콜)

# src/dmf_crawler/fetch/base.py
from typing import Protocol, Iterable

class Fetcher(Protocol):
    source_id: str

    def fetch(self, ctx: RunContext) -> Iterable[RawPayload]:
        """페이지네이션을 내부에서 처리하고 RawPayload 를 순차 yield 한다.
        재시도·타임아웃·User-Agent 는 BaseFetcher 가 담당한다."""
        ...


# src/dmf_crawler/parse/base.py
class Parser(Protocol):
    source_id: str

    def parse(self, payloads: Iterable[RawPayload]) -> list[DmfRecord]:
        ...


# src/dmf_crawler/diff/engine.py
def compute_diff(
    head: list[DmfRecord],
    base: list[DmfRecord],
    *,
    key: str = "dmf_permit_no",
    ignore_columns: list[str] | None = None,
) -> DiffResult:
    """csvdiff 와 동일한 의미론. key 로 조인하고 나머지 필드를 비교한다.
    ignore_columns 에 든 필드는 changed 판정에서 제외한다."""
    ...


# src/dmf_crawler/diff/priority.py
def assign_priority(event: ChangeEvent) -> int:
    """1~5. 규칙은 config/settings.yaml 의 priority_rules 에서 읽는다."""
    ...


# src/dmf_crawler/report/xlsx.py
def build_report(
    diff: DiffResult,
    full_snapshot: list[DmfRecord],
    ctx: RunContext,
    out_path: str,
) -> str:
    """XlsxWriter 로 멀티시트 리포트를 만들고 절대경로를 반환한다."""
    ...


# src/dmf_crawler/notify/queue.py
def push(item: dict) -> None: ...
def drain() -> list[dict]: ...


# src/dmf_crawler/orchestrate/agy.py
def run_agy(
    prompt_path: str,
    schema_path: str | None = None,
    *,
    timeout_sec: int = 300,
    cwd: str | None = None,
) -> dict | None:
    """agy -p 를 서브프로세스로 호출한다.
    실패·타임아웃 시 None 을 반환하고 예외를 던지지 않는다(선택적 보강 원칙)."""
    ...

14.4 파이프라인 시퀀스

python -m dmf_crawler daily
  │
  ├─ 0. settings 로드 (config/*.yaml + .env)              실패 → exit 2
  ├─ 1. RunContext 생성, logs/runs/<run_id>.log 열기
  ├─ 2. catchup 판정 (state.json 의 last_success 확인)     이미 오늘 성공 → exit 0
  │
  ├─ 3. for source in sources.yaml:
  │       fetch()  → data/raw/  ─────────── 실패 & ignore_connection_errors → ctx.errors 추가 후 continue
  │       parse()  → list[DmfRecord] ────── 실패율 20% 초과 → exit 2
  │
  ├─ 4. 레코드 병합 + normalize()  → head_snapshot
  ├─ 5. store.snapshots.write(head_snapshot) → data/snapshots/YYYY-MM-DD.json
  │      store.gitlog.commit()
  │
  ├─ 6. base = store.snapshots.read(직전 날짜)
  │      base 없음 → "기준선 수립" 토스트 후 exit 0
  │
  ├─ 7. diff.compute_diff(head, base, ignore_columns=settings.ignore_columns)
  │      diff.priority.assign_priority(each)
  │      store.db.save_changes()  → SQLite changes 테이블
  │      → data/history/YYYY-MM-DD.diff.json
  │
  ├─ 8. (선택) orchestrate.agy.run_agy(prompts/summarize_changes.md, schemas/agent_output.schema.json)
  │      → 실패 시 None. 요약 없이 계속.
  │
  ├─ 9. report.build_report()  → reports/YYYY-MM-DD_DMF_리포트.xlsx    실패 → ctx.errors 추가
  │
  ├─ 10. notify.queue.push({kind, counts, report_path, errors})
  │       notify.apprise_sink.send()      실패해도 무시
  │
  └─ 11. state.json 갱신(last_success), 로그 닫기
         exit 0 (ctx.errors 없음) / exit 1 (부분 실패)

14.5 SQLite 스키마 초안

Zanalytix 의 Revised_MasterTable(스냅샷) / Stream(변경+LLM 응답) 분리를 따른다.

-- 실행 이력
CREATE TABLE IF NOT EXISTS runs (
    run_id        TEXT PRIMARY KEY,          -- '20260902-060000'
    run_date      TEXT NOT NULL,             -- '2026-09-02'
    started_at    TEXT NOT NULL,
    finished_at   TEXT,
    exit_code     INTEGER,
    error_count   INTEGER DEFAULT 0,
    report_path   TEXT
);

-- 시점 스냅샷 (레코드 단위)
CREATE TABLE IF NOT EXISTS snapshots (
    run_id          TEXT NOT NULL,
    snapshot_date   TEXT NOT NULL,
    dmf_permit_no   TEXT NOT NULL,
    ingr_kor_name   TEXT,
    entp_name       TEXT,
    mnfctr_name     TEXT,
    mnfctr_place    TEXT,
    manuf_country   TEXT,
    dmf_permit_date TEXT,
    source_id       TEXT NOT NULL,
    raw_json        TEXT NOT NULL,           -- 원본 필드 전량
    PRIMARY KEY (snapshot_date, dmf_permit_no)
);
CREATE INDEX IF NOT EXISTS idx_snapshots_key ON snapshots(dmf_permit_no);

-- 변경 이벤트
CREATE TABLE IF NOT EXISTS changes (
    id            INTEGER PRIMARY KEY AUTOINCREMENT,
    run_id        TEXT NOT NULL,
    base_date     TEXT NOT NULL,
    head_date     TEXT NOT NULL,
    kind          TEXT NOT NULL CHECK (kind IN ('added','removed','changed')),
    dmf_permit_no TEXT NOT NULL,
    priority      INTEGER NOT NULL CHECK (priority BETWEEN 1 AND 5),
    fields_json   TEXT,                      -- [{"field_name":..,"before":..,"after":..}]
    notified_at   TEXT
);
CREATE INDEX IF NOT EXISTS idx_changes_run ON changes(run_id);
CREATE INDEX IF NOT EXISTS idx_changes_key ON changes(dmf_permit_no);

-- AI 에이전트 호출 기록 (선택적 보강)
CREATE TABLE IF NOT EXISTS agent_runs (
    id           INTEGER PRIMARY KEY AUTOINCREMENT,
    run_id       TEXT NOT NULL,
    prompt_path  TEXT NOT NULL,
    schema_path  TEXT,
    exit_code    INTEGER,
    duration_ms  INTEGER,
    output_json  TEXT,
    error_text   TEXT
);

14.6 config/sources.yaml 초안

urlwatch 잡 스키마 + pharma-radar sources.yaml + huginn extract 선언을 합친 형태.

# job_defaults 는 urlwatch 의 개념 (모든 소스에 상속)
job_defaults:
  timeout_sec: 30
  retries: 3
  backoff_sec: 2
  user_agent: "DMF_Crawler/1.0 (+internal use)"
  ignore_connection_errors: false
  encoding: utf-8

sources:
  - id: dmf_api
    name: "식품의약품안전처_원료의약품등록(DMF)현황"
    kind: api
    url: "https://apis.data.go.kr/1471000/MdcDmfInfoService01/getMdcDmfList01"
    method: GET
    params:
      serviceKey: "${DATA_GO_KR_API_KEY}"    # .env 에서 주입
      type: json
      numOfRows: 100
      pageNo: 1
    pagination:
      page_param: pageNo
      size_param: numOfRows
      page_size: 100
      total_field: totalCount               # totalCount == 0 이면 '데이터 없음' ← jjscan 교훈
      formula: "int(totalCount/numOfRows) + 1"   # ← Q00 의 공식
    key_field: DMF_PERMIT_NO
    fields:
      - DMF_PERMIT_NO
      - INGR_KOR_NAME
      - ENTP_NAME
      - MNFCTR_NAME
      - MNFCTR_PLACE
      - MANUF_COUNTRY_CODE_NM
      - DMF_PERMIT_DATE

  - id: nedrug_board
    name: "의약품안전나라 원료의약품등록(DMF) 정보 게시판"
    kind: html
    url: "https://nedrug.mfds.go.kr/bbs/117"
    method: GET
    ignore_connection_errors: true           # 게시판 장애로 파이프라인을 죽이지 않는다
    # huginn WebsiteAgent 의 extract 선언 방식
    extract:
      seq:           { css: "table tbody tr td:nth-child(1)" }
      title:         { css: "table tbody tr td:nth-child(2) a", value: "text" }
      detail_url:    { css: "table tbody tr td:nth-child(2) a", value: "@href" }
      view_count:    { css: "table tbody tr td:nth-child(3)" }
      registrant:    { css: "table tbody tr td:nth-child(4)" }
      registered_on: { css: "table tbody tr td:nth-child(5)" }
    filter:                                   # urlwatch 필터 체인 개념
      - strip
    pagination:
      page_size_options: [10, 20, 30, 40, 50]
      total_posts_hint: 710                  # 2026-09 실측 [F#28]
    # ⚠️ 미검증: 위 CSS 선택자는 실제 DOM 으로 반드시 재확인해야 함

14.7 config/settings.yaml 초안

run:
  timezone: "Asia/Seoul"
  daily_at: "06:00"
  timeout_sec: 1800                  # ← claude-code-scheduler execution.timeout
  log_retention_days: 30             # ← claude-code-scheduler settings.logRetentionDays
  max_execution_history: 100

diff:
  key: DMF_PERMIT_NO
  ignore_columns:                    # ← csvdiff --ignore-columns
    - fetched_at
    - view_count
  # 우선순위 규칙 ← Zanalytix priority 1-5
  priority_rules:
    removed: 5                       # 등록 취하 — 가장 중요
    added: 3                         # 신규 등록
    changed:
      MNFCTR_NAME: 4                 # 제조소 변경
      MNFCTR_PLACE: 2                # 소재지 변경
      ENTP_NAME: 4                   # 업체 변경
      INGR_KOR_NAME: 4               # 성분명 변경
      _default: 1

notify:
  urls:
    - "windows://?duration=8"        # ← apprise windows:// (pywin32 필요, 250자 제한)
    # - "tgram://<bottoken>/<ChatID>"
    # - "mailto://user:pass@company.co.kr"
  max_body_chars: 250
  toast:
    engine: win11toast
    open_report_on_click: true
  min_priority_to_notify: 2          # 우선순위 1은 조용히 로그만

watchdog:
  stale_after_hours: 26              # 마지막 성공이 26시간 넘으면 경보
  check_interval_sec: 900

agent:
  enabled: true
  binary: "agy"                      # ⚠️ 미검증: 실제 실행파일명·플래그 실측 필요
  print_flag: "-p"
  output_format_flag: "--output-format json"
  timeout_sec: 300
  prompts:
    summarize: "prompts/summarize_changes.md"
    classify: "prompts/classify_priority.md"
  schema: "schemas/agent_output.schema.json"
  fail_open: true                    # 에이전트 실패 시 파이프라인 계속

---

15. 데이터 소스 실측 정보 (DMF API / 공고 게시판)

이 절은 raw dump 에서 확인된 한국 DMF 데이터 소스의 1차 사실을 손실 없이 보존한다. 벤치마킹 결과를 실제로 꽂을 자리이므로 본 문서에 포함한다.

15.1 식품의약품안전처_원료의약품등록(DMF)현황 OpenAPI [F#29]

출처: https://www.data.go.kr/data/15057075/openapi.do

항목	값
API 명	식품의약품안전처_원료의약품등록(DMF)현황
서비스 URL	https://apis.data.go.kr/1471000/MdcDmfInfoService01
엔드포인트	https://apis.data.go.kr/1471000/MdcDmfInfoService01/getMdcDmfList01
형식	XML / JSON
비용	무료
트래픽 제한(개발)	10,000 calls
최종 수정	2025년 9월 19일
제공기관	식품의약품안전처

요청 파라미터

파라미터	타입	필수	설명
serviceKey	string	Yes	데이터 포털에서 발급받은 인증키
pageNo	integer	No	페이지 번호 (기본 1)
numOfRows	integer	No	페이지당 결과 수 (기본 3)
entp_name	string	No	업체/제조사명
ingr_kor_name	string	No	성분명(한글)
type	string	No	응답 형식: xml 또는 json

응답 필드

필드	의미
DMF_PERMIT_NO	등록번호 — 유일 키
INGR_KOR_NAME	성분명
ENTP_NAME	업체명
MNFCTR_NAME	제조소명
MNFCTR_PLACE	제조소 소재지
MANUF_COUNTRY_CODE_NM	제조국가명
DMF_PERMIT_DATE	발급일자
resultCode	상태 코드
resultMsg	상태 메시지
totalCount	전체 결과 수

동작 가능한 호출 예 (numOfRows 기본값 3 에 주의 — 반드시 명시할 것)

# scripts/probe_dmf_api.py  — 최초 실측용
import os
import requests

SERVICE_URL = "https://apis.data.go.kr/1471000/MdcDmfInfoService01/getMdcDmfList01"

def fetch_page(page_no: int, num_of_rows: int = 100) -> dict:
    params = {
        "serviceKey": os.environ["DATA_GO_KR_API_KEY"],  # 디코딩된 키 사용
        "type": "json",
        "pageNo": page_no,
        "numOfRows": num_of_rows,
    }
    resp = requests.get(
        SERVICE_URL,
        params=params,
        timeout=30,
        headers={"User-Agent": "DMF_Crawler/1.0 (+internal use)"},
    )
    resp.raise_for_status()
    return resp.json()


def fetch_all(num_of_rows: int = 100) -> list[dict]:
    first = fetch_page(1, num_of_rows)
    body = first.get("body", first)
    total = int(body.get("totalCount", 0))
    if total == 0:                       # ← jjscan/data.go.kr-1 의 공백 판정 규칙
        return []
    pages = int(total / num_of_rows) + 1  # ← Q00/data.go.kr-crawling 의 공식
    rows = list(body.get("items", []))
    for page in range(2, pages + 1):
        b = fetch_page(page, num_of_rows).get("body", {})
        rows.extend(b.get("items", []))
    return rows


if __name__ == "__main__":
    records = fetch_all()
    print(f"총 {len(records)}건")
    if records:
        print(records[0])

⚠️ 미검증 사항: 응답 JSON 의 실제 중첩 구조(response.body.items.item 인지 body.items 인지), serviceKey 의 인코딩/디코딩 키 구분, resultCode 정상값. 최초 실행 시 위 스크립트로 실측하고 schemas/dmf_record.schema.json 을 확정한다.

15.2 의약품안전나라 DMF 공고 게시판 [F#28]

출처: https://nedrug.mfds.go.kr/bbs/117

항목	값
게시판	원료의약품등록(DMF) 정보
테이블 컬럼	연번 / 제목 / 조회건수 / 등록자 / 등록일자
페이지네이션	처음 | 이전 | 1-10 | 다음 | 마지막, 총 710건
페이지당 표시	10, 20, 30, 40, 50 선택
검색 폼	"제목" 검색 필드 + 검색/초기화 버튼
게시물 제목 패턴	"등록대상 원료의약품(DMF) 등록 공고" + 특정 날짜 범위, 주 단위로 게시
표시된 샘플 범위	2021년 2월 ~ 2020년 11월
확인 사항	고급 필터나 "변경/취하" 전용 게시물 타입은 화면에 보이지 않음

중요: 게시판에는 "변경"/"취하" 를 별도 구분하는 UI 가 없다. 즉 신규/변경/취하 판정은 게시글 제목·첨부파일 내용이 아니라 API 스냅샷 diff 로 하는 것이 정공법이다. 게시판은 (a) 공고 게시 사실의 근거 링크, (b) API 반영 지연 시의 조기 신호 로 쓴다.

관련 확인:

• 한국보건산업진흥원(KHIDI) 제약산업정보포털에도 "등록대상 원료의약품(DMF) 등록 공고(7월 둘째주)" 같은 동일 공고가 게시된다 [S#11] — 보조 소스 후보
• [지침]원료의약품 등록(DMF) 처리 절차 문서 [S#11]
• 식품의약품안전평가원 KDMF 페이지: https://www.nifds.go.kr/brd/m_87/list.do [S#11]
• 원료의약품 등록 현황(신규등록, 변경등록, 연차보고)은 식약처 홈페이지 전자민원창구에서도 확인 가능 [S#11] — ⚠️ 미검증, 별도 소스가 될 수 있음

실측 실패: https://nedrug.mfds.go.kr/searchDmf 는 "The requested page cannot be found. The page you are looking for has been changed or is currently unavailable." 에러 페이지를 반환했다 [F#63]. DMF 검색 화면의 실제 경로는 브라우저로 재확인 필요.

15.3 관련 식약처/공공데이터 소스 (보조·참고)

데이터	URL	비고
의약품 제품 허가정보	https://www.data.go.kr/data/15095677/openapi.do	REST, JSON+XML. 필드 언급: ITEM_SEQ, ITEM_NAME, ENTP_NAME, ITEM_PERMIT_DATE, CANCEL_DATE, CANCEL_NAME, CHANGE_DATE. 최종수정 2025-10-31. 무료, 개발 10,000건 [F#54] — 엔드포인트 URL·파라미터는 문서에 미명시 ⚠️ 미검증
의약품개요정보(e약은요)	https://www.data.go.kr/data/15075057/openapi.do	일반의약품 주요 정보 [S#13]
의약품 낱알식별 정보	https://www.data.go.kr/data/15057639/openapi.do	[S#13]
필수의약품내역	https://www.data.go.kr/data/15058207/openapi.do	[S#30]
식품의약품안전처 의약품 관련 정보 (파일데이터)	https://www.data.go.kr/data/15020627/fileData.do	[S#30]
공공데이터포털 (구 URL)	https://www.data.go.kr/dataset/15020626/openapi.do , https://www.data.go.kr/dataset/15020627/openapi.do	[S#2][S#13]
연구관리 기술 분류 정보조회	https://www.data.go.kr/data/15068423/openapi.do	[S#2]
연구관리 전문기술분야코드 조회	https://www.data.go.kr/data/15068280/openapi.do	[S#30]
식의약 데이터 포털	https://data.mfds.go.kr/ , https://data.mfds.go.kr/cntnts/20 , https://data.mfds.go.kr/OPCAA01F01	공공데이터 목록·이용안내 [S#2]
의약품 공공데이터공개	https://nedrug.mfds.go.kr/cntnts/80	CSV/EXCEL + OpenAPI 제공 안내 [S#1][S#13]
의약품안전나라 메인 / 검색	https://nedrug.mfds.go.kr/ , https://nedrug.mfds.go.kr/index , https://nedrug.mfds.go.kr/searchDrug	[S#1]
식품안전나라 API	https://www.foodsafetykorea.go.kr/apiMain.do , https://www.foodsafetykorea.go.kr/api/openApiAplcInfo.do	[S#13]
MFDS 영문	https://nedrug.mfds.go.kr/eng/index , https://www.mfds.go.kr/eng/index.do	[S#22]

15.4 이 소스들을 벤치마크 구조에 꽂는 방법

config/sources.yaml
  ├─ dmf_api        (1차, 필수)   → fetch/dmf_api.py     → parse/dmf_api.py     → DmfRecord
  └─ nedrug_board   (2차, 선택)   → fetch/nedrug_board.py → parse/nedrug_board.py → BoardPost
                                     ignore_connection_errors: true

diff/engine.py
  key = DMF_PERMIT_NO
  base = data/snapshots/<어제>.json
  head = data/snapshots/<오늘>.json
  → added / removed / changed

검증 정책 (← pharma-radar 의 "≥2 독립 출처 또는 1 공식 1차 출처")
  · API 에만 나타난 변경        → 리포트에 '확정' (공식 1차 출처)
  · 게시판에만 나타난 공고      → 리포트에 '관찰 중(pending)'
  · 양쪽 모두 일치              → 리포트에 '확정 + 공고 링크'

---

부록 A. 출처 목록

raw dump 에 등장한 모든 URL 이다. "확인" 열의 의미: F#n = WebFetch 로 실제 열어봄 / S#n = 검색 결과 링크로만 등장 / 404 = 열었으나 존재하지 않음.

A.1 GitHub 저장소·페이지

#	제목	URL	확인
1	Q00/data.go.kr-crawling	https://github.com/Q00/data.go.kr-crawling	F#1
2	Q00/data.go.kr-crawling — url.py (raw)	https://raw.githubusercontent.com/Q00/data.go.kr-crawling/master/url.py	F#62
3	Q00/data.go.kr-crawling — go_data_crwaler.py (raw)	https://raw.githubusercontent.com/Q00/data.go.kr-crawling/master/go_data_crwaler.py	F#64
4	FDA/openfda	https://github.com/FDA/openfda	F#2
5	FDA/openfda — faers/pipeline.py	https://github.com/FDA/openfda/blob/master/openfda/faers/pipeline.py	S#23
6	Food and Drug Administration (조직)	https://github.com/FDA	S#4
7	jbremz/FDA-Analysis	https://github.com/jbremz/FDA-Analysis	F#3
8	logiover/fda-data-scraper	https://github.com/logiover/fda-data-scraper	F#4
9	coderxio/OpenFDA	https://github.com/coderxio/OpenFDA	F#18
10	DarpitPatel/OpenFDA	https://github.com/DarpitPatel/OpenFDA	S#3
11	rOpenHealth/openfda	https://github.com/rOpenHealth/openfda	S#23
12	roivant/openfda	https://github.com/roivant/openfda	S#23
13	shaayohn/fda-drug-aproval-data-scraping	https://github.com/shaayohn/fda-drug-aproval-data-scraping	S#6
14	tsbischof/fda	https://github.com/tsbischof/fda	S#19
15	sheetalkalburgi/web-scraping	https://github.com/sheetalkalburgi/web-scraping	S#19
16	Norbaeocystin/FDA	https://github.com/Norbaeocystin/FDA	S#19
17	vshah1016/pharma_scraper	https://github.com/vshah1016/pharma_scraper	S#19
18	Tanguy9862/AI-Powered-FDA-Drug-Scraper	https://github.com/Tanguy9862/AI-Powered-FDA-Drug-Scraper	F#42
19	Tanguy9862/new-drug-approvals-dashboard	https://github.com/Tanguy9862/new-drug-approvals-dashboard	F#42
20	anton-semerenko/pharma-radar	https://github.com/anton-semerenko/pharma-radar	F#6
21	mrueda/nomenclator-delta	https://github.com/mrueda/nomenclator-delta	F#30
22	Mzands2622/Zanalytix	https://github.com/Mzands2622/Zanalytix	F#31
23	suriyadeepan/WebScraping-for-Healthcare	https://github.com/suriyadeepan/WebScraping-for-Healthcare	F#22
24	arpitamangal/pharma-scrape-and-analysis	https://github.com/arpitamangal/pharma-scrape-and-analysis	S#8
25	kawsarlog/AmerisourceBergen	https://github.com/kawsarlog/AmerisourceBergen	F#19
26	MohammedAhmed-01/DataDoseProject	https://github.com/MohammedAhmed-01/DataDoseProject	F#19
27	Dagiayy/kara-medical-telegram-data-platform	https://github.com/Dagiayy/kara-medical-telegram-data-platform	F#19
28	bdmorris238/pharmaco-database-project	https://github.com/bdmorris238/pharmaco-database-project	F#19
29	khushihajiyani-dotcom/drug-spending-analysis	https://github.com/khushihajiyani-dotcom/drug-spending-analysis	F#19
30	betagouv/api-medicaments	https://github.com/betagouv/api-medicaments	S#13
31	dgtlmoon/changedetection.io	https://github.com/dgtlmoon/changedetection.io	F#7
32	changedetection.io — Releases	https://github.com/dgtlmoon/changedetection.io/releases	F#61
33	changedetection.io — Notification configuration notes (wiki)	https://github.com/dgtlmoon/changedetection.io/wiki/Notification-configuration-notes	F#55
34	mattwolfe/changedetection (포크)	https://github.com/mattwolfe/changedetection	S#5
35	thp/urlwatch	https://github.com/thp/urlwatch	F#5
36	thp/urlwatch — Releases	https://github.com/thp/urlwatch/releases	F#60
37	thp/urlwatch — Issue #246 (GitHub repo 감시)	https://github.com/thp/urlwatch/issues/246	S#12
38	huginn/huginn	https://github.com/huginn/huginn	F#8
39	huginn — Agent Types (wiki)	https://github.com/huginn/huginn/wiki/Agent-Types	F#65 (로딩 실패)
40	huginn — website_agent.rb	https://github.com/huginn/huginn/blob/master/app/models/agents/website_agent.rb	F#68
41	huginn/huginn_agent	https://github.com/huginn/huginn_agent	S#12
42	roxwize/huginn	https://github.com/roxwize/huginn	S#12
43	itkevin/huginn	https://github.com/itkevin/huginn	S#12
44	larsyencken/csvdiff	https://github.com/larsyencken/csvdiff	F#32
45	ecprice/newsdiffs	https://github.com/ecprice/newsdiffs	F#43
46	simonw/git-scraper-template	https://github.com/simonw/git-scraper-template	F#47
47	firecrawl/firecrawl — Releases	https://github.com/firecrawl/firecrawl/releases	S#24
48	Bwhiz/Auto-Excel-Reports	https://github.com/Bwhiz/Auto-Excel-Reports	F#16
49	god233012yamil/Excel-Automation-Using-Python	https://github.com/god233012yamil/Excel-Automation-Using-Python	S#7
50	prabudevarajan/Task-Reminder-Automation-Python-Excel-CSV-Email-Alerts	https://github.com/prabudevarajan/Task-Reminder-Automation-Python-Excel-CSV-Email-Alerts	S#7
51	HasData/playwright-scraping	https://github.com/HasData/playwright-scraping	F#41
52	ManiMozaffar/linkedIn-scraper	https://github.com/ManiMozaffar/linkedIn-scraper	S#17
53	dineshk-qa/playwright.slack.reporter	https://github.com/dineshk-qa/playwright.slack.reporter	S#17
54	jshchnz/claude-code-scheduler	https://github.com/jshchnz/claude-code-scheduler	F#9
55	claude-code-scheduler — examples	https://github.com/jshchnz/claude-code-scheduler/tree/main/examples	F#39
56	claude-code-scheduler — examples/daily-review.json (raw)	https://raw.githubusercontent.com/jshchnz/claude-code-scheduler/main/examples/daily-review.json	F#44
57	claude-code-scheduler — src	https://github.com/jshchnz/claude-code-scheduler/tree/main/src	F#57
58	claude-code-scheduler — src/schedulers	https://github.com/jshchnz/claude-code-scheduler/tree/main/src/schedulers	F#66
59	addyosmani/gemini-cli-tips	https://github.com/addyosmani/gemini-cli-tips	F#35
60	google-gemini/gemini-cli — Discussion #3215 (Headless execution)	https://github.com/google-gemini/gemini-cli/discussions/3215	S#20
61	testing-in-production/gemini-jobs	https://github.com/testing-in-production/gemini-jobs	404 (F#17)
62	winsw/winsw	https://github.com/winsw/winsw	F#10
63	winsw — docs/xml-config-file.md (v3)	https://github.com/winsw/winsw/blob/v3/docs/xml-config-file.md	F#23
64	winsw — samples/minimal.xml (v3)	https://github.com/winsw/winsw/blob/v3/samples/minimal.xml	S#15
65	winsw — samples/complete.xml (v3)	https://github.com/winsw/winsw/blob/v3/samples/complete.xml	S#15
66	winsw — Releases	https://github.com/winsw/winsw/releases	F#59
67	WinSW-Windows (조직)	https://github.com/WinSW-Windows	S#15
68	kirillkovalenko/nssm	https://github.com/kirillkovalenko/nssm	F#51
69	larsekje/PythonWindowsServices	https://github.com/larsekje/PythonWindowsServices	F#14
70	HaroldMills/Python-Windows-Service-Example	https://github.com/HaroldMills/Python-Windows-Service-Example	F#15
71	HaroldMills — example_service.py	https://github.com/HaroldMills/Python-Windows-Service-Example/blob/master/example_service.py	S#16
72	mhammond/pywin32 — win32serviceutil.py	https://github.com/mhammond/pywin32/blob/main/win32/Lib/win32serviceutil.py	S#16
73	mhammond/pywin32 — Demos/service/serviceEvents.py	https://github.com/mhammond/pywin32/blob/main/win32/Demos/service/serviceEvents.py	S#16
74	mhammond/pywin32 — Issue #1563	https://github.com/mhammond/pywin32/issues/1563	F#52
75	SublimeText/Pywin32 — win32serviceutil.py	https://github.com/SublimeText/Pywin32/blob/master/lib/x32/win32/lib/win32serviceutil.py	S#16
76	786raees/task-scheduler-python	https://github.com/786raees/task-scheduler-python	F#45
77	Windos/BurntToast	https://github.com/Windos/BurntToast	F#33
78	Windos/BurntToast — Discussion #140 (재부팅 버튼)	https://github.com/Windos/BurntToast/discussions/140	S#25
79	Windos/BurntToast — Discussion #179 (시간 선택 버튼)	https://github.com/Windos/BurntToast/discussions/179	S#25
80	NakedPowerShell/BurntToast	https://github.com/NakedPowerShell/BurntToast	S#25
81	Badgerati/Hook	https://github.com/Badgerati/Hook	S#25
82	michalzobec/autorunsalerts	https://github.com/michalzobec/autorunsalerts	F#34
83	DatGuy1/Windows-Toasts	https://github.com/DatGuy1/Windows-Toasts	F#11
84	GitHub30/win11toast	https://github.com/GitHub30/win11toast	F#12
85	GitHub30/win11toast — README (raw)	https://raw.githubusercontent.com/GitHub30/win11toast/main/README.md	F#67
86	ysfchn/toasted	https://github.com/ysfchn/toasted	F#20
87	jithurjacob/Windows-10-Toast-Notifications	https://github.com/jithurjacob/Windows-10-Toast-Notifications	S#9
88	jithurjacob — win10toast 디렉터리	https://github.com/jithurjacob/Windows-10-Toast-Notifications/tree/master/win10toast	S#9
89	jithurjacob — win10toast/init.py	https://github.com/jithurjacob/Windows-10-Toast-Notifications/blob/master/win10toast/init.py	S#9
90	jacobcolbert/Windows-10-Toast-Notifications	https://github.com/jacobcolbert/Windows-10-Toast-Notifications	S#9
91	caronc/apprise	https://github.com/caronc/apprise	F#38
92	caronc/apprise — wiki/Notify_windows	https://github.com/caronc/apprise/wiki/Notify_windows	F#56
93	WooilJeong/PublicDataReader	https://github.com/WooilJeong/PublicDataReader	F#37
94	jjscan/data.go.kr-1	https://github.com/jjscan/data.go.kr-1	F#46
95	NomaDamas/k-skill — mfds-food-safety.md	https://github.com/NomaDamas/k-skill/blob/main/docs/features/mfds-food-safety.md	F#36
96	lorien/awesome-web-scraping	https://github.com/lorien/awesome-web-scraping	F#13
97	lorien/awesome-web-scraping — README.md	https://github.com/lorien/awesome-web-scraping/blob/master/README.md	S#8
98	noirquant/awesome-web-scraping	https://github.com/noirquant/awesome-web-scraping	S#8
99	jjwangnlp/awesome-web-scraping	https://github.com/jjwangnlp/awesome-web-scraping	S#8
100	luminati-io/Awesome-Web-Scraping	https://github.com/luminati-io/Awesome-Web-Scraping	S#8
101	spinov001-art/awesome-web-scraping-2026	https://github.com/spinov001-art/awesome-web-scraping-2026	S#8
102	duyet/awesome-web-scraper	https://github.com/duyet/awesome-web-scraper	S#8
103	patrickloeber/llm-data-scrapers	https://github.com/patrickloeber/llm-data-scrapers	S#18
104	realpython/list-of-python-api-wrappers	https://github.com/realpython/list-of-python-api-wrappers	S#23
105	FareedKhan-dev/best-llm-finder-pipeline	https://github.com/FareedKhan-dev/best-llm-finder-pipeline	S#18
106	architkaila/Fine-Tuning-LLMs-for-Medical-Entity-Extraction	https://github.com/architkaila/Fine-Tuning-LLMs-for-Medical-Entity-Extraction	S#18
107	guilopgar/Medication-Detection-LLM	https://github.com/guilopgar/Medication-Detection-LLM	S#18
108	diakes/coupang_crawler_python	https://github.com/diakes/coupang_crawler_python	S#1
109	simbakeila123 (사용자)	https://github.com/simbakeila123	S#12

A.2 GitHub Topics

제목	URL	확인
pharmaceutical-data	https://github.com/topics/pharmaceutical-data	F#19
pharmaceuticals (python)	https://github.com/topics/pharmaceuticals?l=python	S#4
pharma	https://github.com/topics/pharma?o=desc&s=updated	S#18
fda	https://github.com/topics/fda	S#4
open-fda	https://github.com/topics/open-fda	S#4
openfda (R)	https://github.com/topics/openfda?l=r&o=desc&s=updated	S#23
openpyxl	https://github.com/topics/openpyxl?o=asc&s=forks	S#7
openpyxl-python	https://github.com/topics/openpyxl-python	S#7
excelwriter	https://github.com/topics/excelwriter?l=python	S#7
python-excel	https://github.com/topics/python-excel	S#7
xlsxwriter	https://github.com/topics/xlsxwriter?l=python	S#17
scheduled-tasks	https://github.com/topics/scheduled-tasks?l=python&o=desc&s=updated	S#7
task-scheduler (powershell)	https://github.com/topics/task-scheduler?l=powershell	S#29
playwright-python	https://github.com/topics/playwright-python?o=asc&s=updated	S#17
playwright (python)	https://github.com/topics/playwright?l=python	S#17
python-scraper	https://github.com/topics/python-scraper	S#24
huginn	https://github.com/topics/huginn?o=asc&s=stars	S#12
llm-pipeline	https://github.com/topics/llm-pipeline	S#18

A.3 Gist

제목	URL	확인
pywin32 서비스 예제 (drmalex07)	https://gist.github.com/drmalex07/10554232	F#40
drugs@fda scraper (seanherron)	https://gist.github.com/seanherron/5997278	S#3
drugs@fda scraper (단축)	https://gist.github.com/5997278	S#19
Windows Task Scheduler 상호작용 스크립트 (nmpowell)	https://gist.github.com/nmpowell/dc8e7187948788c5c126f01755252164	S#29
Windows 10 토스트 생성 (hygull)	https://gist.github.com/hygull/32a742339a416dcfa2990504c848c1a9	S#9
Gemini CLI Job (HainanZhao)	https://gist.github.com/HainanZhao/92b43e68850189bfee8f39a2c2581ca6	S#20

A.4 한국 식약처 / 공공데이터

제목	URL	확인
식품의약품안전처_원료의약품등록(DMF)현황 OpenAPI	https://www.data.go.kr/data/15057075/openapi.do	F#29
의약품안전나라 > 원료의약품등록(DMF) 정보 게시판	https://nedrug.mfds.go.kr/bbs/117	F#28
의약품안전나라 DMF 검색 (에러 페이지)	https://nedrug.mfds.go.kr/searchDmf	F#63 (에러)
식품의약품안전처_의약품 제품 허가정보	https://www.data.go.kr/data/15095677/openapi.do	F#54
의약품안전나라 메인	https://nedrug.mfds.go.kr/	S#1
의약품안전나라 index	https://nedrug.mfds.go.kr/index	S#1
의약품등 검색	https://nedrug.mfds.go.kr/searchDrug	S#1
사용자별서비스 > 일반소비자	https://nedrug.mfds.go.kr/pbp/CCBRA01	S#1
의약품 공공데이터공개	https://nedrug.mfds.go.kr/cntnts/80	S#1
MFDS Drug Safety Korea (영문)	https://nedrug.mfds.go.kr/eng/index	S#22
식품의약품안전처_의약품개요정보(e약은요)	https://www.data.go.kr/data/15075057/openapi.do	S#13
식품의약품안전처_의약품 낱알식별 정보	https://www.data.go.kr/data/15057639/openapi.do	S#13
식품의약품안전처_의약품 낱알식별 정보 (추천)	https://www.data.go.kr/data/15057639/openapi.do?recommendDataYn=Y	S#30
식품의약품안전처_필수의약품내역	https://www.data.go.kr/data/15058207/openapi.do?recommendDataYn=Y	S#30
식품의약품안전처 의약품 관련 정보 (파일데이터)	https://www.data.go.kr/data/15020627/fileData.do	S#30
공공데이터포털 (구 URL 1)	https://www.data.go.kr/dataset/15020626/openapi.do	S#2
공공데이터포털 (구 URL 2)	https://www.data.go.kr/dataset/15020627/openapi.do	S#13
연구관리 기술 분류 정보조회 서비스	https://www.data.go.kr/data/15068423/openapi.do	S#2
연구관리 전문기술분야코드 조회 서비스	https://www.data.go.kr/data/15068280/openapi.do	S#30
OPENAPI Detail (영문 포털)	https://www.data.go.kr/en/data/15117134/openapi.do	S#22
공공데이터포털 API 명세 조회 엔드포인트	https://www.data.go.kr/pubn/lab/gui/IrosDevGuide/selectReqResPrmList.do	F#62
식의약 데이터 포털	https://data.mfds.go.kr/	S#2
식의약 데이터 포털 — 공공데이터 목록 및 이용안내	https://data.mfds.go.kr/cntnts/20	S#2
식의약 데이터 포털 — 공공데이터 상세	https://data.mfds.go.kr/OPCAA01F01	S#2
식의약 데이터 포털 — 공공데이터 검색	https://data.mfds.go.kr/OPCAA01F01/search?selectedTab=tab1&taskDivsCd=3&taskDivsDtlCd=7&rchSrvcKorNm=&btnSearch=	S#2
식품안전나라 데이터활용서비스	https://www.foodsafetykorea.go.kr/apiMain.do	S#13
식품안전나라 OpenAPI 신청	https://www.foodsafetykorea.go.kr/api/openApiAplcInfo.do	S#13
KHIDI — DMF 등록 공고(7월 둘째주)	https://www.khidi.or.kr/board/view?pageNum=48&rowCnt=10&menuId=MENU01872&maxIndex=00487793189998&minIndex=00487441479998&schType=0&schText=&categoryId=&continent=&country=&upDown=0&boardStyle=&no1=912&linkId=26604564	S#11
KHIDI — [지침]원료의약품 등록(DMF) 처리 절차	https://www.khidi.or.kr/board/view?pageNum=1&rowCnt=10&menuId=MENU01872&maxIndex=99999999999999&minIndex=99999999999999&schType=0&schText=&categoryId=&continent=&country=&upDown=0&boardStyle=&no1=0&linkId=26605812	S#11
식품의약품안전평가원 — KDMF	https://www.nifds.go.kr/brd/m_87/list.do	S#11
MFDS 영문 메인	https://www.mfds.go.kr/eng/index.do	S#22
MFDS 영문 — Drugs > GIFT	https://www.mfds.go.kr/eng/wpge/m_1176/de011009l001.do	S#22
MFDS 영문 — Drugs > Approval Process	https://www.mfds.go.kr/eng/wpge/m_17/denofile.do	S#22

A.5 FDA (미국) 및 상용 DMF 데이터

제목	URL	확인
List of Drug Master Files (DMFs)	https://www.fda.gov/drugs/drug-master-files-dmfs/list-drug-master-files-dmfs	404 (F#48)
Drug Master Files (DMFs) 개요	https://www.fda.gov/drugs/drug-master-files-dmfs	404 (F#53)
Drug Master Files (DMFs) — 제출 요건	https://www.fda.gov/drugs/forms-submission-requirements/drug-master-files-dmfs	S#6
Types of Drug Master Files (DMFs)	https://www.fda.gov/drugs/drug-master-files-dmfs/types-drug-master-files-dmfs	S#6
Guideline for Drug Master Files (DMF)	https://www.fda.gov/drugs/drug-master-files-dmfs/guideline-drug-master-files-dmf	S#6
openFDA 메인	https://open.fda.gov/	S#3
openFDA — Drug API Endpoints	https://open.fda.gov/apis/drug/	S#3
openFDA — Orange Book	https://open.fda.gov/apis/drug/orangebook/	S#3
openFDA — drug NDC download	https://open.fda.gov/apis/drug/ndc/download/	F#18
PharmaCompass — US DMF Database	https://www.pharmacompass.com/us-drug-master-files-dmfs	S#6
John Snow Labs — FDA DMF Directory	https://www.johnsnowlabs.com/marketplace/fda-drug-master-files-directory/	S#27
pharmaexcipients — Excipient DMF List	https://www.pharmaexcipients.com/excipient-sources/excipient-dmf-list/	S#27
Dmf List – FDA Quarterly Spreadsheet	https://dmf-list.backgroundscheck.info/	S#27
fdapals — DMF FDA Guidance	https://fdapals.com/services/dmf-fda-guidance/	S#27
Apify — FDA Orange Book Scraper	https://apify.com/labrat011/fda-orange-book-scraper/api	S#3
Apify — OpenFDA Scraper (Python)	https://apify.com/fortuitous_pirate/openfda-scraper/api/python	S#3
Apify — OpenFDA Drug Intelligence + AI (Python)	https://apify.com/benthepythondev/openfda-drug-intelligence/api/python	S#23
Wikipedia — Drug Master File	https://en.wikipedia.org/wiki/Drug_Master_File	S#6
Wikipedia — DMF	https://en.wikipedia.org/wiki/DMF	S#11
Wikipedia — Approved Drug Products with Therapeutic Equivalence Evaluations	https://en.wikipedia.org/wiki/Approved_Drug_Products_with_Therapeutic_Equivalence_Evaluations	S#3
Wikipedia — Web crawler	https://en.wikipedia.org/wiki/Web_crawler	S#1
Wikipedia — Censorship of GitHub	https://en.wikipedia.org/wiki/Censorship_of_GitHub	S#11
Wikipedia — Kim Gang-lip	https://en.wikipedia.org/wiki/Kim_Gang-lip	S#22

A.6 공식 문서 (도구·라이브러리)

제목	URL	확인
Claude Code — Run Claude Code programmatically (headless)	https://code.claude.com/docs/en/headless	F#25
Claude Code — Schedule recurring tasks in Desktop	https://code.claude.com/docs/en/desktop-scheduled-tasks	F#49
Claude Code — GitHub Actions	https://code.claude.com/docs/en/github-actions	S#14
Claude Code — 문서 색인	https://code.claude.com/docs/llms.txt	F#25
ChangeDetection.io API v1	https://changedetection.io/docs/api_v1/index.html	F#27
urlwatch — Jobs	https://urlwatch.readthedocs.io/en/latest/jobs.html	F#26
urlwatch — Filters	https://urlwatch.readthedocs.io/en/latest/filters.html	F#50
urlwatch — 문서 루트	https://urlwatch.readthedocs.io/	F#5
urlwatch — 홈페이지	https://thp.io/2008/urlwatch/	F#5
NSSM — Usage	https://nssm.cc/usage	F#24
NSSM — 홈페이지	http://nssm.cc/	F#51
XlsxWriter — Worksheet	https://xlsxwriter.readthedocs.io/worksheet.html	F#58
win10toast (PyPI)	https://pypi.org/project/win10toast/	S#9
pyfda (PyPI)	https://pypi.org/project/pyfda/	S#23
github (PyPI)	https://pypi.org/project/github/	S#23
Gemini CLI — Automation and triage processes	https://geminicli.com/docs/issue-and-pr-automation/	S#20
JSON Schema	https://json-schema.org/	F#25
jq	https://jqlang.org/	F#25
Claude Console	https://platform.claude.com	F#25

A.7 블로그·튜토리얼·기사

제목	URL	확인
Drew Bredvick — How to Run Claude Code as a Cron Job	https://drew.tech/posts/claude-code-as-a-cron-job	F#21
MindStudio — What Is Claude Code Headless Mode?	https://www.mindstudio.ai/blog/claude-code-headless-mode-autonomous-agents	S#10
wmedia.es — Claude Code Can Work While You Sleep	https://wmedia.es/en/tips/claude-code-headless-mode-autonomous-agent	S#10
hidekazu-konishi — Claude Code in CI/CD and Headless Automation	https://hidekazu-konishi.com/entry/claude_code_cicd_and_headless_automation.html	S#10
Claude Code for Clinicians — Ch.17 Headless Mode	https://iyadsultan.github.io/claude-code-for-clinicians/ch17-headless-mode/	S#10
StackNotice — Claude Code in Scripts (2026)	https://stacknotice.com/blog/claude-code-headless-scripting-2026	S#10
Usagebar — How to Set Up Cron Jobs with Claude Code	https://usagebar.com/blog/how-to-do-cron-job-setup-on-claude-code	S#10
DevShelfHub — Claude Code Automation: Non-Interactive Mode	https://www.devshelfhub.com/tutorials/claude-code/automation/	S#10
HeyClaude — Claude Code Process Automation	https://heyclau.de/entry/guides/business-process-automation	S#10
Like One — Claude Code Headless Mode Guide (2026)	https://likeone.ai/blog/claude-code-headless-mode-guide-2026/	S#10
Build This Now — Claude Code Headless Mode	https://www.buildthisnow.com/blog/guide/development/claude-code-headless-mode	S#10
jannikreinhard — Claude Code in GitHub Actions	https://jannikreinhard.com/claude-code-github-actions/	S#14
Level Up Coding — Claude Code Routines	https://levelup.gitconnected.com/claude-code-routines-the-cron-replacement-i-didnt-know-i-needed-6f53cf476577?gi=f0e7b272cd2b	S#14
SmartScope — Claude Code Scheduled Execution (AI development)	https://smartscope.blog/en/ai-development/claude-code-scheduled-automation-guide/	S#14
SmartScope — Claude Code + Cron 2025	https://smartscope.blog/en/generative-ai/claude/claude-code-cron-schedule-automation-complete-guide-2025/	S#14
SmartScope — Claude Code Scheduled Execution (generative-ai)	https://smartscope.blog/en/generative-ai/claude/claude-code-scheduled-automation-guide/	S#14
SmartScope — Claude Code × Cron Complete Automation Guide	https://smartscope.blog/en/generative-ai/claude/claude-code-cron-automation-guide/	S#14
SmartScope — Codex CLI Automation: 3 Workflow Patterns	https://smartscope.blog/en/generative-ai/chatgpt/codex-cli-automation-workflow-patterns/	S#26
claudefa.st — Claude Code Scheduled Tasks (2026)	https://claudefa.st/blog/guide/development/scheduled-tasks	S#28
atalupadhyay — Scheduled Tasks: How to Put Claude on Autopilot	https://atalupadhyay.wordpress.com/2026/03/02/scheduled-tasks-how-to-put-claude-on-autopilot/	S#28
aixplore — Mastering Scheduled Tasks in Claude Code	https://aixplore.in/blog_post?slug=mastering-scheduled-tasks-in-claude-code-guide	S#28
Claude Cowork — Scheduled Tasks Guide	https://claudecowork.im/blog/scheduled-tasks-guide	S#28
MCP Market — Windows Task Scheduler Claude Code Skill	https://mcpmarket.com/tools/skills/windows-task-scheduler	S#28
leeboonstra.dev — Unleashing Gemini CLI Power in GitHub Actions	https://www.leeboonstra.dev/genai/gemini_cli_github_actions/	S#20
Testing in Production — Scheduling Jobs With Gemini CLI and Cron	https://www.testinginproduction.co/blog/automating-ai-jobs-with-gemini-cli	S#20
Gemini CLI All in One — 10 Real Workflows	https://geminicli.one/blog/gemini-cli-use-cases-workflows	S#20
DeployHQ — OpenAI Codex CLI: Complete Getting Started Guide	https://www.deployhq.com/blog/getting-started-with-openai-codex-cli-ai-powered-code-generation-from-your-terminal	S#26
Codex KB — Headless and Batch Mode	https://codex.danielvaughan.com/2026/04/18/codex-cli-headless-batch-mode-automation/	S#26
Codex KB — Automations as Lightweight CI	https://codex.danielvaughan.com/2026/07/19/codex-automations-lightweight-ci-scheduled-agents-codex-exec-github-actions/	S#26
Codex KB — Automations and Scheduled Tasks	https://codex.danielvaughan.com/2026/03/27/codex-cli-automations-scheduled-tasks/	S#26
Codex KB — codex exec, Non-Interactive Mode	https://codex.danielvaughan.com/2026/03/26/codex-cli-cicd-non-interactive/	S#26
Developers Digest — Codex Exec in CI	https://www.developersdigest.tech/blog/codex-exec-ci-headless-guide	S#26
Codexlog — How to Set Up a CI/CD Pipeline with Codex	https://codexlog.dev/guides/tasks/setup-ci-cd-pipeline/	S#26
PageCrawl.io — Best Open-Source Website Change Detection Tools	https://pagecrawl.io/blog/open-source-website-change-detection-tools	S#5
GIGAZINE — changedetection.io 리뷰	https://gigazine.net/gsc_news/en/20260517-changedetection-io	S#5
alternativeto — urlwatch 대안	https://alternativeto.net/software/urlwatch	S#5
alternativeto — urlwatch 대안 p5	https://alternativeto.net/software/urlwatch/?p=5	S#5
alternativeto — changedetection.io 대안 p2	https://alternativeto.net/software/changedetection-io/?p=2	S#5
alternativeto — changedetection.io 대안 p3	https://alternativeto.net/software/changedetection-io/?p=3	S#5
Simon Willison — Git scraping	https://simonwillison.net/2020/Oct/9/git-scraping/	S#24
ScraperAPI — How to Scrape GitHub Data Repository With Python	https://www.scraperapi.com/web-scraping/github/	S#24
PDQ — Display toast notifications with BurntToast	https://www.pdq.com/blog/display-toast-notifications-with-powershell-burnt-toast-module/	S#25
CyberDrain — Monitoring with PowerShell: Windows Updates 알림	https://www.cyberdrain.com/monitoring-with-powershell-notifying-users-of-windows-updates/	S#25
Joshua Dearing — Reboot Notifications with BurntToast	https://www.dearing.dev/posts/Reboot-Notifications-with-BurntToast-A-Simple-Guide/	S#25
PowerShell Forums — burnt toast notification	https://forums.powershell.org/t/powershell-burnt-toast-notification/24222	S#25
usro.net — How to Create a Windows Service with WinSW	https://blog.usro.net/2024/10/how-to-create-a-windows-service-with-winsw-a-step-by-step-guide/	S#15
ehmiiz.se — PowerShell Guide: Script as a Windows Service	https://www.ehmiiz.se/blog/ps_scriptasaservice/	S#15
Infonautics — Run any program as a Windows background service with WinSW	https://www.infonautics.ch/blog/run-any-program-as-a-windows-background-service-with-winsw/	S#15
python-win32 메일링리스트 — automatically restart python service after crash	https://mail.python.org/pipermail/python-win32/2017-January/013807.html	S#16
Woteq Zone — How to Monitor Windows Services Using Python	https://woteq.com/how-to-monitor-windows-services-using-python-on-windows	S#16
DEV Community — Building a Robust Windows Service in Python with win32serviceutil	https://dev.to/demola12/building-a-robust-windows-service-in-python-with-win32serviceutil-part-13-1k6k	S#16
Oxylabs — Automated Web Scraper With Python & Windows Task Scheduler	https://oxylabs.io/blog/automated-web-scraper-windows-task-scheduler	S#29
Flipnode — Automated Web Scraper With Python & Windows Task Scheduler	https://flipnode.io/automated-web-scraper-windows-task-scheduler	S#29
JC Chouinard — How to Automate Python Scripts with Task Scheduler	https://www.jcchouinard.com/python-automation-using-task-scheduler/	S#29
Biztory — Run a python script on a schedule using Task Scheduler	https://biztory.com/blog/run-a-python-script-on-a-schedule-using-the-in-built-task-scheduler-windows-app	S#29
Medium (Vnalla) — Two ways to run Python Scripts Every Day Automatically	https://medium.com/@vineelan09/two-ways-to-run-python-scripts-every-day-automatically-3c86079fe449	S#29
Oreate AI — Making Your Python Web Scraper Work for You	https://www.oreateai.com/blog/making-your-python-web-scraper-work-for-you-automating-with-windows-task-scheduler/7efa97048b3b0b28a3513e73ed1235fd	S#29
Adobe User Sync Tool — Scheduling	https://adobe-apiplatform.github.io/user-sync.py/en/success-guide/scheduling.html	S#29
Medium — Playwright report to Slack	https://medium.com/@indraaristya/playwright-report-to-slack-e07e8996c9de	S#17
Medium — Playwright with GitHub Actions and Slack Notification	https://medium.com/@vinayakhk9/playwright-with-github-actions-and-slack-notification-b56eb982659b	S#17
ScrapeGraphAI — LLM Web Scraping	https://scrapegraphai.com/blog/llm-web-scraping	S#18
Grepsr — How to Design Scraping Systems for LLM Training Pipelines	https://www.grepsr.com/blog/llm-data-pipelines-web-scraping-grepsr/	S#18
IntuitionLabs — AI and the Future of Regulatory Affairs	https://intuitionlabs.ai/articles/ai-future-regulatory-affairs-pharma	S#4
IntuitionLabs — Open Source Pharma: Tools & Trends	https://intuitionlabs.ai/articles/open-source-pharma-trends	S#4
Clarivate — Biopharma Regulatory Compliance Services	https://clarivate.com/life-sciences-healthcare/research-development/regulatory-compliance-intelligence/	S#4
Vistaar — Regulatory Intelligence Database, Software & Tools	https://www.vistaar.ai/blog/regulatory-intelligence-database-software-tools-for-compliance/	S#4
Precision for Medicine — How to launch a clinical trial in South Korea	https://www.precisionformedicine.com/blog/how-to-launch-a-clinical-trial-in-south-korea-investigational-new-drug-application-process	S#22
velog — 네이버 의약품사전 크롤링	https://velog.io/@xenrose/naverPillCrawling	S#1
samslow.github.io — 식품안전나라 크롤링 가이드	https://samslow.github.io/diary/2019/02/11/sickfoom-crawling-guide/	S#1
velog — 공공데이터 포털API사용하기	https://velog.io/@almondbreez0_3/xiniel0v	S#2
Medium (Sarah Na) — Selenium으로 웹사이트 크롤링하기(2)	https://2island.medium.com/python-selenium%EC%9C%BC%EB%A1%9C-%EC%9B%B9%EC%82%AC%EC%9D%B4%ED%8A%B8-%ED%81%AC%EB%A1%A4%EB%A7%81%ED%95%98%EA%B8%B0-2-%EC%9B%B9-%EC%82%AC%EC%9D%B4%ED%8A%B8-%EC%A0%9C%EC%96%B4%ED%95%B4%EB%B3%B4%EA%B8%B0-1ffc5e05179d	S#21
Steemit — Mediteam.us 개발 Python & Selenium 구글검색 크롤링	https://steemit.com/kr/@junn/mediteam-us-python-and-selenium	S#21
greeksharifa — Python Selenium 사용법	https://greeksharifa.github.io/references/2020/10/30/python-selenium-usage/	S#21
Summer's Blog — GPT가 알려주는데로 크롤링 만들기	https://sunmerrr.github.io/other/crawling-1/	S#21
teamlab.github.io — Selenium으로 네이버 연극 데이터 크롤링하기	https://teamlab.github.io/jekyllDecent/blog/crawling%20with%20python/Selenium%EC%9C%BC%EB%A1%9C-%EB%84%A4%EC%9D%B4%EB%B2%84-%EC%97%B0%EA%B7%B9-%EB%8D%B0%EC%9D%B4%ED%84%B0-%ED%81%AC%EB%A1%A4%EB%A7%81%ED%95%98%EA%B8%B0-with-Python	S#21
JaeSeoKim's Blog — Selenium을 이용한 웹 크롤링	https://jaeseokim.dev/Python/python-Selenium%EC%9D%84-%EC%9D%B4%EC%9A%A9%ED%95%9C-%EC%9B%B9-%ED%81%AC%EB%A1%A4%EB%A7%81-%EA%B0%84%EB%8B%A8-%EC%82%AC%EC%9A%A9%EB%B2%95-%EB%B0%8F-%EC%98%88%EC%A0%9C/	S#21
Hugging Face — stack-v2-python 데이터셋 (무관)	https://huggingface.co/datasets/yushengsu/stack-v2-python-with-content-chunk1-modified/viewer/default/train?p=1	S#24
Hugging Face — Job_Knowledge_Graph commit (무관)	1049d38a30	S#24

---

부록 B. 미해결 질문 / 실측 필요 항목

B.1 최우선 (설계를 바꿀 수 있는 것)

• agy (Google Antigravity CLI) 의 실제 CLI 표면을 실측한다. raw dump 는 agy 를 전혀 조사하지 않았다. agy --help 로 다음 4가지를 확인하고 docs/research/ 에 기록: ① 비대화형 프롬프트 플래그(-p?), ② JSON 출력 플래그, ③ JSON Schema 강제 옵션 존재 여부, ④ 승인/샌드박스 우회 플래그. 없으면 config/settings.yaml 의 agent.* 를 전면 수정해야 한다.
• agy 설치 경로·인증 방식·환경변수를 확인한다. claude 는 ANTHROPIC_API_KEY(bare 모드), gemini 는 GEMINI_SYSTEM_MD 등을 쓴다. agy 의 대응물이 무엇인지, 그리고 스케줄드 태스크(비대화형 세션)에서 인증이 유지되는지 — drew.tech 이 지적한 "snapshots preserve auth state" 문제와 동형.
• agy 미설치 시 자동 부트스트랩이 가능한지. 요구사항에 "agy 가 없으면 자동 설치하고 필요하면 Windows 프롬프트 창을 띄운다"가 있으나, 무인 설치 경로(패키지 관리자? 설치 스크립트?)가 확인되지 않았다.
• DMF OpenAPI 응답의 실제 JSON 중첩 구조. response.body.items.item 인지 body.items 인지. §15.1 의 probe_dmf_api.py 로 실측 후 schemas/dmf_record.schema.json 확정.
• serviceKey 의 인코딩/디코딩 키 구분. data.go.kr 은 두 종류를 발급한다. requests 의 params= 로 넘길 때 어느 쪽이 맞는지 실측.
• resultCode 정상값과 에러 코드 목록. 재시도 대상 에러와 즉시 실패 에러를 구분해야 한다.
• DMF 현황 전체 레코드 수(totalCount). jjscan/data.go.kr-1 이 351,010건에 17시간을 썼다. DMF 가 몇 건인지에 따라 백필 전략(병렬 여부)이 달라진다.
• nedrug.mfds.go.kr/bbs/117 이 정적 HTML 인지 JS 렌더링인지. 정적이면 requests + BeautifulSoup, 아니면 Playwright 도입. scripts/inspect_board.py 로 실측.
• 게시판 페이지네이션 파라미터. 총 710건, 페이지당 10/20/30/40/50 선택 가능하다는 것만 확인됨. 실제 쿼리스트링(page=? pageNo=? POST?)은 미확인.
• §14.6 의 CSS 선택자 전량. table tbody tr td:nth-child(n) 는 추정치다. 실제 DOM 으로 반드시 교체.

B.2 데이터 소스 (2차)

• https://nedrug.mfds.go.kr/searchDmf 의 올바른 경로. WebFetch 가 에러 페이지를 반환했다 [F#63]. DMF 검색 UI 가 실제로 존재하는지, 있다면 URL 은 무엇인지.
• 식약처 전자민원창구의 "원료의약품 등록 현황(신규등록, 변경등록, 연차보고)" [S#11] 이 별도 소스로 쓸 만한지. 특히 "변경등록"이 명시적으로 구분되어 있다면 diff 없이도 변경 사유를 얻을 수 있다.
• KHIDI 제약산업정보포털 공고가 nedrug 게시판보다 빠른지/늦은지. 빠르면 조기 신호 소스로 추가.
• 식품의약품안전처_의약품 제품 허가정보 API 의 엔드포인트 URL 과 파라미터. 페이지에 명시되지 않았다 [F#54]. CANCEL_DATE/CANCEL_NAME/CHANGE_DATE 필드가 있으므로 취하/변경 판정의 보조 근거가 될 수 있다.
• DMF API 의 갱신 주기. "Last modified September 19, 2025" 만 확인됨. 일 단위인지 주 단위인지에 따라 06:00 실행의 의미가 달라진다(주 단위면 대부분의 실행이 no-change).
• ENTP_NAME / MNFCTR_NAME 의 표기 흔들림 실태. Tanguy9862 는 회사명 1000종→700종 정규화가 필요했다. 우리도 샘플 1,000건으로 실태 조사 후 parse/normalize.py 규칙 작성.

B.3 Windows 운영

• WinSW samples/minimal.xml 의 필수 요소 확인. §10.1 의 XML 초안에서 <id>/<name>/<description> 이 필수인지, <arguments> 와 <startarguments> 를 언제 쓰는지.
• WinSW v2.12.0 과 v3.0.0-alpha.11 중 어느 것을 쓸지. alpha 는 위험하지만 docs/xml-config-file.md 는 v3 브랜치 문서다. v2 에서 동일 요소가 지원되는지 확인 필요 — 특히 <delayedAutoStart>, <priority>, <resetfailure>.
• WinSW 실행에 .NET 런타임이 필요한지, 어느 버전인지. Windows 11 기본 탑재로 충분한지.
• schtasks /create 의 정확한 옵션. /ru(실행 사용자), /rp(비밀번호), /rl HIGHEST, /np(비밀번호 저장 안 함), /it(대화형)의 조합. 특히 사용자 컨텍스트 토스트 태스크는 /it 가 필요한지.
• 사용자가 로그오프 상태일 때 06:00 태스크가 도는지. /ru SYSTEM 이면 돌지만 토스트는 못 띄운다 — 그래서 큐 파일 방식을 택했으나, 실제 동작 검증 필요.
• win11toast 의 os.chdir() 함정 재현. "실행 시 CWD 가 C:\Windows\system32" [F#67] 가 Task Scheduler 실행 시에도 발생하는지.
• Apprise windows:// 가 pywin32 를 통해 실제로 토스트를 띄우는지, 250자 제한이 어떻게 잘리는지.
• PC 절전/최대절전 시 Task Scheduler 의 "작업을 실행하기 위해 절전 모드 해제" 옵션을 켤 것인지. Claude Desktop 문서가 지적한 "컴퓨터가 자면 실행이 스킵된다" 문제의 Windows 네이티브 해법.

B.4 리포트

• XlsxWriter autofilter() / freeze_panes() 의 정확한 시그니처. [F#58] 에서 확보 실패. 문서 재확인 필요.
• 한글 시트명에 write_url('internal:...') 가 정상 동작하는지. 문서는 "Worksheet names with spaces should be single quoted" 만 언급. 한글 + 공백 조합 실측 필요.
• 엑셀에서 열었을 때 internal 링크가 실제로 클릭되는지 (Excel 버전별, LibreOffice 호환성).
• 리포트 파일명 규칙 확정. YYYY-MM-DD_DMF_리포트.xlsx 로 할 경우 한글 파일명이 win11toast 의 on_click 으로 열릴 때 문제가 없는지.

B.5 diff / 데이터 모델

• DMF_PERMIT_NO 가 진짜 불변 유일 키인지. 재발급·번호 변경 사례가 있으면 diff 가 대량 오탐을 낸다. 과거 스냅샷 2개를 확보해 검증.
• "취하"가 API 에서 어떻게 표현되는지. 레코드가 사라지는가(→ removed), 아니면 상태 필드가 바뀌는가(→ changed)? 전자라면 API 일시 장애 시 전량 removed 오탐이 발생하므로, 레코드 수가 전일 대비 N% 이상 감소하면 diff 를 중단하는 안전장치가 필수다.
• ignore_columns 에 넣어야 할 노이즈 필드 실태. 조회수 외에 무엇이 매일 바뀌는지 1주일 관측.
• 우선순위 규칙(§14.7 priority_rules)의 타당성을 실무자에게 확인.

B.6 검색 예산 소진으로 미완인 조사

WebSearch 예산(200/200)이 소진되어 다음 3개 질의가 수행되지 않았다. 필요 시 WebFetch + Bing/DuckDuckGo 로 보완:

• github 식약처 공고 크롤링 텔레그램 알림 스케줄러 파이썬 회수 판매중지 [S#31 미수행]
• github xlsxwriter multi-sheet report internal hyperlink summary sheet python generator repository [S#32 미수행]
• github Playwright python Windows Task Scheduler headless daily scrape report "pythonw" OR "schtasks" repository [S#33 미수행]

추가로 확인하지 못한 것:

• urlwatch 의 diff_tool 옵션 — Filters 페이지에 없었다 [F#50]. Configuration 페이지 확인 필요.
• Huginn 의 ChangeDetectorAgent, DeDuplicationAgent, DigestAgent, EmailDigestAgent, SchedulerAgent, ShellCommandAgent 설명 — wiki 로딩 실패 [F#65].
• jshchnz/claude-code-scheduler 의 src/schedulers/windows.ts 실제 구현 — schtasks 를 어떻게 호출하는지 [F#66 은 파일명만 확인].
• FDA DMF 목록 스프레드시트의 실제 다운로드 URL — fda.gov 두 페이지가 모두 404 [F#48][F#53].
• FDA/openfda, changedetection.io, huginn, urlwatch 등의 정확한 최근 커밋 날짜 — GitHub 페이지에서 텍스트로 노출되지 않아 커밋 총수로 대체 기록했다.

B.7 라이선스·규범

• 참고한 저장소 중 라이선스 미확인 항목(§11.4 표의 "미확인" 행)을 코드 참고 전에 확인.
• 식약처 공공데이터 이용약관 — 저장·재배포·사내 공유 범위. data.go.kr 활용 신청 시 "운영" 등급으로 승격하려면 활용 사례 등록이 필요하다 [F#54].
• 크롤링 빈도 예의(rate limit) — 개발 등급 10,000 calls 제한 [F#29] 안에서 일일 실행이 몇 콜을 쓰는지 계산하고, 게시판 스크래핑에는 요청 간 지연을 둘 것.