검증과 거버넌스
성공 조건은 양청의 최종 결론을 같게 만드는 것이 아닙니다.
평가 지표
각 지표의 정의·분모·예외·필요한 Gold Set·사람 검증·현재 근거 상태를 펼쳐 확인합니다. 임의 숫자는 모두 SIMULATION · 교육용 합성 데이터입니다.
SIMULATION · 교육용 합성 데이터 — 그래프·표의 모든 수치는 임의의 교육용 값입니다.
목표치(TARGET)와 실측치(MEASURED)
논문의 후향적 후보 3,000~5,000건, 전문가 판정 300~500건, 검토시간 개선 등은 잠정 표본·목표이지 확보한 데이터나 결과가 아닙니다.
TARGET
논문의 후향적 후보 3,000~5,000건, 전문가 판정 300~500건, 검토시간 개선 등은 잠정 표본·목표이지 확보한 데이터나 결과가 아닙니다.
MEASURED
MEASURED 탭은 아직 비어 있습니다.
실측 카드(실험 ID, 패밀리/시점 분리, 기준선, 표본, 사람 평가, 모델/Rule/검색 버전, 실패, 변동성·신뢰구간, 재현자료)가 갖춰진 뒤에만 채워집니다.
거버넌스 로드맵 (제안)
각 단계의 Go/No-Go는 논문과 연결되며, 예정 기간은 확정 사업 일정이 아닙니다.
- 1 자료계약 정립 — 자료 4등급, 접근·감사·보관 경계를 문서화하고 양청·기관 승인 경로를 확인
✓ Go 조건: 등급 정의·접근 경로가 양측에서 확인됨
✕ No-Go 조건: 등급 불명확 또는 제한자료의 공개 경로 노출
- 2 후향적 평가자료 구축 — 공개 패밀리 후보 3,000~5,000건(잠정 목표)에서 비교 가능 쟁점을 사람이 확정
✓ Go 조건: 인용·재사용 조건과 비식별 절차가 문서화됨
✕ No-Go 조건: 공개 허가가 확인되지 않은 자료 포함
- 3 검색·규칙 시제품 — 결정적 공통 규칙과 AI 초안 파이프라인을 Shadow로 병행 실행
✓ Go 조건: 재현성·원문 검증이 통과함
✕ No-Go 조건: 허위 인용·원문 없는 신호가 기준 초과
- 4 심사관 참여 관찰평가 — 전문가 판정 300~500건(잠정 목표)으로 신호 품질·검토시간·허위 인용을 측정
✓ Go 조건: 기준선 대비 신호 품질·비용이 검증됨
✕ No-Go 조건: 검토시간이 기준선보다 크게 증가
- 5 제한적 업무지원 — 승인된 범위에서만 사람 검토 후보를 제공하고 감사 로그 유지
✓ Go 조건: 감사·승인 절차가 운영됨
✕ No-Go 조건: 승인 없는 Rule 활성화 또는 제한자료 전송 발생
- 6 확장 검토 — 자료 유형·법역 확장은 별도 Go/No-Go 평가 후 진행
✓ Go 조건: 확장 대상 자료·법역의 근거가 확보됨
✕ No-Go 조건: 확장 범위의 법적 근거 미비