| 비교 쌍 | 일치도 | 표본 | 비고 |
|---|---|---|---|
| K-Law ↔ 대법원 | 73% | 300건 | 실측값 |
| 원심(2심) ↔ 대법원 | 45% | 300건 (100%) | 실측 — 예비측정치 |
| 인간 1심 ↔ 대법원 | 47% | 100건 (33%) | 실측 — 예비측정치 / 1심 링크 확보분 |
| 격차 (K-Law vs 원심 Δ) | +28%p | — | K-Law 구조적 우위 |
K-Law는 사건요지에서 법리 쟁점을 추출하여 대법원 법리 공리 체계로 판단합니다. 이것은 본질적으로 법률심의 추론 방식입니다. 원심은 사실심으로서 사실관계 확정과 증거 평가를 담당하며, 여기서 발생하는 사실인정 오류·판사 성향 분산·심리 부담이 불일치의 주된 원인입니다 (사법정책연구원 재판 충실화 연구 보고서 참조). K-Law가 원심보다 대법원과 28%p 더 일치하는 것은 구조적 필연입니다.
1심(47%)이 2심(45%)보다 일치도가 높은 역전 현상은 선택 편향의 효과입니다. 법리특수 사건에서 2심의 교정적 개입이 오히려 대법원 판단과 어긋나는 경우가 일부 존재합니다. 이는 상급심 교정의 한계에 관한 실증적 단서를 제공합니다.
이 공식의 핵심은 다음입니다. f(v)가 이론적 최대값(1.0)에 수렴하더라도, g = 0.785이면 A의 상한은 78.5%에 불과합니다. 방법론을 아무리 고도화해도 현재 입력 형식으로는 79%를 넘을 수 없습니다.
| 유형 | 비율 | 해소 방법 | 해소 후 |
|---|---|---|---|
| 역추정 오류 — 원심 참조 구조의 구조적 한계 | ~6% 추정치 | 독립 법리 판단 엔진(방향 B) 전환 | → 0% |
| 사실관계 미확정 — 법률심 입력 부족 | ~8% 추정치 | 완전 사실 제공(V-1~V-4) | → 0% |
| 전원합의체 판례 변경 예측 불가 | ~4% 추정치 | 해소 불가 — 미래 예측의 구조적 한계 | → 4% (잔존) |
| LLM 고유 오류 (환각·포맷) | ~3% 추정치 | RAG 판례 DB 연동 (EMNLP 2024 벤치마크) | → 0.1% |
※ 4개 유형 합계 21%. 잔여 6%p = 유형 간 중첩(복합 발생) + 분류 불능 노이즈. 4개 유형은 상호 배타적이지 않음.
| 계층 | 사건 비중 | K-Law 예상 일치도 | 근거 |
|---|---|---|---|
| Layer 3 대법원 공개 판례 | ~1% 미만 | 73% 실측 | 사법공보 수록 기준 (사법연감) |
| Layer 2-B 대법원 비공개 판결 | ~5% 추정치 | 76~82% 추정치 | 확립 법리 적용 사건 상향 추정 |
| Layer 2-A 2심 확정 사건 | ~15% 추정치 | 85~90% 추정치 | 법리 단순화로 추가 상향 |
| Layer 1 1심 확정 사건 | ~79% 추정치 | 92~97% 추정치 | 사법연감 항소율 47% 기반 (2025 사법연감) |
W₁ = 0.79: 2025 사법연감 민사합의사건 항소율 47% 기준 가중평균으로 1심 확정 비율 도출. W₂ₐ = 0.15, W₂ᵦ = 0.05: 동 연감 상고율 통계 기반 확률 트리 모델링. W₃ = 0.01: 상고심 접수 대비 사법공보 수록 비율 약 2~3% 적용.
| 단계 | 누적 일치도 | 향상폭 | 근거 |
|---|---|---|---|
| 현재 (요약본 입력, 현재 설계) | 73% 실측 | 기준 | Ablation Study 실측 |
| + 독립 법리 판단 엔진(방향 B) 전환 | ~79% 추정치 | +6%p | 역추정 오류 구조적 소멸 |
| + 완전 사실 제공 (V-1·V-2) | ~88% 추정치 | +9%p | g: 0.785 → 0.85 |
| + 상충 주장 해소 (V-1~V-3) | ~94% 추정치 | +6%p | g: 0.85 → 0.93 |
| + 요건사실 완전 확정 (V-1~V-4) | ~99.9% 이론적 상한 | — | g → 0.999 / LLM 잔존 0.1% |
이론적 상한의 전제는 세 가지 조건을 요구합니다. ① 법령·판례가 불변할 것, ② 모든 사실이 완전히 확정될 것, ③ 대법원의 판단이 순수한 논리·법리적 추론에 의할 것입니다. 세 번째 조건은 법철학적으로 논쟁적입니다. 이론적 상한은 이 조건들을 단순화한 계산상의 천장이지, 사법 과정의 현실적 묘사가 아닙니다.
첫째. 인간 법관이 대법원 판결과 45~47%만 일치한다는 사실은 무엇을 의미하는가? 이것은 법관 개인의 역량 문제인가, 아니면 사법 구조의 내재적 불확실성인가?
둘째. AI 시스템이 동일 기준에서 73%를 달성한다는 것은, 법리 판단의 일정 영역이 알고리즘으로 재현 가능함을 의미하는가?
셋째. 사실관계가 완전히 확정된다면, 대법원 판결의 결론은 예측 가능한 것인가, 아니면 법관의 재량은 본질적으로 비결정론적인가?
세 수치(73%, 45%, 47%)는 동일 모집단, 즉 대법원 선별 공개 판례에서 측정된 값입니다. 이 모집단은 전체 소송의 0.01% 미만이며 법리 판단이 가장 어렵고 불확실성이 가장 높은 사건들의 집합입니다. 원심의 45%는 원심 법관의 역량 부족이 아니라 측정 대상 자체의 극단적 난이도를 반영합니다.
K-Law의 현재 역할은 판결을 대신 내리는 것이 아닙니다. 주어진 사실관계 하에서 법리적으로 정합적인 결론이 무엇인지를 빠르게 산출하여, 소송 당사자와 법률 대리인이 더 나은 정보를 바탕으로 의사결정을 내릴 수 있도록 돕는 것입니다. 변호사는 의뢰인에게 "이 사건이 대법원까지 가면 어떻게 될 것인가"를 조언합니다. K-Law는 이 조언의 법리적 기초를 체계적으로 점검하는 도구로 활용될 수 있습니다.
K-Law의 법리 판단 엔진이 아무리 정교해져도, 사실이 확정되지 않으면 정확한 판단이 불가능합니다. 입력 정보 완전성 계수 g = 0.785인 한, 일치도 상한은 78.5%입니다. 당사자의 말을 듣고, 증거를 평가하고, 진실에 가장 가까운 사실관계를 법적으로 인정하는 행위는 어떤 AI 시스템도 대체할 수 없는 사법의 핵심 기능입니다. 역설적으로, 이 연구는 사실심의 불가결성을 가장 강력하게 실증하는 결과를 산출했습니다.
73%는 가장 어려운 사건(법리특수, 전원합의체 논의 대상, 하급심 견해 불일치)에서 측정된 하한값입니다. 전체 소송 사건으로 확장하면 87~92%로 상향 추정됩니다 추정치. 대법원이 판례를 통해 선언한 법리는 사건요지 1페이지라는 제한된 정보만으로도 73%의 정확도로 재현 가능합니다. 이것은 법리 그 자체가 상당한 수준의 체계성과 예측 가능성을 갖추고 있음을 실증합니다.
잔여 불일치 중 약 4%는 어떤 방법론으로도 해소할 수 없습니다. AI 시스템은 기존 대법원 공리계를 추종하므로, 전원합의체가 그 공리계 자체를 변경하는 사건은 원천적으로 예측 불가능합니다.
이것은 AI의 한계이기도 하지만, 동시에 사법의 본질이기도 합니다. 법은 변합니다. 사회적 합의가 달라지고, 정의의 내용이 진화하며, 법관의 집단적 판단이 축적되면서 판례는 스스로를 갱신합니다. 이 4%의 예측 불가능 영역은 법이 단순한 논리 기계가 아니라 시대와 함께 호흡하는 규범 체계임을 보여주는 실증적 증거입니다.