Agon 갱신 이력
개발 세트 100건을 10라운드(각 10건)로 나눠 진행하는 방법론 갱신 시험의 라운드별 세부 기록입니다. 각 탭에서 그 라운드가 쓴 방법론, 사건별 실제 판결문(대법원·2심·1심)·사건 개요·Agon 가상 판결문·법리 일치 여부, 가상 판결 → 검수 → 재검토 → 최종 단계별 결과, 그리고 방법론을 갱신했는지 보류했는지에 대한 판단 근거를 볼 수 있습니다.
※ 표기 안내: 이 페이지는 Agon의 시험 기록입니다. 이전의 "K-Law 방법론 v17.x"는 Agon 체계로 바뀌었습니다(v17.0 = Agon 0.1 시작 버전, v17.0.k = Agon 0.1.k, v17.N = Agon 0.(N+1)). 문서 파일명(klaw_v17_*.md)은 그대로입니다. 이전 K-Law v15.1·v15.2·v16.1은 비교 기준선으로만 표시합니다.
이전 K-Law(v15.x) 관련: K-Law v15.1 시뮬레이터 · K-Law 소개 · K-Law v15 테스트 기록(300건) · K-Law 벤치마크
사용자가 직접 실행한 테스트: Agon 테스트 결과 목록 · Agon 테스트 하기
통합 판결문은 1, 2, 3심 판결문을 통합한 하나의 표준 혹은 모범 판결문입니다.
이전 K-Law와의 차이. 이전 K-Law 15.x 테스트(평가 20개 회차)에는 10점 만점 점수 기준으로 7점 이상 비율이 100%인 회차도 있었습니다(6·7회차). 그러나 Agon은 가상 판결 방법론과 일치도 평가 방법이 K-Law와 현저히 달라, 두 계열의 수치는 직접 비교할 수 없습니다.
진행 계획. K-Law와 마찬가지로 30회차 라운드까지 진행할 계획입니다. 2026년 10월 기준, 시험용 DeepSeek 모델이 학습(기억)한 바 없는 것으로 확인된 대법원 최신 판례가 약 100건이어서 이 페이지는 라운드마다 10건씩 총 10라운드만 표시합니다. 이후 대법원이 새 판례를 공개할 때마다 라운드를 자동으로 이어 가고 Agon 방법론도 자동으로 갱신할 계획이며, 매 갱신은 인간 법률 전문가의 최종 검토와 승인을 거칩니다.
면책 문구 — 이 기록에 수록된 데이터는 자체 실험 결과이며 제3자의 검증을 거치지 않았습니다. 아직 진행되지 않은 라운드는 표시만 있고 내용이 없습니다.
1심·2심·Agon의 대법원 판결문 일치도
같은 사건에 대해 1심 판결, 2심 판결, Agon 가상 판결이 대법원 판결과 얼마나 일치하는지 라운드별로 모은 표입니다. 10개 라운드를 모두 마친 뒤 최종 통계(신뢰구간·사건별 짝 비교 포함)를 냅니다. 아래 수치는 진행 중 잠정치입니다.
대법원에 비해 Agon이 구조적으로 불리한 점
대법원은 1심·2심 기록과 결과를 알고 판단합니다. Agon은 원심 결과를 뺀 독립 개요만 봅니다(Agon 0.1 이후, 사건 식별에 따른 오염을 막으려는 설계). 그 대가로 아래 불리함이 있어, 최종 통계를 해석할 때 한계로 함께 읽어야 합니다. (2026-10-02, 라운드 2 Claude 실행분 3건의 오판 분석에서 도출)
- 사실인정이 없습니다. 대법원은 사실심이 인정한 사실을 전제로 하고 사실인정은 사실심 전권입니다. Agon은 요약 개요의 사실만으로 판단합니다. 사건 616517의 묵시적 동의처럼 사실인정이 결론을 가르는 사건에서 가장 크게 불리합니다.
- 원심 판단과 근거를 못 봅니다. 대법원은 "원심이 어디서 법리를 오해했나"라는 좁은 질문에 답하고, Agon은 처음부터 새로 판단합니다.
- 상고기각이라는 사전 확률이 없습니다. 대법원은 대부분 원심을 유지하는데, Agon의 결론에는 이 사전 확률이 들어가지 않습니다.
- 쟁점이 정리되어 있지 않습니다. 대법원은 상고이유로 다툼이 좁혀진 사건을 받고, Agon은 개요에서 쟁점부터 직접 뽑아야 합니다. 쟁점을 잘못 고르면(사건 614333에서 사정변경을 부가적 판단으로 낮춘 것) 이후 판단이 어긋납니다.
- 법리를 기억에만 의존합니다. 웹 검색·메모리를 끄고 파라메트릭 기억만 쓰므로, 직접 법리나 최신 전원합의체 판결을 놓치면 [미검증] 선언밖에 할 수 없습니다. 검수도 같은 모델 계열이면 같은 공백을 공유할 수 있습니다.
- 변론과 증거를 보지 못합니다. 변론 전체의 취지, 증거 평가, 소송기록의 뉘앙스가 개요에서 빠집니다.
- 채점 규칙도 엄격합니다. 본 주문만 채점하고 조건부 대안은 점수에 넣지 않습니다. 사건 614333은 병기한 대안 주문(원고 전부승소)의 방향이 대법원과 같았지만 본 주문이 달라 불일치로 기록됐습니다.
1·2·3·6번은 원심 정보를 주지 않는 설계에서 오는 불리함입니다. 1심·2심 일치도와 Agon 일치도를 같은 표에 놓으면 Agon이 낮게 나오는 편향이 남으므로, 최종 비교에서 한계로 명시합니다.
불리함을 보완하는 방안 (제안 — 라운드 2 종료 후 확정)
원칙: 현행 주 지표(개요만 보고, 본 주문 채점)는 바꾸지 않고 유지합니다. 주 지표를 완화하면 이전 라운드와 비교할 수 없으므로, 보조 지표와 보조 실험군을 추가해 "얼마나 불리했는지"를 따로 측정합니다.
| 방안 | 내용 | 주의 |
|---|
| A. 평가 지표 완화 (보조 지표) |
A-1 허용 범위 일치: 본 주문 또는 병기한 조건부 대안 주문 중 하나가 대법원 결과와 방향이 같으면 인정. 본 주문 일치와 반드시 따로 표기합니다.
A-2 쟁점 단위 채점: 승패 하나로 보지 않고 대법원 이유의 쟁점별로 일치 여부를 셉니다.
A-3 사실심 전권 쟁점 분리: 대법원이 사실인정 문제로 처리한 쟁점은 법리 채점 분모에서 빼고 별도 집계합니다. |
A-1은 대안을 많이 병기할수록 유리하므로 대안 수 상한(최대 2개)과 방향 구분을 둡니다. 주 지표를 대체하지 않습니다. |
|---|
| B. 정보 보완 (같은 사건 반복 실험군) |
팔 0 현행: 개요만.
팔 1 개요 + 2심 판결의 사실인정·증거판단 부분(결론·법률판단은 가림).
팔 2 개요 + 2심 판결 전체.
팔 3 개요 + 1심·2심 판결 전체.
같은 사건을 팔마다 돌려 사건별 짝 비교(McNemar)로 정보의 가치를 잰다. 비용을 줄이기 위해 라운드마다 2건씩 총 20건 부분집합 또는 신규 수집 사건에서 시행합니다. |
원심 결론이 보이면 "원심을 따라가면 일치"하는 앵커링이 생깁니다. 팔 2·3은 Agon 능력이 아니라 "상고심 모사"로 해석하고 주 통계와 섞지 않습니다. 팔 1이 가장 깨끗한 비교입니다. |
|---|
| C. 층화 보고 |
대법원 결과(상고기각/파기)와 파기 사유(법리오해·사실오인·절차)별, 사실심 전권 쟁점 포함 여부별, 모델군(Claude/DeepSeek)별로 나눠 일치도를 냅니다. |
층이 작아지므로 Wilson 신뢰구간을 함께 제시하고, 건수가 적은 층은 결론을 내지 않습니다. |
|---|
| D. 동일 루브릭 비교 |
1심·2심 판결문의 법리(①)를 같은 v3.0 루브릭으로 블라인드 채점해 Agon과 같은 척도에서 비교합니다. |
채점자는 어느 판결문인지 모르는 상태로 채점합니다. |
|---|
| E. 방법론 갱신 후보 (Agon 0.3 / 검수 v1.3) |
조건부 대안의 방향이 본 주문과 다를 때 본 주문 재선택 규칙, "사실심 전권 쟁점" 감지와 확신도 하향, 법령 조문 원문에 한정한 검색 허용 실험(판례 검색은 오염 때문에 금지), 검수를 가상 판결과 다른 모델 계열로 분리. |
상고기각 사전 확률 반영은 개발 세트가 상고기각 4 : 파기 6으로 인위적이어서 이 세트로는 학습·검증하지 않고, 신규 수집(live) 사건의 자연 분포에서 확인합니다. |
|---|
개발 중 한 번 정한 지표는 바꾸지 않습니다. 보조 지표와 보조 실험군은 모두 "추가"이며, 결과가 나온 뒤에 지표를 새로 고르는 일(p-hacking)을 피하기 위해 이 계획을 시험 전에 공개합니다.
실험 환경
라운드마다 어떤 모델이 어떤 역할을 맡았는지 기록합니다. 세 역할(개요 작성·가상 판결·검수)을 서로 다른 세션·API로 분리해, 한 모델이 자기 결과를 스스로 채점하지 않도록 했습니다.
| 라운드 1 | 라운드 2 |
|---|
개요 작성
(사건 단서 제거) |
Claude Sonnet 5.5 채팅 창 1개 — 대법원 판례에서 사건 개요를 추출하고, LLM이 사전 학습했을 가능성에 대비해 사건을 식별할 수 있는 단서를 제거했습니다. |
Claude Sonnet 5.5 채팅 창 1개 — 대법원 판결문에서 개요를 추출하고 사건 단서를 제거합니다. |
|---|
가상 판결
· 재검토 |
DeepSeek V4 Flash API 1개 — Agon 방법론으로 가상 판결문을 생성하고, 검수 결과에 대한 재검토(수용·반박, 최종 판결문 재발행)도 같은 API가 맡았습니다. |
Claude Sonnet 5.5 채팅 창 1개 — Agon 방법론에 따라 가상 판결문을 생성하고, 검수 결과에 대한 재검토를 수행합니다. |
|---|
| 검수 |
DeepSeek V4 Flash API 1개 — 가상 판결 API와 분리된 별도 호출로, Agon 검수 방법론(검수 SP)에 따라 검수했습니다. |
Claude Sonnet 5.5 채팅 창 1개 — 가상 판결 창과 분리된 별도 창에서 Agon 검수 SP에 따라 검수합니다. |
|---|
| 진행 순서 |
가상 판결 → 검수 → 재검토 |
가상 판결 → 검수 → 재검토 (라운드 1과 동일) |
|---|
| 방법론 버전 |
Agon 0.1.8 · 검수 Agon 0.1.8 |
Agon 0.2 · 검수 Agon 0.2 1라운드 발견 허점 4건 반영 — 변경 내용은 위 '방법론 갱신 기록'·'검수 SP' 참고 |
|---|
라운드 1 실험 환경 상세
1. 표본
- 개발 세트 라운드 1(10건) 중 8건을 게재합니다: 616497, 617151, 618667, 618695, 620463, 621985, 622917, 622945. 나머지 2건은 Anthropic 콘솔 크레딧 소진으로 개요를 만들지 못해 빠졌습니다.
- 모두 실제 대법원(상고심) 사건입니다.
2. 개요 작성 — Claude Sonnet 5.5 채팅 창 1개
- 대법원 판결문에서 사건 개요를 추출했습니다. 당사자는 "A 회사·B 회사"처럼 익명화하고, 모델이 사전 학습으로 사건을 알아볼 수 있는 단서를 제거했습니다.
- Agon에는 원심의 판단 요지와 대법원 결론이 없는 독립 개요(
overview_independent)만 입력했습니다(방법론 Agon 0.1 이후 원심 결과 완전 비공개). 원심 요지가 들어간 검토용 개요는 2026-10-01부터 이 페이지에서 제외했습니다(저장소 이력에는 남아 있습니다).
- 개요를 쓴 모델은 가상 판결·검수·재검토에 관여하지 않습니다.
3. 가상 판결 — DeepSeek V4 Flash API ①
- 스크립트
klaw_runner.mjs, 모델 deepseek-flash, 사고(thinking) 모드 켬 · 추론 강도 high · temperature 0.2 · 스트리밍 호출.
- 시스템 프롬프트: Agon 0.1.8 본문 + 가상판결 출력형식 v13.3. 사용자 메시지는 독립 개요 하나입니다.
- 단계: 분석 → STEP 0 → A → B → C. 각 단계는 별도 호출이며 이전 단계 출력을 이어받습니다.
- 토큰 예산: 운영 예산(9,000 / 14,000 / 16,000 / 9,000)의 3배. 그래도 잘리면 1.5배로 한 번 더 시도합니다.
- 자기 검증: STEP B 직후 결정론적 린트(lintB)가 트리거되면 STEP V(자기 검증)를 실행하고, 트리거와 무관하게 STEP V-공통점검(STEPVSC)을 항상 실행합니다. 두 단계가 정정한 내용은
[최종 판결문 시작]…[최종 판결문 끝] 전체로 병합해 <id>_final.txt로 저장합니다(Agon 0.1.8).
- 채점에는 사건별 최신 실행 1회분을 사용했고, 같은 사건을 반복 실행해 결과가 재현되는지는 검증하지 않았습니다(예: 622945).
4. 검수 — DeepSeek V4 Flash API ②(별도 키·별도 호출)
- 스크립트
klaw_check_runner.mjs, 검수 SP Agon-Check v1.1(klaw_check_v17_0.md), 사고 모드 켬 · 추론 강도 high · temperature 0.2.
- 입력: Agon에 들어간 독립 개요 + 가상 판결문 전문(STEP 0~C, STEP V·STEPVSC, 병합된 최종 판결문 블록 포함). 가상 판결 세션의 맥락은 공유하지 않습니다.
- 모듈: M-1 법령 원문 대조, M-1b 미검증 표시 전파 대조, M-2 특별법·일반법 열거, M-3 프레임 대체 대조. 조문·표시 텍스트를 대조하는 검수이며 법리 판단이나 결론의 옳고 그름은 판정하지 않습니다.
- 한계: 생성과 검수가 같은 모델 계열이라, 결론과 무관한 결함이나 빠뜨린 쟁점·뒤집힌 해석 방향은 검수가 포착하지 못할 수 있습니다.
5. 재검토 — DeepSeek V4 Flash API ①(가상 판결과 같은 API)
- 스크립트
klaw_reconcile_runner.mjs, 모델은 가상 판결 실행에서 쓴 모델을 그대로 사용, 사고 모드 켬 · 추론 강도 high · temperature 0.2, 최대 출력 40,000토큰.
- 검수 보고서 원문을 Agon에 돌려주어 지적 항목마다 [수용]/[반박]을 강제하고, 앞 단계에서 확정된 판결문 위에서 새
[최종 판결문]을 다시 작성합니다. 결론 번복 여부도 기록합니다.
6. 진행 순서와 격리
Sonnet 5.5 채팅(개요) → DeepSeek API ①(가상 판결) → DeepSeek API ②(검수) → DeepSeek API ①(재검토) → 최종 판결문
- 정답(대법원 결론)은 개요 작성 단계 이후 어떤 모델에도 전달하지 않습니다.
- 개요를 쓴 모델, 가상 판결 모델, 검수 모델을 서로 다른 세션·API로 분리했습니다. 재검토는 가상 판결과 같은 API라서 Agon 자신이 검수 지적을 수용·반박합니다.
7. 채점
- 결론 문구 일치가 아니라 법리 일치(일치도 평가 기준 v3.0: ① 법리 정합성 3점, ② 승소 당사자·영역 2점, ③ 승소 수준 2점, 파기환송은 ②③ 해당 없음)로 사람이 대법원 판결 이유와 대조합니다.
- 사건별로 채점에 쓴 실행 버전은 사건 표의 호버 카드 '채점 기준'에 적습니다. 617151은 Agon 0.1.8 재실행 결과를 받는 대로 채점하며 그 전까지는 집계에서 제외합니다.
라운드 2 실험 환경 상세·알려진 한계 (진행 중)
1. 진행 구조
- 서로 다른 계정의 Claude Sonnet 5.5 채팅 창 3개: 개요 작성·채점·진행 총괄(창 ①), 가상 판결·재검토(창 A), 검수(창 B).
- 사건 개요 1건과 Agon 본체를 압축 파일로 묶어 창 A에 주고 가상 판결문을 받는다. 그 판결문을 창 B에 전달해 Agon 검수 SP로 검수하게 하고, 검수 결과(txt)를 창 A에 다시 주어 재검토·최종 판결문을 받는다. 창 사이의 파일 전달은 사람이 한다.
- 창 A에는 익명화한 개요와 Agon 본체만 준다. 대법원 판결문과 이전 라운드 결과는 주지 않는다. 개요 익명화 규칙과 사건별 변경은 익명화 기록에 있다.
- 파일럿(1건). 613169(익명 ID SIM-2026-0001)로 전체 흐름을 먼저 시험했다. 창 A는 작업 지시서 한 장으로 분석→STEP 0→A→B→STEPVSC→C→합본을 "계속" 없이 이어서 끝냈고, 창 B 검수와 창 A 재검토도 각각 한 번에 끝났다. 창 B 검수와 별개로 같은 입력을 DeepSeek(flash)에게도 검수시켜 비교했다(재검토에는 창 B 보고서만 사용). 프로토콜: protocol_chat_pilot.md.
2. 알려진 한계
- 사건마다 새 대화를 열지 못했다. 사건 10건마다 새 대화를 여는 것이 현실적으로 어려워, 한 대화에서 여러 사건을 이어서 처리한다. 앞 사건의 내용이 뒤 사건의 판단에 영향을 줄 수 있고(교차 오염), 긴 대화에서는 후반 사건의 품질이 떨어질 수 있다. 이 위험은 제거하지 못했으며, 한 대화에서 처리한 사건의 묶음과 순서를 결과와 함께 기록한다.
- 식별 위험이 높은 사건을 그대로 포함했다. 익명화 후에도 모델이 사건을 기억으로 식별할 가능성이 있는 사건: 617163(높음, 사회적으로 매우 알려진 역사적 사건의 회고록 소송), 622961(높음~중간, 현직 국회의원·가상자산 관련 정치 사건), 614333(중간, 분묘기지권 지료의 잘 알려진 법리), 618155(중간, 설계사 대 시뮬레이션 회사 구도). 이 사건의 결과는 기억 식별의 영향을 받았을 수 있으므로 해석에 유의해야 한다. 식별 프로브를 수행하면 그 결과를 같은 곳에 기록한다.
- 같은 모델 계열의 검수. 가상 판결과 검수를 모두 Claude Sonnet 5.5가 맡아, 모델이 공유하는 맹점은 검수가 잡지 못할 수 있다(계정·창은 분리).
- 개요 작성·채점·진행 총괄이 같은 창이다. 방법론 개정안을 설계한 창이 채점도 한다. 채점 기준(①②③)을 실행 전에 고정하고 대법원 판결 이유와만 대조하지만, 이해충돌은 남는다.
- 교란. 라운드 1(DeepSeek V4 Flash, 8건, Agon 0.1.8)과 비교하면 모델·사건·방법론 버전이 동시에 바뀌므로, 결과 차이를 방법론 개정 덕으로 돌릴 수 없다.