← 자료실로 돌아가기

Agon 테스트 하기

대법원 최신 판례 한 건으로 Agon 방법론의 가상 판결문을 직접 생성하고, 표준 판결문과의 일치도를 평가해 보는 테스트입니다. 서로 다른 두 개의 API Key로 작업을 분리합니다.

Agon 테스트 진행 상황 Agon 가상 판결문 생성하기 K-Law 자료실
⚠️ 참고용 연구 테스트입니다. 법률 자문이 아니며, 결과는 자체 실험 결과로 제3자 검증을 거치지 않았습니다.

1. 테스트 입력

API Key 2개와 대법원 최신 판례를 준비해 주세요. 입력값은 이 화면 안에서만 확인되며, 현재 이 페이지는 입력값을 어디에도 전송하거나 저장하지 않습니다.

사건 개요·쉬운 설명·원고 주장·피고 주장·표준 판결문 작성, 그리고 일치도 평가
Agon 가상 판결문 생성 (익명화된 사건 개요만 전달받습니다)
테스트할 판결문 파일 1건 (PDF·텍스트·Word·한글 문서)
첨부된 파일이 없습니다.

첫 번째 Key로 사용하는 LLM이 아직 학습하지 않았을 가능성이 높은, 대법원이 최근 공개한 판례를 권장합니다.

입력 상태를 확인하는 화면입니다. 테스트 실행 기능은 준비 중입니다.

테스트가 끝난 사건이 Agon 라운드별 시험 기록과 같은 형식으로 나열됩니다. 날짜와 작성자(익명) 열이 추가되어, 내 테스트만 보거나 사건을 검색할 수 있습니다. 검색창에는 대략적인 사건 개요를 문장으로 입력하십시오. 비슷한 사건이 관련도 순으로 나열됩니다.

내 작성자 코드: - · 이 코드는 이 브라우저가 만든 무작위 익명 코드이며 API Key나 계정 정보와 무관합니다. 다른 기기에서 내 테스트를 보려면 아래 검색창에 이 코드를 입력하십시오(사건 번호·날짜·작성자 코드도 그대로 찾아집니다).

테스트에는 LLM이 학습하지 않았을 가능성이 높은 최근 선고 판결을 쓰십시오. 아래 사이트의 메뉴 이름과 화면 구성은 바뀔 수 있습니다.

가. 한두 건을 구하는 경우 (직접 검색)

  1. 검색 사이트 접속. 대법원 종합법률정보(판례 검색) 또는 법제처 국가법령정보센터 판례 검색에 접속합니다.
  2. 조건 지정. 법원을 “대법원”으로, 선고일자를 최근 기간으로 지정해 검색하고, 선고일·사건번호·사건명을 확인합니다.
  3. 본문 확보. 판결문 전문(주문, 이유 포함)을 복사해 텍스트 파일(.txt)로 저장하고 위 “대법원 최신 판례 첨부” 버튼으로 첨부합니다. 1~3심 판결문이 함께 필요하면 하급심 판결문도 같은 방법으로 검색해 한 파일에 합칩니다.

나. 한꺼번에 다수를 구하는 경우 (법제처 Open API)

법제처 국가법령정보 공동활용 Open API의 판례 목록·본문 조회를 쓰면 기간을 지정해 일괄 수집할 수 있습니다. 사용 안내는 판례 목록 조회, 판례 본문 조회 가이드에 있습니다.

  1. 인증키(OC) 발급. open.law.go.kr에서 무료로 회원가입 후 Open API 신청을 하면 OC(인증 ID)가 발급됩니다. 신청 시 서버 IP나 도메인 등록이 필요할 수 있습니다.
  2. 목록 조회. 기간 안의 대법원 판례 목록을 받습니다. 한 번에 최대 100건이므로 page를 올리며 반복합니다.
    GET https://www.law.go.kr/DRF/lawSearch.do?OC={OC}&target=prec&type=XML&query=&curt=대법원&prncYd=20260901~20261007&display=100&page=1
  3. 본문 조회. 목록 응답의 판례일련번호로 판결 전문을 받습니다. 본문은 응답 XML의 판례내용 항목에 있으며 줄바꿈이 <br/>로 표시됩니다.
    GET https://www.law.go.kr/DRF/lawService.do?OC={OC}&target=prec&ID={판례일련번호}&type=XML
  4. 저장. <br/>를 줄바꿈으로 바꿔 사건별 텍스트 파일로 저장한 뒤 첨부합니다.

대법원이 판결을 공개하고 이 API에 반영되기까지 시차가 있으므로, 가장 최근 선고분은 아직 조회되지 않을 수 있습니다.

다. LLM이 그 사건을 이미 학습했는지 확인하는 방법

첫 번째·두 번째 Key의 LLM 각각에 대해, 새 대화에서 사건번호와 선고일만 알려 주고 묻습니다. 판결 내용, 당사자, 사건 개요는 절대 알려 주지 마십시오.

[시스템] 당신은 한국 법률 질의에 답하는 보조자입니다. 모르면 추측하지 말고 "모른다"고 답하세요. [질문] 귀하는 대법원 2026다00000 판결(선고일 2026. 0. 0.) 사건을 알고 있나요? 알고 있다면 주문(결론)과 인정된 금액 등 구체적 내용을 설명하고, 모른다면 "모른다"고만 답하세요.
  • “모른다”고 답하면 그 사건은 학습하지 않은 것으로 보고 테스트에 쓸 수 있습니다. 온도(temperature)는 0으로 두고, 같은 질문을 두세 번 반복해 답이 일정한지 확인하십시오.
  • 주문·금액 등을 구체적으로 답하면 그 사건은 학습했을 가능성이 있으므로 제외하고, 그 LLM으로 다른 사건을 고르십시오. 답이 실제 판결과 맞는지는 원문과 대조해 확인합니다.
  • 한계. “모른다”는 답은 안전한 기본 응답일 수도 있어 학습하지 않았다는 증명은 아닙니다. 보완책으로 ① 해당 LLM의 학습 기준일 이후에 선고된 사건만 고르고, ② 당사자명·금액을 일부 바꿔 물었을 때 원래 판결 내용을 그대로 말하는지 보십시오.

시뮬레이션 당사자가 자주 이용하는 LLM의 API Key 두 개를 준비합니다. 각 LLM의 API Key를 얻는 방법은 해당 LLM에게 질의하십시오. 두 Key를 위 필드에 각각 입력합니다.

  1. 첫 번째 Key사건 자료 작성. 첨부한 판례를 바탕으로 완전히 익명화된 사건의 개요, 쉬운 설명, 원고 주장, 피고 주장, 표준 판결문(1~3심 통합 판결문)을 작성합니다.
  2. 두 번째 Key가상 판결문 생성. 익명화된 사건의 개요만 두 번째 Key로 전달되어 Agon 가상 판결문을 생성합니다. 표준 판결문은 전달되지 않습니다.
  3. 첫 번째 Key일치도 평가. 생성된 가상 판결문이 첫 번째 Key로 전달되어, 표준 판결문과의 일치도를 평가합니다.

두 개의 Key를 쓰는 이유와 지켜야 할 규칙

두 Key를 쓰는 이유는 두 작업이 서로의 작업을 알 수 없게 하는 것입니다.

바람직한 구성. 첫 번째와 두 번째 Key는 서로 다른 LLM의 Key를 쓰는 것이 바람직합니다. 하나의 LLM이라면 서로 다른 두 개의 Key를 준비합니다.
하나의 Key로 사건 개요와 판결문을 함께 작성하지 마십시오. 사건 개요와 판결문 작성을 하나의 Key로 동시에 진행하면, LLM이 이미 판결 결과를 알고 있으므로 Agon의 성능을 테스트할 수 없습니다.
사건 개요 작성에 쓴 Key는 그 사건의 가상 판결문 생성에 쓸 수 없습니다. 특정 LLM의 특정 API Key가 특정 사건의 개요 작성에 이용되었다면, 그 Key는 그 사건의 가상 판결문 생성에 이용할 수 없습니다. 이미 정답을 알고 있기 때문입니다. 같은 사건을 다시 테스트할 때 첫 번째와 두 번째 Key를 서로 맞바꿔 쓰는 것도 같은 이유로 안 됩니다.
  • API Key는 비밀번호와 같습니다. 가능하면 테스트 전용 Key를 새로 만들어 쓰십시오. 아래 하단 경고를 항상 확인하십시오.
  • 테스트 기록. 테스트가 끝나면 Agon 라운드별 시험 기록의 라운드처럼 사건번호, 사건의 개요, 일치도 평가 결과 등을 기록합니다. API Key는 기록하지 않습니다.
  • API 사용 비용은 Key를 발급한 계정에 청구됩니다. 판례 한 건의 테스트에는 세 번 이상의 LLM 호출이 필요합니다.
  • 일치도 평가 기준과 Agon 방법론의 차이는 Agon 가상 판결문 생성하기 상단의 비교표에서, 지금까지의 시험 결과는 Agon 테스트 진행 상황에서 볼 수 있습니다.