ENKO
문의하기
홈/근거 기반 문서 추론

근거 기반 문서 추론

AI가 문서를 분석하고, 판단의 이유를 설명합니다.

여러 문서에서 필요한 사실을 찾아 날짜·대상·조건을 비교합니다. 어떤 내용을 확인해야 하는지, 왜 그런 판단을 했는지 원문과 함께 보여주는 기술입니다.

문의하기연구 비교 보기

Jupgo

판단 결과와 남은 확인 사항

문서 추론이란

여러 문서를 함께 읽어야 알 수 있는 사실을 찾습니다.

문서 추론은 AI가 여러 문서의 내용을 읽고, 질문에 답하는 데 필요한 사실을 비교하는 기술입니다. 첫 문서로 답이 부족하면 관련 자료를 더 찾습니다. 결과에는 원문에 적힌 사실과 그 사실로 내린 판단을 구분해 표시합니다.

자료: IRCOT · MUSIQUE

  1. 질문과 문서필요한 사실 찾기
  2. AI가 연결문서 사이의 관계
  3. 조건 대조날짜·규칙·충돌
  4. 근거 있는 결과확인·미확인 구분

왜 필요한가

문서 사이의 관계

서로 다른 기록의 대상·날짜·조건을 맞춰 한 문서만으로 놓치기 쉬운 연결을 찾습니다.

결과에서 원문으로

판단에 사용한 문서 내용을 남겨, 설명에서 원문까지 거슬러 확인할 수 있게 합니다.

남겨야 하는 미확인

자료가 없거나 충돌할 때는 추가 확인이 필요한 항목으로 구분합니다.

단계별로 근거를 찾는 효과

검색과 추론을 연결하면 답변은 어떻게 달라질까?

IRCoT는 한 번 검색하는 OneR와, 중간 추론에 따라 다시 검색하는 방식을 비교했습니다.

GPT3 code-davinci-002 · 양쪽 모두 CoT reader · 데이터셋별 평가 500문항 · demonstration set 3개의 평균±표준편차.

검색 방식에 따른 여러 문서 질문의 답변 F1 비교 HotpotQA는 53.6→60.7, IIRC는 49.8→49.9였습니다. 효과는 질문과 자료의 구조에 따라 달라집니다.

HotpotQA는 53.6→60.7, IIRC는 49.8→49.9였습니다. 효과는 질문과 자료의 구조에 따라 달라집니다.

Answer F1은 답과 정답의 단어 겹침을 측정합니다. 정답률 %가 아닙니다. 2Wiki는 2WikiMultihopQA입니다.

전체 수치와 표준편차 보기
Answer F1 · 평균 ± 표준편차
데이터셋OneRIRCoT
HotpotQA53.6 ± 0.760.7 ± 1.1
2Wiki54.8 ± 2.168.0 ± 1.5
MuSiQue29.4 ± 0.836.5 ± 1.2
IIRC49.8 ± 2.349.9 ± 1.1

Trivedi et al. · IRCoT · ACL 2023 · Appendix Table 4

MuSiQue·IIRC는 answerable subset입니다. 호출 비용과 시간을 같게 맞춘 비교는 아닙니다.

외부 Wikipedia QA 연구이며 Jupgo 성능이나 법률 판단 정확도의 측정값이 아닙니다.

Jupgo는 AI의 문서 분석에 경매 분석 규칙을 적용합니다.

블루어반은 AI가 문서에서 필요한 사실을 찾고, 판단에 사용한 내용을 설명하는 방법을 연구합니다. Jupgo에서는 AI가 경매 기록의 날짜·권리·임차 정보를 추출하고, 시스템이 그 정보를 경매 분석 규칙에 따라 비교합니다.

기술을 발전시킨 연구

ACL 2023

찾은 근거로 다음 검색을 정하기

추론 중 얻은 정보를 다음 검색에 연결하는 구조입니다.

TACL 2022

여러 문서를 넣는 것과 연결하는 것

앞 단계의 정보가 다음 단계에 필요한 질문으로 연결된 추론을 평가합니다.

블루어반의 연구와 활용

Jupgo: AI로 경매 문서를 분석해 주의할 권리와 조건을 찾습니다.

Jupgo는 AI로 경매 문서에서 날짜·권리·임차 정보를 읽어 물건별로 정리합니다. 시스템은 이 정보를 정해진 경매 분석 규칙에 따라 비교하고, 확인할 사항과 판단에 사용한 문서를 보여줍니다. 자료가 없거나 서로 맞지 않는 부분은 따로 표시합니다.

설명용 예시

“문제가 없음”과 “자료가 없음”은 다른 결과입니다.

분석할 자료

매각물건명세서 · 현황조사서 · 관련 기록

AI

  • 문서에서 날짜·권리·임차 정보를 추출합니다.
  • 판단에 필요한 항목과 문서의 해당 부분을 연결합니다.

Jupgo

  • 추출한 사실을 정해진 경매 분석 규칙과 대조합니다.
  • 자료 누락·불일치와 적용한 가정을 따로 남깁니다.

근거 상태를 구분한 결과

확인됨
해당 내용과 출처를 문서에서 확인
미확인
판단에 필요한 자료가 없음
불일치
문서마다 내용이 달라 추가 확인 필요
판단에 필요한 항목 추출
경매 문서에서 권리와 임차 정보를 항목별로 추출합니다. ‘해당 사항 없음이 확인됨’과 ‘자료가 없어 알 수 없음’은 다른 상태로 다룹니다.
날짜와 조건의 대조
시스템이 추출된 날짜·권리·조건을 정해진 경매 분석 규칙에 따라 비교합니다. AI가 문서의 뜻을 해석하는 일과 규칙에 따라 판단하는 일을 나누어 처리합니다.
확인하지 못한 내용도 표시
자료 누락·충돌과 적용한 가정을 결과에 남깁니다. 근거 부족을 문제가 없다는 결론으로 바꾸지 않습니다.
블루어반 기술 블로그
블루어반의 활용Jupgo경매 문서·권리 분석도메인 규칙날짜·조건·근거 대조

자주 묻는 질문

Q1

일반 문서 요약과 어떻게 다른가요?

내용을 줄이는 데서 끝나지 않고, 문서 사이의 대상·날짜·조건을 비교해 판단할 관계를 확인합니다.

Q2

자료가 없으면 어떻게 처리하나요?

미확인 상태를 유지하고, 적용한 가정이 있다면 함께 남깁니다. 추가 자료로 확인할 부분을 구분합니다.

Q3

차트가 경매 판단 정확도를 의미하나요?

아닙니다. Wikipedia 질문 응답 연구의 Answer F1입니다. Jupgo의 분야별 판단은 별도의 검증 대상입니다.

논문·전문자료

  1. Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions

    ACL 2023

  2. MuSiQue: Multihop Questions via Single-hop Question Composition

    TACL 2022

  3. Constructing A Multi-hop QA Dataset for Comprehensive Evaluation of Reasoning Steps

    COLING 2020

  4. IRCoT code, data and prompts

    Author repository

문서의 사실에서, 확인 가능한 판단까지.

분석할 문서와 업무 규칙, 근거가 부족할 때의 처리 방식을 함께 검토합니다.

문서 분석 논의하기