인공지능(AI)이 정답을 맞혔는지뿐 아니라 어떤 논리 과정을 거쳐 결론에 도달했는지 평가하는 기술이 나왔다.

한국과학기술정보연구원(KISTI) 에이전트응용연구센터 양혜영 박사팀은 AI의 추론 과정을 평가하는 기술 ‘TRACE(Toulmin-based Reasoning Assessment through Constructive Elements)’를 개발했다.

이 기술은 정답 여부 중심의 기존 평가 한계를 넘어 AI의 추론 구조를 정량적으로 분석하는 게 핵심이다.

최근 대규모 언어모델(LLM)은 문제를 여러 단계로 나눠 해결하는 연쇄적 사고 방식을 활용해 성능을 높이고 있다.

그러나 기존 평가는 최종 답의 정오 여부에 집중해 AI가 어떤 과정을 거쳐 결론을 도출했는지 분석하기 어려웠다.

정답이 없는 문제에서는 객관적인 평가도 쉽지 않았다.

연구팀은 논증이론의 툴민(Toulmin) 논증모형과 존 플라벨의 메타인지 이론을 결합해 AI의 추론 구조와 자기점검 과정을 함께 분석하는 TRACE를 개발했다.

TRACE는 AI가 생성한 추론 문장을 주장, 근거, 논거, 보강근거, 평가, 한정, 반박, 모니터링 등 8개 요소로 분해한 뒤 각 요소의 타당성과 문장 간 논리적 연결성을 분석한다.

연구팀은 약 10만 개의 추론 문장을 활용해 TRACE-DeBERTa 모델을 학습시켰고, 7개 주요 언어모델과 2만 6000여 개의 추론 사례를 분석했다.

분석 결과 TRACE 점수와 실제 벤치마크 정답률 사이에서 높은 상관관계(Pearson r=0.741)를 확인했다.

TRACE는 AI 평가뿐 아니라 대규모 언어모델 강화학습에도 활용 가능성을 확인했다.

연구팀은 정답 여부만 보상 신호로 활용하는 검증가능보상 강화학습(RLVR)에 TRACE를 적용한 결과 대규모 언어모델의 추론 성능이 향상됐다고 밝혔다.

양 박사는 “TRACE는 AI가 어떤 단계에서 논리적으로 추론했고, 어떤 단계에서 불확실성이나 자기모순이 발생했는지를 설명할 수 있다"며 ”블랙박스형 AI 평가와 정답지에 의존하는 기존 평가 방식의 한계를 보완할 수 있다"고 말했다.

한편, 이번 연구는 KISTI 김윤동 연구원이 제1저자로 수행했고, 연구결과는 인공지능·머신러닝 분야 최고 권위 학회 ‘국제 머신러닝학회(ICML 2026)’에 채택됐다.
(논문명: TRACE: Toulmin-based Reasoning Assessment through Constructive Elements for LLM CoT Evaluation)

이재형 기자 jh@kukinews.com