AI 에이전트

개요

AI 에이전트는 추론, 행동, 관찰을 여러 턴에 걸쳐 반복한다. Second Thought는 행동이 직렬화되고 환경 관찰을 기다리는 구간을 추론 유휴 창으로 보고, 이 시간에 미래 턴을 위한 보조 추론을 병렬로 수행한다.

병렬 추론

Second Thought는 각 Thought 단계가 끝날 때 네 개의 보조 분기를 시작하고 주 루프와 동시에 디코딩한다. 환경 관찰이 도착하면 생성된 생각을 다시 합치며, 검색이 아니라 추론 계산을 주 스레드의 순차 경로 밖으로 옮기는 방식이다.

평가 결과

세 개의 에이전트 벤치마크와 세 개의 추론 언어 모델을 조합한 아홉 조건에서 평균 턴 수가 모두 감소했다. 일곱 조건에서는 Pass@1의 유의미한 변화가 없었고, 나머지 두 조건에서는 각각 12.4점과 10.2점 상승했다. 계산량을 맞춘 주 스레드 추론 대조군과 비교 가능한 네 조건에서는 더 높은 Pass@1과 더 적은 순차 디코딩을 기록했다.