증류

개요

증류는 강한 교사 모델의 능력을 학생 모델로 이전하는 학습 기법이다. SimpleOPD는 장문맥 추론 교사와 단문맥 학생 사이에서 발생하는 토크나이저 불일치를 다루기 위해 공유 텍스트 공간을 사용한다.

토큰 정렬

SimpleOPD는 교사와 학생의 토크나이저가 달라도 동일한 텍스트 범위를 차지하는 토큰만 정렬한다. 학생 참조 KL 손실과 종료 토큰의 어드밴티지 마스킹을 함께 사용해 학생 정책의 과도한 이탈과 생성 길이 급증을 완화한다.

평가 결과

Qwen3, Qwen3.5, Intern-S2, GLM-4.7, Gemma-4 계열 학생 모델에서 수학 추론 성능 향상이 보고됐으며, 과학 벤치마크에서도 개선이 관찰됐다.