실험 동기 및 목표

Motivation

Routing에 대한 연구는 대부분 human preference data(주관적인 정보)를 기준으로 진행돼 왔음 (Ex. RouteLLM) 우리 팀은 수학 문제와 같이 검증이 가능한 영역에서 Routing을 적용해볼 수 있다고 판단해 수학 문제를 대상으로 Router를 구축해보고자 하였음

Problem

모든 문제에 대해 큰 모델을 사용하면 정확하지만 비용이 지나치게 높을 수 있다. 반대로 작은 모델은 상대적으로 저렴하지만 정확도가 낮다는 단점이 있다.

Solution

Router 모델을 통해 작은 모델로도 풀 수 있는 쉬운 문제는 작은 모델로, 큰 모델이 필요한 어려운 문제는 큰 모델로 라우팅을 하면 정확도가 크게 낮아지지 않으면서 더 비용효율적일 것이라고 기대

Goal

비용효율성

문제별로 적절한 모델을 선택하는 Router를 만들어, 비용은 줄이면서 정확도는 최대한 유지하기

실험 설정

• Dataset: OpenAI GSM8K (수학 문제 데이터셋)
• Small Model: Qwen2.5-Math 1.5B Instruct (zero-shot, 짧은 답변)
• Big Model: Qwen2.5-Math 7B Instruct + CoT prompt (단계별 풀이)
  • 가용한 서버에서 지나치게 큰 모델을 사용하기는 어려웠기 때문에 데이터셋의 난이도와 CoT의 유무를 통해 small model / big model의 수준을 맞추었음

Baseline 성능

Baseline 성능을 측정할 때 두 모델 모두 틀리는 경우에는 배제를 진행함.