언어모델의 단어 선택량을 줄이려면 온도보다 먼저 강제로 붙인 사고 설명과 중간 결과를 걷어내야 합니다. 토큰과 추론의 차이를 이해하고, 작업 난도에 맞는 생성 수준과 출력 형식을 설계하는 방법을 살펴봅니다.
언어모델 단어 선택은 토큰 생성의 반복입니다
사람은 문장을 만들 때 단어를 고른다고 생각하지만, 언어모델은 입력을 토큰이라는 단위로 바꿉니다. 토큰은 한 단어와 일치할 수도 있고, 단어의 일부나 여러 문자를 묶은 조각일 수도 있습니다.
따라서 “단어를 적게 쓰게 하라”는 요청은 실제로는 모델이 생성하는 토큰 수를 줄이라는 뜻에 가깝습니다. 문장 수, 글자 수, 토큰 수는 서로 같은 기준이 아니므로 목표를 먼저 구분해야 합니다.
Transformer 구조의 언어모델은 앞에서 나온 결과를 다시 입력으로 사용해 다음 토큰을 이어 붙입니다. 이 방식을 자동회귀 생성이라고 하며, 한 번에 완성된 문장을 선택하는 것이 아니라 다음에 올 가능성이 높은 조각을 순서대로 계산합니다. Transformer 원 논문은 이 생성 구조를 설명합니다.
이 구조에서는 출력이 길어질수록 다음 토큰을 계산하는 과정도 계속됩니다. 그러므로 답변을 짧게 만들 때는 표현의 다양성을 조정하는 설정보다, 애초에 모델이 거쳐야 하는 출력 단계를 줄이는 설계가 먼저입니다.
불필요한 사고 설명 단계부터 없애야 합니다
가장 먼저 제거할 대상은 모든 질문에 붙이는 “단계별로 생각하고 그 과정을 자세히 설명하라”는 지시입니다. 추론 모델은 사용자가 사고 과정을 요구하지 않아도 내부 추론 토큰을 사용해 문제를 처리하므로, 이 문장은 대체로 별도 가치를 만들지 않습니다.
특히 최종 답만 필요한 검색 결과 정리, 항목 분류, 짧은 문장 변환에서는 사고 과정을 출력하게 만들수록 응답이 길어집니다. 사용자는 결론만 받으면 되는데 모델은 판단 근거, 중간 계산, 자기 점검을 글로 풀어 쓰게 되기 때문입니다.
이때 내부 추론과 외부 설명을 나누어 보아야 합니다. 내부 추론은 모델이 답을 만들기 위해 사용하는 처리 과정이고, 외부 설명은 사용자가 읽는 결과물입니다. 외부 설명을 없앤다고 해서 모델의 판단 능력 자체가 사라지는 것은 아닙니다.
OpenAI도 추론 모델에 사고 과정을 단계별로 출력하라는 프롬프트가 불필요하다고 안내합니다. 짧고 직접적인 지시를 먼저 사용하라는 원칙은 추론 모범 사례 문서에서도 확인할 수 있습니다.
다만 모든 중간 단계를 무조건 없애라는 뜻은 아닙니다. 법률 검토, 복잡한 코드 변경, 수치 검산처럼 사람이 검증해야 하는 작업에서는 결과에 필요한 근거와 검증 항목을 별도로 요청하는 편이 안전합니다.
출력 토큰을 줄이는 프롬프트 설계
짧은 답을 원한다면 “간단히 써줘”보다 출력 형식을 구체적으로 정하는 편이 낫습니다. 예를 들어 “결론 한 문단, 근거 두 문장, 추가 설명 생략”처럼 결과의 구조와 종료 조건을 함께 적으면 모델이 불필요한 서론을 붙일 여지가 줄어듭니다.
좋은 프롬프트는 역할보다 산출물을 먼저 규정합니다. “전문가처럼 답하라”는 표현은 범위가 넓지만, “핵심 판단만 일반 문장으로 답하고 반복 설명은 제외하라”는 지시는 생성할 문장의 종류를 제한합니다.
외부 자동화에서는 초안 작성, 자기 평가, 재작성 단계를 모두 기본값으로 넣지 않는 것이 좋습니다. 단순 변환 작업이라면 한 번의 생성으로 끝내고, 오류 위험이 큰 작업에서만 검증 단계를 추가하는 방식이 처리량과 비용을 함께 관리하기 쉽습니다.
API를 사용하는 경우에는 max_output_tokens로 전체 생성량의 상한을 둘 수 있습니다. 이 값은 사용자에게 보이는 문장만 세는 장치가 아니라 내부 추론과 형식 처리에 사용되는 토큰도 포함하므로, 너무 낮게 잡으면 답변이 나오기 전에 불완전 상태가 될 수 있습니다.
따라서 출력 한도는 무조건 작게 설정하기보다 작업별로 관찰해야 합니다. 짧은 분류 응답과 긴 코드 생성에 같은 상한을 적용하면 전자는 낭비가 남고 후자는 중간에 끊길 수 있습니다.
응답 형식도 토큰 수에 영향을 줍니다. 불필요한 제목, 반복되는 결론, 같은 의미의 주의 문장을 줄이고 필요한 필드만 남기면 모델이 선택해야 하는 다음 토큰의 경로가 짧아집니다.
추론 수준과 생성량을 함께 판단하는 기준
추론 수준은 답변의 길이와 같은 설정이 아닙니다. 추론 수준을 낮추면 내부에서 사용하는 작업량이 줄어들 수 있지만, 최종 문장에 불필요한 설명을 붙이지 않는 문제는 출력 형식과 프롬프트가 따로 해결해야 합니다.
OpenAI 문서의 reasoning effort는 모델이 얼마나 깊게 생각할지 조정하는 장치입니다. 낮은 수준은 빠른 정보 검색이나 분류처럼 복잡한 판단이 적은 작업에 적합하고, 높은 수준은 여러 조건을 비교하거나 도구를 사용해야 하는 작업에 적합합니다.
이 기준은 모델마다 지원 범위와 기본값이 다르다는 점을 전제로 합니다. 특정 서비스에서 낮은 추론 수준을 선택했다고 해서 모든 모델이 같은 방식으로 동작한다고 보면 안 되며, 사용하는 모델의 문서와 실제 응답 길이를 함께 확인해야 합니다.
Google의 Gemini 문서도 단순한 사실 검색이나 분류에는 낮은 사고 수준을, 복잡한 수학이나 다단계 계획에는 높은 사고 수준을 권장합니다. Gemini에서는 thinking level이나 thinking budget처럼 별도의 제어 항목을 제공하므로, 서비스마다 설정 이름은 달라도 작업 난도에 맞춰 사고량을 배분한다는 원리는 같습니다.
생성량을 줄이는 목적이라면 먼저 세 가지를 따져야 합니다. 모델이 내부적으로 수행하는 사고가 과한지, 사용자가 읽을 중간 설명이 붙어 있는지, 그리고 자동화 과정에서 초안과 재작성 호출이 반복되는지입니다.
반대로 정답의 신뢰성이 중요한데 단순히 출력 한도만 낮추면 문제가 생깁니다. 답변이 짧아지는 대신 조건 누락, 검증 생략, 문장 중단이 발생할 수 있으므로 길이 감소를 품질 개선과 같은 의미로 해석해서는 안 됩니다.
실무에서는 짧은 작업을 낮은 추론 수준과 고정 형식으로 시작하고, 오류가 확인된 작업에만 추론 수준이나 검증 절차를 올리는 방식이 합리적입니다. 이렇게 하면 모든 요청에 무거운 단계를 붙이지 않으면서도 필요한 경우에는 품질을 회복할 수 있습니다.
결국 언어모델의 단어 선택을 줄이는 첫 단계는 단어 후보를 억지로 제한하는 일이 아닙니다. 모델에게 보여줄 필요가 없는 사고 설명과 중간 산출물을 먼저 제거하고, 그 다음에 출력 상한과 추론 수준을 작업별로 조정해야 합니다.
자주 묻는 질문 FAQ
Q1) 사고 과정을 설명하라고 하면 답변 품질이 좋아지나요?
추론 모델에서는 사용자가 사고 과정을 직접 출력하라고 요구하지 않아도 내부 추론이 수행될 수 있습니다. 따라서 최종 결과만 필요한 작업이라면 설명 지시가 품질을 보장하지 않으며 오히려 출력량을 늘릴 수 있습니다. 검증이 필요한 경우에는 전체 사고 과정보다 결론의 근거, 확인할 조건, 오류 가능성처럼 필요한 검증 항목을 요청하는 편이 적절합니다.
Q2) 출력 토큰 한도를 낮추면 항상 더 짧고 효율적인가요?
출력 한도는 생성량을 제한하지만 내부 추론에 필요한 공간까지 포함할 수 있습니다. 한도를 지나치게 낮추면 보이는 답변이 완성되기 전에 응답이 중단될 수 있습니다. 작업 유형별로 충분한 여유를 둔 뒤 실제 사용량과 불완전 응답 여부를 확인하며 조정해야 합니다.
Q3) 추론 수준을 낮추면 복잡한 질문에도 사용할 수 있나요?
단순 분류, 짧은 변환, 사실 확인처럼 판단 단계가 적은 작업에는 낮은 추론 수준이 잘 맞을 수 있습니다. 여러 조건을 비교하거나 도구 호출, 코드 검토, 장기 계획이 필요한 작업은 더 높은 수준이 필요할 수 있습니다. 먼저 낮은 수준으로 시작하되 오류가 반복되는 작업만 단계적으로 높이는 방식이 비용과 품질 사이의 균형을 잡기 쉽습니다.