언어모델은 문장을 매끄럽게 바꾸는 데 유용하지만, 단어 하나가 책임의 범위와 독자의 행동을 바꿀 수 있는 상황까지 자동 승인해서는 안 됩니다. 의미, 위험, 개인정보, 최종 책임을 기준으로 사람 검토가 필요한 예외를 구분해야 합니다.
언어모델 단어 선택이 단순한 교정이 아닌 이유
단어 선택은 같은 뜻의 표현을 고르는 작업처럼 보이지만 실제로는 말하는 사람의 태도와 대상 독자의 해석을 함께 결정합니다. “가능성이 있다”를 “확실하다”로 바꾸거나 “검토가 필요하다”를 “문제없다”로 바꾸면 문장 분위기보다 의사결정의 전제가 달라집니다.
언어모델은 입력된 문맥에서 그럴듯한 표현을 제안할 수 있습니다. 그러나 제안된 문장이 조직의 정책, 계약상 책임, 의료적 판단, 안전 관련 지시와 정확히 맞는지까지 자동으로 보증하지는 않습니다.
특히 표현의 자연스러움은 사실성이나 적절성과 같은 개념이 아닙니다. 읽기 좋은 문장이 원문의 불확실성을 지우거나, 특정 집단을 부정적으로 묘사하거나, 책임 주체를 흐릴 수도 있습니다.
OpenAI도 언어모델 출력이 완전히 신뢰할 수 없고 사실 오류와 추론 오류가 생길 수 있다고 설명합니다. 고위험 맥락에서는 사람 검토, 추가 맥락으로 근거화, 고위험 사용 자체의 회피 중 어떤 절차를 적용할지 용도에 맞춰 정해야 합니다. OpenAI GPT-4 연구자료
자동 승인하지 말아야 할 단어 선택의 예외 상황
첫째는 원문의 의도가 하나로 고정되지 않은 경우입니다. 고객에게 사과하는 글인지, 내부 기록인지, 법적 분쟁에 대비한 사실관계 정리인지에 따라 같은 표현의 적절성이 달라집니다. 입력만 보고 목적을 확정할 수 없다면 모델에게 최종 문장을 맡기기보다 후보를 만들고 의도를 다시 확인해야 합니다.
둘째는 표현이 사실의 강도를 바꾸는 경우입니다. “추정”, “확인된 사실”, “잠정 결론”처럼 확신의 수준을 나타내는 말은 문체가 아니라 정보의 상태를 표시합니다. 모델이 더 단정적인 단어를 골랐다는 이유만으로 근거가 강화되는 것은 아니므로, 원자료와 대조하지 않은 자동 수정은 중단하는 편이 안전합니다.
셋째는 단어가 사람의 권리, 평판, 안전에 영향을 주는 경우입니다. 채용 평가, 민원 답변, 건강 관련 안내, 금융 안내, 제품 결함 공지처럼 독자가 곧바로 행동할 수 있는 문장에서는 표현의 작은 변화도 실제 결과로 이어질 수 있습니다. 이때는 모델이 만든 문장의 유창함보다 담당자가 책임 있게 의미를 승인할 수 있는지가 먼저입니다.
넷째는 특정 집단의 말투나 정체성을 다루는 경우입니다. 방언, 세대 표현, 장애 관련 표현, 외국인의 한국어, 커뮤니티 내부의 은어는 표준어로 바꾸는 것이 항상 개선을 뜻하지 않습니다. 자동화가 반복되면 한 가지 말투만 정상으로 남고, 원래 화자의 맥락과 목소리가 사라질 수 있습니다.
사람 검토를 남기는 자동화 흐름
자동화의 역할을 최종 결정자가 아니라 보조 편집자로 제한하면 경계가 선명해집니다. 모델에는 원문 보존, 의미 변경 금지, 불확실성 표시 같은 조건을 주고 여러 후보를 생성하게 한 뒤, 담당자가 선택하거나 원문을 유지하도록 구성합니다.
모델이 선택한 이유를 함께 받는 것도 도움이 됩니다. 다만 이유 설명이 정확한 근거를 뜻하지는 않으므로, 설명 자체를 승인 사유로 사용해서는 안 됩니다. 실제 근거가 있는지, 빠진 조건은 없는지, 문장에 새 사실이 들어갔는지를 별도로 확인해야 합니다.
OpenAI Model Spec은 assistant가 불확실성, 능력, 수행한 행동을 솔직히 밝히도록 하고, 민감한 정보를 도구로 보낼 때 네 가지를 살피도록 합니다. 정보가 얼마나 민감한지, 수신자를 믿을 수 있는지, 어떤 부작용이 생길 수 있는지, 사용자가 허용한 범위인지가 그 기준입니다. OpenAI Model Spec
따라서 원문에 이름, 연락처, 상담 내용, 내부 문서가 섞여 있다면 단어 선택 자동화보다 입력 자체의 취급 방식을 먼저 결정해야 합니다. OpenAI API 안내처럼 프롬프트와 응답이 기본 악용 모니터링 로그에 포함될 수 있고 최대 30일 보관될 수 있으며, 일부 기능은 애플리케이션 상태를 저장할 수 있기 때문입니다. OpenAI API 데이터 관리 안내
조직에서는 최종 승인자를 정하고, 모델 입력과 출력, 수정 이유, 승인 결과를 남기는 방식이 유용합니다. NIST AI RMF도 사람과 AI의 감독 역할을 구분하고 시스템의 한계와 출력 활용 방식을 문서화한 뒤, 위험 맥락을 바탕으로 도입 여부를 판단하도록 제시합니다. NIST AI RMF Core
단어 선택 자동화의 품질을 평가하는 기준
단순히 문장이 자연스러운지만 평가하면 예외 상황을 놓칩니다. 실제 업무에서는 과업의 의도와 결과가 맞는지, 반복 입력에도 일관적인지, 어조와 스타일이 조직 기준에 맞는지, 개인정보를 보존하는지, 앞뒤 맥락을 제대로 활용하는지를 함께 봐야 합니다.
Anthropic은 이런 항목을 평가 기준의 예로 제시하며, 평가 문항이 실제 사용 분포를 닮아야 하고 예외 사례도 포함해야 한다고 설명합니다. 예컨대 평범한 홍보 문장만 시험하지 말고, 부정적인 사실을 완곡하게 바꾸는 문장과 화자의 의도가 모호한 문장도 별도로 넣어야 합니다. Anthropic 평가 문서
평가 결과가 좋아 보여도 자동 승인을 바로 시작할 필요는 없습니다. 낮은 위험의 반복 업무에서는 자동화를 넓힐 수 있지만, 결과를 되돌리기 어렵거나 사람에게 직접 영향을 주는 업무에서는 보류율과 사람의 수정 패턴을 계속 관찰해야 합니다.
LLM을 평가자로 사용하는 경우에도 같은 주의가 필요합니다. Anthropic 문서처럼 LLM 기반 평가를 확대하기 전에는 평가자의 신뢰성을 시험해야 하며, 복잡한 판단일수록 구체적인 기준표를 마련해야 합니다. 모델이 모델의 단어 선택을 좋다고 평가했다는 사실만으로 최종 품질이 입증되지는 않습니다.
NIST AI RMF는 AI 시스템을 배포하기 전에 시험하고 운영 중에도 정기적으로 평가하며, 출력은 맥락 안에서 해석해야 한다고 제시합니다. 이 원칙을 단어 선택에 적용하면 자동화의 성공 기준은 “더 자연스러운 문장”이 아니라 “의미와 책임을 바꾸지 않으면서 목적에 맞는 문장”이 됩니다.
자주 묻는 질문 FAQ
Q1) 위험이 낮은 문장까지 모두 사람이 고쳐야 하나요?
그럴 필요는 없습니다. 되돌리기 쉽고 독자에게 직접적인 판단을 요구하지 않는 문장은 자동 제안과 자동 적용을 함께 사용할 수 있습니다. 다만 같은 시스템 안에서도 업무 맥락이 바뀌면 위험도가 달라질 수 있으므로, 자동화 범위를 고정하지 말고 결과를 관찰하며 조정해야 합니다.
Q2) 금지어 목록을 넣으면 예외 상황을 막을 수 있나요?
금지어 목록은 명백한 표현을 걸러내는 데 도움이 되지만 문맥의 의미까지 판단하지는 못합니다. 같은 단어도 인용문, 부정문, 설명문에서 기능이 달라질 수 있고, 금지어가 없어도 확신의 정도나 책임 주체가 바뀔 수 있습니다. 목록은 보조 장치로 사용하고 최종 의미는 원문과 함께 검토해야 합니다.
Q3) 사람 검토가 필요한 문장을 어떻게 자동으로 골라내나요?
문장 자체보다 결과의 영향과 되돌릴 수 있는지를 기준으로 분류하는 것이 좋습니다. 확신의 정도, 권리와 안전에 관한 내용, 민감정보 포함 여부, 대상 독자의 취약성을 신호로 삼아 보류 대상을 정할 수 있습니다. 보류된 문장은 모델이 승인하지 않고 후보와 근거만 제시하도록 설계하면 사람의 판단이 필요한 지점이 남습니다.