AI가 만든 문장을 사실과 의견으로 나누기 어려운 이유는 문장이 그럴듯해서가 아니라, 근거와 해석이 한 문장 안에서 섞이기 때문입니다. 이를 줄이려면 검토 단계를 계속 추가하기보다, 판단을 흐리는 중간 재작성 단계를 먼저 걷어내야 합니다.
AI가 사실과 의견을 섞는 이유
사실은 외부 자료와 대조해 참과 거짓을 판단할 수 있는 주장입니다. 반면 의견은 어떤 사실을 어떻게 해석할지, 무엇을 선택할지에 관한 평가와 제안이므로 사실과 다르다고 해서 곧바로 틀린 문장이 되는 것은 아닙니다.
예를 들어 “이 기능은 사용 시간을 줄인다”는 문장은 측정 자료가 있으면 사실 주장에 가깝습니다. “그래서 모든 팀이 이 기능을 도입해야 한다”는 문장은 앞의 사실을 바탕으로 한 의견이며, 비용과 위험을 어떻게 보느냐에 따라 결론이 달라집니다.
생성형 AI의 문제는 두 문장을 비슷한 어조로 이어 붙인다는 점입니다. 근거가 있는 수치 뒤에 평가 문장을 붙이고도 전체를 하나의 객관적 결론처럼 제시하면, 독자는 어디까지 확인된 내용이고 어디부터 AI의 해석인지 알아보기 어렵습니다.
더구나 AI는 틀리거나 거짓인 내용을 자신 있게 제시할 수 있습니다. 입력에서 벗어난 내용을 덧붙이거나, 같은 대화 안에서 앞서 말한 내용과 모순되는 출력도 만들 수 있으므로 문장의 매끄러움은 사실성의 증거가 아닙니다.
따라서 “이 답변이 맞나요?”라고 한 번에 묻는 방식은 효율적이지 않습니다. 먼저 검토 대상이 주장인지 평가인지 나누고, 주장이라면 어떤 자료와 대조할지 정한 뒤, 평가라면 그 판단에 사용한 기준을 따로 적어야 합니다.
사실과 의견 구분을 흐리는 불필요한 단계
가장 먼저 없앨 단계는 AI가 만든 초안을 다시 AI에게 자연스러운 문장으로 바꾸게 하는 중간 재작성입니다. 이 과정에서는 문장이 매끄러워지지만, 인용의 위치와 원래 주장에 붙어 있던 조건이 빠지기 쉽습니다.
특히 “요약해 달라”, “전문가처럼 다듬어 달라”, “설득력 있게 다시 써 달라”를 차례로 요청하면 사실 확인 전에 표현의 권위부터 커집니다. 원문에 없던 인과관계가 보강되고, 가능성에 불과한 해석이 확정적인 문장으로 변할 수도 있습니다.
재작성 자체가 항상 나쁜 것은 아닙니다. 다만 원문에 대한 판정이 끝난 뒤 독자에게 보여 줄 표현을 정리하는 마지막 단계로 미뤄야 하며, 사실 확인 전에는 문장 장식과 설득력 향상을 목표로 삼지 않는 편이 안전합니다.
불필요한 단계인지 판단하는 기준은 간단합니다. 그 작업이 새로운 근거를 추가하는지, 기존 근거와 주장의 연결을 더 명확하게 하는지, 아니면 같은 내용을 말투만 바꾸는지 살펴보면 됩니다.
말투만 바꾸는 단계라면 삭제하고, 근거를 추가하거나 조건을 분리하는 작업이라면 남깁니다. 이렇게 하면 AI를 여러 번 호출하는 횟수보다 중요한 판단 기록에 시간과 주의를 배분할 수 있습니다.
AI 답변을 판단 가능한 형식으로 바꾸기
AI에게 처음부터 완성된 글을 요구하기보다, 판정용 결과를 먼저 요청하는 방식이 좋습니다. “각 문장을 주장 단위로 나누고, 사실, 의견, 확인 보류 중 하나로 표시하라”처럼 결과의 칸과 기준을 구체적으로 정하면 출력의 목적이 달라집니다.
사실로 분류된 문장에는 근거의 제목이나 위치를 붙이게 합니다. 근거가 없거나 원문에서 확인되지 않는 내용은 사실처럼 보완하지 말고 확인 보류로 남기도록 지시해야 합니다.
의견으로 분류된 문장에는 평가의 주체와 판단 기준을 적게 합니다. “효율적이다”라는 표현만 남기지 말고 누구에게, 어떤 목표에서, 어떤 비용을 감수할 때 효율적인지 밝히면 독자가 의견의 전제를 볼 수 있습니다.
프롬프트는 정체성, 지침, 예시, 맥락으로 나누어 작성할 수 있습니다. 여기서 맥락은 AI의 기억에 기대는 부분이 아니라 사용자가 제공한 원문과 관련 자료이며, 필요한 자료를 검색해 함께 넣는 검색증강생성(RAG) 방식으로 구성할 수도 있습니다.
예시는 한 개의 정답 문장만 보여 주는 것보다 경계 사례를 포함하는 편이 유용합니다. 통계가 포함된 문장은 사실, “따라서 추천한다”는 문장은 의견, 출처가 불분명한 단정은 확인 보류로 제시하면 AI가 분류 기준을 따라가기 쉬워집니다.
실제 업무에서 적용하는 검토 흐름
먼저 최종적으로 내려야 할 판단을 한 문장으로 씁니다. 글을 발행할지, 제품을 선택할지, 정책을 설명할지에 따라 같은 문장도 필요한 검증 수준이 달라지므로 목적을 정하지 않은 사실 확인은 범위가 계속 커집니다.
AI 위험 관리는 Govern, Map, Measure, Manage 네 기능으로 구성되며, 관련 활동은 체크리스트나 반드시 정해진 순서의 단계가 아니라 상황에 따라 수행할 수 있습니다. 거버넌스 구조가 마련되면 네 기능은 상황에 따라 어떤 순서로도 수행할 수 있습니다.
다음으로 원문을 문장보다 작은 주장 단위로 쪼갭니다. 한 문장에 날짜, 원인, 효과, 추천이 함께 들어 있다면 각각 별도의 주장으로 분리해야 어느 부분만 근거가 없는지 확인할 수 있습니다.
그다음 AI가 만든 분류를 최종 결론이 아니라 검토 목록으로 취급합니다. 생성형 AI 출력은 이미 정답을 아는 기준 데이터와 비교하고, 사람의 감독과 자동 평가를 함께 활용해 정확성, 품질, 신뢰성을 평가하며, 사실 확인 기법을 배치하고 기록할 수 있습니다.
검토 우선순위도 같게 두지 않습니다. 금전, 건강, 법적 권리, 안전처럼 틀렸을 때 손실이 큰 주장은 사람이 원문과 근거를 직접 대조하고, 단순한 표현이나 문체 선택은 낮은 우선순위로 둘 수 있습니다.
마지막 작성 단계에서는 사실 문장과 의견 문장의 역할을 분리합니다. 사실 뒤에는 조건과 근거를 붙이고, 의견 앞에는 판단 주체와 기준을 밝히며, 근거가 부족한 내용은 문장을 더 세련되게 만드는 대신 삭제하거나 확인 보류로 남깁니다.
이 흐름의 핵심은 AI에게 더 많은 검토를 시키는 데 있지 않습니다. AI가 근거를 확인하기 전에 문장을 요약하고 포장하는 고리를 끊고, 원문과 판단 기준 사이의 연결을 보존하는 데 있습니다.
자주 묻는 질문 FAQ
Q1) AI에게 사실과 의견을 한 번에 구분해 달라고 요청하면 안 되나요?
가능하지만 결과를 최종 판정으로 받아들이면 안 됩니다. AI는 분류 기준을 따르면서도 근거가 없는 문장을 사실로 표시할 수 있습니다. 사실 분류 결과는 사람이 원문과 자료를 대조하기 위한 검토 목록으로 사용하는 것이 적절합니다.
Q2) 사실 확인 전에 초안을 여러 번 다듬으면 왜 문제가 되나요?
재작성 과정에서 원래 문장의 조건과 근거 위치가 사라질 수 있기 때문입니다. 표현이 단정적으로 바뀌면 해석이 사실처럼 보일 가능성도 커집니다. 먼저 주장과 근거를 분리한 뒤, 확인이 끝난 문장만 독자에게 맞게 다듬는 순서가 안전합니다.
Q3) 근거를 찾지 못한 문장은 의견으로 처리하면 되나요?
근거가 없는 문장을 의견으로 바꾸면 사실 확인을 피하는 결과가 될 수 있습니다. 외부에서 검증해야 하는 주장이라면 확인 보류로 남기고, 평가나 추천이라면 판단 기준을 분명히 적어야 합니다. 확인 보류와 의견은 모두 확정된 사실이 아니라는 점에서 같지만, 판단의 성격은 서로 다릅니다.
공식 자료: https://www.privacy.go.kr/front/bbs/bbsView.do?bbsNo=BBSMSTR_000000000049&bbscttNo=20836 (출처: 정부·공공기관 공식 자료)