대규모로 텍스트를 분류하고 라우팅하기

많은 업무는 그 밑바탕을 보면 텍스트를 통(bucket)에 나눠 담는 일입니다. 이 티켓은 어느 부서로 가야 하나? 이 메시지는 스팸인가 진짜인가? 이 문서는 무엇에 관한 것인가? 이 요청은 어느 큐에 속하는가? 손으로 하면 느리고 따분하고 일관성이 없는데, 그래서 이것은 언어 모델에게 가장 자연스럽고 믿을 만한 일 중 하나입니다. 분류는 또한 실패 양상이 잘 이해되어 있고 대체로 관리 가능한, 몇 안 되는 AI 과제 중 하나이기도 합니다 — 그 실패 양상을 존중한다면요. 이 글은 텍스트 분류와 라우팅이 대규모에서 작동하게 하는 것, 그리고 그것이 깨지는 구체적인 지점들을 다룹니다.

분류가 더 안전한 베팅인 이유

열린 생성과 비교하면, 분류는 제약된 문제입니다. 모델은 텍스트를 지어내는 게 아니라 고정된 선택지 집합 중에서 고릅니다. 그 제약은 선물입니다. 출력은 점검 가능하고, 오류는 셀 수 있으며, 실제 트래픽으로 시스템을 믿기 전에 라벨이 붙은 집합에서 정확도를 측정할 수 있습니다. 생성된 요약이 "좋은지"는 쉽게 측정할 수 없지만, 분류기가 티켓을 올바른 큐로 보내는 빈도는 정확히 측정할 수 있습니다. 그 측정 가능성이 분류를 진짜 자신감을 갖고 배치할 수 있는 몇 안 되는 AI 과제 중 하나로 만듭니다.

또한 생성과 달리 우아하게 저하됩니다. 잘못 라우팅된 티켓은 복구 가능한 성가심입니다. 엉뚱한 큐에 떨어지면 누군가 알아채고 옮깁니다. 고객이 행동에 옮기는 날조된 답과 비교하면, 분류 오류의 폭발 반경은 대개 작습니다 — 바로 그래서 더 가벼운 감독으로 자동화를 돌리기 좋은 곳입니다.

진짜 설계 문제는 당신의 카테고리다

분류에서 가장 어려운 부분은 대개 모델이 아니라 카테고리입니다. 대부분의 현실 분류 체계는 보기보다 지저분합니다. 카테고리가 겹쳐서 한 메시지가 정당하게 두 곳에 속합니다. 카테고리가 모호해서 사람들조차 어디로 가야 할지 의견이 갈립니다. 하나의 잡동사니 통이 전체 분량의 3분의 1을 조용히 삼킵니다. 그리고 그 집합은 텍스트 자체에서 보이는 구분이 아니라 회사가 조직된 방식에 맞춰 설계됐습니다.

사람이 일관되게 적용할 수 없는 카테고리로는 모델도 믿을 만하게 분류할 수 없습니다. 경험 많은 세 사람에게 같은 백 개 항목을 분류하라고 했는데 스무 개에서 의견이 갈린다면, 모델도 대략 그만큼에서 "의견이 갈릴" 것이고, 어떤 튜닝도 핵심부터 모호한 분류 체계를 고치지 못합니다. 분류 프로젝트에서 가장 값진 작업은 흔히 카테고리를 정리하는 것입니다. 겹치는 것을 병합하고, 잡동사니 통을 쪼개고, 사람과 모델이 똑같이 적용할 만큼 정밀한 정의를 쓰는 것이죠.

확신 문제

분류기는 카테고리를 고르기만 하면 되는 게 아닙니다. 언제 확신이 없는지도 알아야 합니다. 위험한 경우는 어떤 카테고리에도 깔끔하게 맞지 않는 항목인데, 모델이 명백한 경우에 보이는 것과 똑같은 겉보기 확신으로 가장 가까운 선택지를 골라버리는 것입니다. 불확실성이라는 개념이 없으면 모든 결정이 똑같이 믿을 만해 보입니다 — 동전 던지기까지 포함해서요.

견고한 설계는 "잘 모르겠음" 경로를 더합니다. 모델의 확신이 낮거나 항목이 어디에도 분명히 속하지 않을 때, 추측하는 대신 사람이나 검토 큐로 라우팅합니다. 이 하나의 설계 선택이 시스템의 성격을 바꿉니다. 어려운 경우에 확신에 차 틀리는 대신, 쉬운 다수에서 자동으로 맞히고 나머지는 정직하게 에스컬레이션합니다. 감독의 수준을 각 결정의 난이도와 위험 부담에 맞추는 것은 NIST AI Risk Management Framework 같은 프레임워크가 권장하는 바로 그 결과 인식 태세입니다 — 일상적인 것은 자동화하고, 불확실한 것은 에스컬레이션하라는 것이죠.

분포는 당신 모르게 옮겨간다

분류기는 오늘 보는 텍스트 종류에 맞춰 학습되거나 구성됩니다. 세상은 가만히 있지 않습니다. 새 제품이 출시되어 전에 없던 메시지 카테고리를 만들어 냅니다. 마케팅 캠페인이 사람들의 요청 표현 방식을 바꿉니다. 새로운 문제가 기존 분류 체계 어디에도 맞지 않는 항목의 급증을 일으킵니다. 모델은 계속 자신만만하게 분류하며 이 새로운 트래픽을 옛 통에 욱여넣고, 모든 개별 결정이 여전히 멀쩡해 보이는 동안 정확도는 조용히 침식됩니다.

이것이 분류를 한 번 설정하고 잊는 것으로 다루는 팀을 덮치는 실패입니다. 출시 시점에 95퍼센트 정확하던 시스템이 단 한 번의 경보도 없이 몇 달에 걸쳐 그 한참 아래로 흘러갈 수 있습니다. 아무것도 망가지지 않기 때문이죠 — 그저 조용히 더 틀려갈 뿐입니다. 방어책은 지속적인 측정입니다. 실제 결정을 표집하고, 정답에 대조해 점검하고, 분포가 옮겨갔다는 조기 경보로서 낮은 확신과 잡동사니 통 비율을 지켜보는 것입니다.

규모는 오류의 경제학을 바꾼다

소규모에서는 사람이 모든 분류를 검토할 수 있고, 모델은 그저 제안일 뿐입니다. 대규모에서는 — 수천, 수백만 항목에서는 — 모든 결정을 검토하는 것이 불가능하고, 시스템의 핵심은 대부분에 대해 사람을 루프에 두지 않는 것입니다. 그 전환은 설계를 제대로 하는 일의 위험 부담을 높입니다. 이제 오류가 감독 없이 일어나고 누적되기 때문입니다.

실용적인 답은 확신과 결과에 따라 구동되는 계층화된 처리입니다. 확신 높고 위험 부담 낮은 결정은 완전히 자동으로 돌아갑니다. 확신 낮거나 위험 부담 높은 결정은 사람의 검토를 받습니다. 그리고 자동화된 결정의 연속적인 표본을 감사해, 흐름과 체계적 오류가 누적되기 전에 드러나게 합니다. 이렇게 하면 인간의 노력이 명백한 경우의 홍수에 무용하게 얇게 퍼지는 대신, 결과를 바꾸는 곳으로 갑니다.

작동하는 시스템이 공유하는 것

대규모에서 믿을 만한 분류는 매우 다른 도메인 전반에서 비슷한 모습을 띱니다. 카테고리는 깔끔하고, 일관되게 적용 가능하며, 사람들이 합의할 만큼 정밀하게 정의되어 있습니다. 시스템은 모든 항목을 통에 욱여넣는 대신 명시적인 "잘 모르겠음" 경로를 갖습니다. 정확도는 출시 시점부터 가정되는 게 아니라 정답에 대조해 연속적으로 측정됩니다. 처리는 확신과 위험 부담으로 계층화되어 자동화는 안전한 곳에서 돌고 사람은 중요한 곳에서 검토합니다. 그리고 누군가는 정확도를 소리 없이 침식하는 분포 이동을 지켜봅니다. 이 중 어느 것도 더 영리한 모델에 관한 것이 아닙니다. 분류기가 늘 갖는 실패 양상을 존중하는 것에 관한 것입니다.

정리

텍스트 분류와 라우팅은 AI의 가장 믿을 만한 일 중 하나입니다. 문제가 제약되어 있고, 출력이 점검 가능하며, 정확도가 측정 가능하고, 오류가 우아하게 저하되기 때문입니다. 실패는 잘 이해되어 있습니다. 누구도 일관되게 적용할 수 없는 모호한 카테고리, 어디에도 맞지 않는 항목에 대한 과한 확신, 정적인 분류 체계 아래 세상이 변하면서 생기는 조용한 흐름, 그리고 규모가 인간의 안전망을 걷어내는 방식입니다. 카테고리를 정리하고, 모델에게 "잘 모르겠음"이라고 말할 경로를 주고, 정확도를 연속적으로 측정하고, 처리를 확신과 위험 부담으로 계층화하고, 흐름을 지켜보십시오. 그렇게 하면 분류는 대체로 알아서 돌아가도록 믿을 수 있는 드문 AI 배치가 됩니다. 한 번 설정하고 잊는 것으로 다루면, 더 이상 맞지 않는 통에 자신만만하게 계속 나눠 담을 것입니다.