모델에 지식 컷오프가 있는 이유

아주 최근의 일에 대해 모델에 물으면, 모른다는 정중한 인정을 받거나, 더 나쁘게는 철 지난 자신만만한 답을 받을 수 있습니다. 이것이 **지식 컷오프(knowledge cutoff)**입니다. 그 시점을 넘어서면 모델에 내장된 지식이 그냥 멈춰버리는 시간상의 한 점이죠. 사람들은 이를 의외라고 느낍니다. 우리는 업데이트되는 소프트웨어와, 지금 이 순간의 세상을 반영하는 검색 엔진에 익숙하니까요. 언어 모델은 작동 방식 자체에 근본적인 방식으로 다르며, 누군가 고치기를 깜빡한 일시적 한계가 아닙니다. 컷오프가 왜 존재하는지 이해하면, 그것이 주는 답답함과 그것을 우회하는 표준적인 방법 둘 다가 설명됩니다.

지식은 학습 시점에 구워 넣어진다

핵심 사실은, 모델의 지식이 실시간으로 조회되는 것이 아니라는 점입니다. 학습 중에 한 번 흡수되고, 그다음 얼어붙습니다. 모델이 어떻게 만들어지는지 떠올려 보세요. 모델에는 어마어마한 양의 텍스트가 주어지고, 모델은 그 텍스트를 잘 예측하도록 내부 숫자를 조정합니다. 그 과정에서 그 텍스트에 담긴 패턴과 사실을 흡수합니다. 학습된 데이터 속 세상이 어떤 모습이었든, 그것이 모델이 "아는" 세상입니다.

결정적으로, 그 데이터는 어느 시점까지만 수집되었고 그 이상은 아닙니다. 학습은 그 시점에 이용 가능한 텍스트의 스냅샷을 취합니다. 학습이 끝나면 모델의 파라미터는 고정되며, 세상이 흘러가도 새 정보를 계속 흡수하지 않습니다. 모델은 사건의 실시간 피드에 연결되어 있지 않습니다. 어느 날짜까지 집중적으로 공부하다가 그 뒤로 읽기를 완전히 멈춘, 박식한 사람에 더 가깝습니다. 그 날짜 이후의 모든 것은 그에게 백지입니다.

그러니 컷오프는 누군가 적용한 필터가 아닙니다. 그것은 스냅샷의 자연스러운 가장자리입니다. 인쇄된 백과사전이 인쇄에 들어간 뒤 일어난 일을 묘사하지 못하는 것과 같은 이유로, 모델은 학습 데이터가 끝난 뒤의 사건을 알 수 없습니다.

왜 스스로 업데이트하지 못하는가

합리적인 질문 하나. 왜 모델은 새 정보가 들어오는 대로 그냥 배우지 못할까요? 답은, 모델의 실제 지식을 업데이트한다는 것은 그 파라미터를 바꾼다는 뜻이고, 그것은 곧 학습을 의미하기 때문입니다. 학습은 무겁고 의도적인 과정이지, 대화 도중 즉석에서 일어나는 일이 아닙니다.

당신이 모델과 대화할 때, 당신은 고정된 파라미터 집합을 쓰는 것입니다. 당신이 무슨 말을 하든 모델이 아는 것을 영구히 바꾸지는 못하며, 다음 사람은 똑같이 업데이트되지 않은 모델을 받습니다. 모델의 가중치에 새 지식을 진짜로 더하려면 학습 과정을 돌려야 하는데, 이는 비싸고 연속적이기보다 별개의 라운드로 이뤄집니다. 그래서 새 지식은 점진적으로 스스로 업데이트되는 시스템이 아니라, 더 늦은 컷오프를 가진 모델의 새 버전이라는 불연속적 도약으로 도착합니다. 당신이 쓰는 모델은 고정된 산물이고, 고정된 산물에는 마감 날짜가 있습니다.

컷오프는 깔끔한 선이 아니라 흐릿하다

컷오프를 날카로운 벽으로 그리고 싶은 유혹이 듭니다. 그 이전은 전부 알고, 그 이후는 전부 모른다는 식으로요. 현실은 더 흐릿하며, 그 흐릿함이 또 나름의 혼란을 낳습니다.

컷오프에 다가갈수록 다뤄진 정도가 얇아집니다. 학습 데이터 가장자리에 가까운 최근 사건은, 보통 더 오래되고 더 철저히 기록된 사건보다 덜 반영되어 있습니다. 스냅샷이 찍히기 전 세상이 그것에 대해 글을 쓸 시간이 더 적었으니까요. 그래서 모델은 기술적으로는 학습 기간 안에 들어오는 일이라도, 컷오프 직전의 일에 대해서는 흔들릴 수 있습니다.

주제마다 실질적인 신선도도 다릅니다. 많이 논의된 주제는 빠르고 촘촘하게 흡수되지만, 틈새 주제는 컷오프보다 한참 전이라도 듬성듬성할 수 있습니다. 그 결과 "모델이 아는 것"은 어느 날짜까지 균일하다가 그 뒤로 백지인 것이 아닙니다. 가장자리 근처에서, 고르지 않게 옅어집니다. 명시된 컷오프를 거기까지의 완전한 지식에 대한 보증이 아니라, 대략적인 경계로 받아들이세요.

위험한 실패 양상

모델이 컷오프 너머의 모든 것에 대해 늘 "모르겠습니다"라고만 한다면, 컷오프는 무해할 것입니다. 진짜 위험은 모델이 때때로 그러지 않는다는 데 있습니다. 모델의 핵심 능력이 그럴듯하게 들리는 텍스트를 만드는 것이기에, 모델은 철 지난 정보로, 또는 그저 그럴듯하게 들리는 무언가로 빈틈을 메워, 최근 사건에 관한 질문에 자신만만하게 답할 수 있습니다.

이것이 경계해야 할 실패 양상입니다. 모델은 자신이 무엇을 모르는지를 미덥게 알지 못할 수 있고, "오늘"에 대한 내장된 감각이 없습니다. 최근의 진전에 대해 물으면, 학습 데이터 시점의 상황을 완벽히 최신인 양 들리게 말해줄 수도 있고, 지어낼 수도 있습니다. 어느 쪽이든 위험은 그 답이 권위 있어 보인다는 데 있습니다. 컷오프는 모델이 컷오프에 도달했음을 알리지 않을 때 정확히 가장 위험합니다.

도구는 이를 어떻게 우회하는가

표준적인 해법은, 시간에 민감한 무언가에 대해 모델의 얼어붙은 기억에 기대기를 멈추고, 대신 당신이 물어보는 그 순간에 신선한 정보를 모델에 주는 것입니다. 서로 관련된 두 접근이 주류를 이룹니다.

첫째는 **검색(retrieval)**입니다. 모델이 답하기 전에, 시스템이 관련된 최신 문서를, 즉 검색 색인, 데이터베이스, 파일 묶음에서 가져와, 그 텍스트를 당신의 질문과 함께 모델의 문맥에 넣습니다. 그러면 모델은 내부 기억이 아니라 눈앞에 놓인 자료를 바탕으로 답합니다. 이것이 검색 증강 생성(retrieval-augmented generation, RAG)의 발상이며, 모델이 현재 정보를 반영하게 만드는 가장 흔한 방법입니다.

둘째는 **도구 사용(tool use)**입니다. 모델이 라이브 검색 같은 외부 도구를 호출하고 그 결과를 응답에 녹여 넣도록 허용하는 것이죠. 여기서 모델은 기억에서 추측하는 대신, 필요할 때 사실상 신선한 데이터를 향해 손을 뻗습니다.

공통된 맥락은, 두 접근 어느 쪽도 모델이 아는 것을 바꾸지 않는다는 점입니다. 그것들은 모델이 답하는 시점에 볼 수 있는 것을 바꿉니다. 얼어붙은 지식은 얼어붙은 채로 남고, 우회책은 움직이는 정보를 외부에서 공급해 모델이 철 지난 스냅샷에 기대기보다 현재의 텍스트를 두고 추론하게 하는 것입니다.

컷오프와 더불어 살기

실용적인 습관 몇 가지가 따라옵니다. 최근의 것이나 빠르게 바뀌는 것, 즉 시사, 최신 버전, 가격, 누군가의 현재 상황에 대해서는 모델의 도움 없는 기억을 믿지 마세요. 모델의 내장 지식이 철 지났을 수 있다고 가정하고, 검증하거나 신선한 출처를 공급하세요. 어떤 답이 최근 정보에 의존해야 하는 때를 알아차리세요. 바로 거기가 컷오프가 물어뜯는 지점이니까요. 현재 사안에 대한 정확성이 중요할 때는, 모델에 기억을 떠올리라 하기보다 라이브 데이터를 검색하거나 도구를 쓰는 구성을 선호하세요. 그리고 더 늦은 컷오프가 더 낫긴 해도 결코 현재는 아님을 기억하세요. 막 학습된 모델조차, 그 데이터가 수집된 시점만큼 현재보다 뒤처져 있습니다.

정리

지식 컷오프가 존재하는 이유는, 모델의 지식이 학습 중에 한 번 흡수된 뒤 파라미터에 얼어붙고, 그 파라미터가 세상이 흘러가도 업데이트되지 않기 때문입니다. 모델은 자신이 배운 텍스트의 고정된 스냅샷이고, 그 스냅샷은 어느 날짜에서 끝납니다. 가장자리에 다가갈수록 다뤄진 정도가 옅어지며 흐릿하게요. 진짜 위험은 간극 자체가 아니라, 모델이 현재에 대한 진짜 감각 없이 자신의 컷오프 너머를 거짓된 확신으로 답할 수 있다는 데 있습니다. 미더운 대응은 모델이 업데이트되기를 기다리는 것이 아니라, 당신이 물어볼 때 검색이나 도구를 통해 신선한 정보를 모델에 먹여, 철 지난 기억 대신 현재의 텍스트를 두고 추론하게 하는 것입니다. 지식은 얼어붙어 있고, 현재로의 접근은 바깥에서 더해줘야 합니다.