퓨샷 프롬프팅: 실전 가이드

언어 모델을 다루다 보면 지시가 더는 도움이 되지 않고 예시가 효과를 내기 시작하는 순간이 옵니다. 과제를 세 가지 방식으로 설명했는데도 모델이 여전히 형식을 약간 틀리거나, 예외 사례를 놓치거나, 출력 형식을 일관되지 않게 만드는 때 말입니다. 해결책은 보통 더 나은 지시 문단이 아니라, 좋은 답이 어떤 모습인지 모델에게 보여주는 것입니다. 그것이 퓨샷 프롬프팅이며, 제대로 하면 당신이 가진 가장 믿을 만한 도구 중 하나입니다.

왜 예시가 설명을 이기는가

지시는 패턴을 묘사합니다. 예시는 그것을 시연합니다. 이 차이가 중요한 이유는, 시연이 묘사로는 남게 되는 모호함을 제거하기 때문입니다. "날짜를 월, 일, 연도 순으로 표기하라"는 여전히 수십 가지 선택을 남깁니다. 쉼표를 쓸지 말지, 월을 약자로 쓸지, 앞자리에 0을 붙일지. 정확한 목표 출력을 보여주는 예시 하나면 이 모두가 한 번에 정리됩니다. 당신이 신경 쓰는 모든 세부사항을 일일이 열거할 필요 없이 말입니다.

이것이 작동하는 이유는 모델이 맥락의 가장 그럴듯한 연장을 생성하기 때문입니다. 그 맥락에 입력과 그에 대한 올바른 출력이 깔끔하게 두세 개 담겨 있으면, 새 입력에 대한 가장 그럴듯한 연장은 그 정립된 패턴에 들어맞는 출력이 됩니다. 당신은 모델에게 새로운 기술을 가르친다기보다, 답의 형태를 명백하게 만들고 있는 것입니다. 예시가 명확하고 일관될수록 그 형태도 더 명백해집니다.

제로샷, 원샷, 그리고 더 필요한 때

예시 없이 시작하세요. 과제가 단순하고 모델이 지시만으로도 이미 잘 해낸다면, 예시는 그저 낭비되는 토큰과 지연 시간일 뿐입니다. 많은 과제는 정말로 예시가 필요 없습니다. 제로샷 출력이 일관되지 않거나, 형식을 틀리거나, 특정 종류의 입력에서 실패할 때 예시를 꺼내 드세요.

좋은 예시 하나만으로도 형식 문제가 종종 해결됩니다. 산문으로는 전달하기 힘든 구조를 못 박아주기 때문입니다. 과제에 모델이 봐야 할 다양성이 있을 때, 즉 서로 다른 입력 유형, 예외 사례, "답 없음" 사례가 있을 때 두 번째, 세 번째 예시를 추가하세요. 몇 개를 넘어서면 대개 수확 체감 구간에 들어섭니다. 예시가 많아질수록 비용은 늘지만, 패턴이 분명해진 뒤로는 더해주는 것이 거의 없습니다. 적절한 개수는 욱여넣을 수 있는 최대치가 아니라, 패턴을 모호하지 않게 만드는 최소 집합입니다.

현실을 대표하는 예시를 골라라

가장 큰 실수는 전부 쉬운 예시만 고르는 것입니다. 모든 예시가 깔끔하고 잘 정돈된 입력에서 뻔한 답을 내는 모습이라면, 모델에게 쉬운 길만 가르친 셈입니다. 그러다 지저분한 실제 입력이 들어오면 모델은 의지할 시연된 행동이 없습니다. 예시는 더 깔끔했으면 하는 부분까지 포함해, 당신의 실제 데이터처럼 보여야 합니다.

중요한 사례를 의도적으로 포함하세요. 어떤 입력은 "모르겠습니다"나 빈 결과를 내야 한다면, 정확히 그렇게 하는 예시를 보여주세요. 그러지 않으면 모델은 모든 입력이 자신감 있는 답을 받는다고 배웁니다. 특정 범주가 틀리기 쉽다면 그 예시를 하나 넣으세요. 예시는 교육 과정입니다. 모델이 어차피 성공했을 상황이 아니라, 그렇지 않았다면 비틀거렸을 상황을 커버하도록 골라야 합니다.

예시끼리 일관되게 유지하라

예시는 패턴으로 가르치므로, 예시 사이의 모순은 적극적으로 해롭습니다. 한 예시는 목록을 대시로, 다른 예시는 숫자로 형식을 잡으면, 모델에게 둘 다 허용된다고 가르친 것이며 모델은 둘을 섞을 것입니다. 한 예시는 추론 단계를 포함하고 다른 예시는 곧장 답으로 건너뛰면, 모델은 당신이 무엇을 원하는지 알 수 없습니다. 모든 예시는 작은 세부사항까지 형식, 어조, 구조에서 일치해야 합니다.

이 일관성은 예시와 실제 입력 사이의 경계로까지 이어집니다. 예시에 쓴 것과 맨 끝에 덧붙이는 실제 과제에 같은 레이블, 같은 구분자, 같은 배치를 사용하세요. 모델은 새 입력을, 앞선 것과 동일하게 형식이 잡힌, 정립된 연속의 다음 항목으로 봐야 합니다. 예시와 실제 입력 사이의 시각적 단절은 패턴이 어긋날 빌미가 됩니다.

경계가 분명하도록 형식을 잡아라

퓨샷 프롬프트는 모델이 한 예시가 어디서 끝나고 다음이 어디서 시작하는지, 또는 예시가 어디서 멈추고 실제 과제가 어디서 시작하는지 구분하지 못할 때 실패합니다. 그 경계를 헷갈릴 수 없게 만드세요. 각 부분에 레이블을 다세요. 입력에 명확한 표식, 출력에 명확한 표식을 붙이고, 모든 예시에 그 정확한 구조를 반복하세요. 일관된 구분자는 텍스트의 벽을 모델이 이어 쓸 수 있는 또렷한 연속으로 바꿔줍니다.

이 구조는 미묘한 실패도 막아줍니다. 바로 입력 콘텐츠가 지시 영역으로 새어 드는 것입니다. 예시가 명확히 구분되어 있으면, 우연히 명령처럼 보이는 콘텐츠도 레이블이 붙은 자리 안에 머물러 데이터로 취급됩니다. 모든 것이 한데 뒤섞이면, 모델은 입력을 지시로 잘못 읽을 가능성이 커집니다. 약간의 형식 규율이 여기서 큰 안정성을 사주며, 비용은 거의 들지 않습니다.

단일 사례가 아니라 세트로 반복하라

모든 프롬프팅이 그렇듯, 퓨샷 작업도 실제 입력에서 버텨낼 때 비로소 끝납니다. 인상적인 한 사례가 완벽하게 동작할 때까지 예시를 손보고 싶어지지만, 그 한 사례는 측정이 아니라 데모입니다. 다양한 실제 입력 세트를 모으고, 퓨샷 프롬프트를 그 모두에 대해 돌려, 예시가 막아냈어야 할 실패들을 찾으며 결과를 읽으세요.

한 번에 하나씩 바꾸세요. 예시를 교체하고, 자꾸 놓치는 예외 사례를 추가하고, 불일치를 바로잡은 다음, 세트 전체를 다시 돌려 비교하세요. 도움이 된다고 생각했던 예시가 사실은 모델을 잘못된 패턴으로 끌어당기고 있었고, 그것을 제거하니 결과가 나아지는 경우도 종종 발견할 것입니다. 모든 테스트 입력에 걸쳐 가장 좋은 성능을 내는 예시 세트를 유지하고, 예시 세트를 한 번 쓰고 마는 것이 아니라 계속 관리하는 대상으로 다루세요.

정리

퓨샷 프롬프팅이 효과적인 이유는 시연이 묘사보다 명확하기 때문입니다. 지시만으로는 출력이 일관되지 않을 때 사용하고, 패턴을 모호하지 않게 만드는 최소한의 예시만 쓰세요. 예외 사례와 "답 없음" 사례까지 포함해 실제 데이터처럼 보이는 예시를 고르고, 예시끼리 일관되게 유지하며, 모델이 깔끔한 연속으로 읽도록 경계의 형식을 잡으세요. 그런 다음 단일 데모가 아니라 실제 입력 세트로 입증하세요. 잘 고른 일관된 예시 한 줌은, 형식과 예외 사례가 중요한 바로 그 과제에서 여러 문단의 지시를 능가할 것입니다.