모델
신모델·버전·벤치마크 해설
임베딩과 생성: 모델이 하는 두 가지 일
"임베딩과 생성은 서로 다른 일입니다. 내 문제에 어느 쪽이 필요한지 아는 것이 제대로 작동하는 시스템에 가장 빨리 도달하는 길입니다."
토큰의 비용: 모델 요금은 어떻게 매겨지는가
"모델 청구서는 단어나 요청이 아니라 토큰으로 매겨집니다. 토큰이 무엇이고 어느 것에 비용을 내는지 알면 비용을 예측할 수 있습니다."
컨텍스트 윈도우 완전 해설: 토큰, 어텐션, 그리고 롱 컨텍스트가 무너지는 지점
더 큰 컨텍스트 윈도우가 더 좋은 기억력과 같은 것은 아닙니다. 컨텍스트 윈도우가 진짜 무엇인지, 긴 입력이 왜 성능이 떨어지는지, 그리고 이를 고려해 설계하는 법을 살펴봅니다.
"프런티어 모델"이 진짜 의미하는 것 — 그리고 벤치마크가 당신을 오도하는 이유
"프런티어 모델"은 사양이 아니라 끊임없이 움직이는 라벨입니다. 이 말이 실제로 가리키는 것, 리더보드 점수가 당신에게 필요한 답을 주지 못하는 이유, 그리고 그럼에도 잘 고르는 법을 살펴봅니다.
대규모 언어 모델은 어떻게 학습되는가, 쉬운 말로
언어 모델 학습은 마법 같은 한 단계가 아니라 여러 단계로 이뤄집니다. 각 단계가 하는 일과 순서가 중요한 이유를 쉬운 말로 풀어봅니다.
오픈 웨이트와 오픈 소스 모델: 진짜 차이
"두 용어는 동의어처럼 쓰이지만 그렇지 않습니다. 무엇을 받아 살펴보고 다시 쓸 수 있는지가 크게 다르며, 허용되는 일까지 달라집니다."
모델에 지식 컷오프가 있는 이유
모델의 지식은 학습 시점에 얼어붙기 때문에 특정 날짜에서 멈춥니다. 왜 그런 일이 일어나는지, 그리고 도구로 어떻게 우회하는지 살펴봅니다.
멀티모달 모델: "볼 수 있다"는 말의 진짜 의미
모델이 이미지를 "볼" 때, 그것은 당신이 보는 방식이 아닙니다. 멀티모달 모델이 실제로 작동하는 방식, 그것이 가능케 하는 것, 그리고 조용히 실패하는 지점을 살펴봅니다.
토큰과 토큰화: 모델이 텍스트를 이상하게 보는 이유
모델은 글자나 단어가 아니라 토큰을 읽습니다. 이 한 가지 사실만 알면 철자 실수, 묘한 비용, 문맥 한계가 작동하는 방식이 풀립니다.
오픈 모델 vs 클로즈드 모델: 실제 프로젝트를 위한 선택법
오픈 가중치냐, 호스팅 API냐? 올바른 답은 이념이 아니라 통제권, 비용, 리스크에 달려 있습니다. 운영 현장에서도 무너지지 않는 프레임워크를 소개합니다.
추론 모델: "사고" 토큰이 하는 일
"추론 모델은 답하기 전에 문제를 풀어 나갑니다. 그 숨은 작업은 시간과 토큰을 쓰며, 알맞은 종류의 작업에서만 값을 합니다."
모델의 "파라미터"란 실제로 무엇인가
"수십억 개의 파라미터"가 마력처럼 인용됩니다. 파라미터가 정말 무엇인지, 그 수가 왜 중요한지, 그리고 왜 크다고 자동으로 더 낫지 않은지 살펴봅니다.
양자화와 증류: 모델을 더 작게 만들기
"모델을 줄이는 두 가지 방법 — 하나는 숫자를 바꾸고, 다른 하나는 더 작은 사본을 학습시킵니다. 각각의 원리와 언제 꺼내 쓸지 살펴봅니다."
전문가 혼합(Mixture-of-experts) 모델, 쉽게 풀어보기
전문가 혼합은 입력마다 모델의 일부만 써서, 거대하면서도 운영이 저렴한 모델을 가능하게 합니다. 그 아이디어와 중요한 이유를 쉽게 풀어봅니다.
Temperature, top-p, 그리고 샘플링: 모델 출력 제어하기
temperature와 top-p는 모델이 다음 단어를 고르는 방식을 정합니다. 각각의 역할을 알면 출력을 딱딱함에서 창의적으로 의도껏 조절할 수 있습니다.
같은 프롬프트를 두 번 돌리면 결과가 달라지는 이유
"같은 프롬프트를 두 번 보내면 흔히 두 가지 다른 답이 나옵니다. 이는 버그가 아니라 설계이며, 이유를 알면 언제 제어할지 알게 됩니다."
작은 모델, 큰 일: 온디바이스가 클라우드를 이기는 순간
가장 큰 모델이 옳은 모델인 경우는 드뭅니다. 작은 온디바이스 모델이 통째로 한 부류의 일을 이기는 이유, 그리고 당신의 일이 그런 부류인지 가려내는 법을 살펴봅니다.