AI 용어를 정리해 둔 글은 이미 많습니다. 그런데 대개 사전처럼 되어 있어서, 읽을 때는 고개를 끄덕이다가 정작 요금표 앞에 서면 다시 막힙니다. 뜻은 알겠는데 그래서 얼마가 드는지는 여전히 모르는 겁니다.

그래서 이 글은 순서를 바꿨습니다. 말을 하나씩 풀어 놓는 대신, 요금표 한 장을 실제로 읽어 내려가는 순서로 갑니다. 다 읽고 나면 «우리 팀이 한 달에 얼마쯤 쓰겠구나»를 손으로 계산하실 수 있게 됩니다. 거기까지가 목표입니다.

글자가 아니라 조각으로 셉니다

먼저 걸리는 말이 «토큰»입니다. 요금이 전부 이걸로 매겨져 있으니 여기서 막히면 그다음이 다 안 읽힙니다.

AI는 글을 우리처럼 한 글자씩 읽지 않습니다. 잘게 잘라서 읽습니다. 그 조각 하나가 토큰?입니다.

왜 굳이 자르냐면, 세상의 모든 단어를 통째로 외우게 하는 것보다 조각으로 나눠 두는 편이 훨씬 효율적이기 때문입니다. «먹었습니다»와 «먹었는데»가 «먹었»이라는 조각을 나눠 쓰는 식이죠. 처음 보는 단어가 나와도 조각을 이어 붙여 읽을 수 있습니다.

실제 계산에서는 이렇게 잡으시면 됩니다. 한글은 한 글자에 1.5토큰쯤. 어림값이지만 값을 가늠하는 데는 충분합니다. A4 한 장이 대략 3천 토큰, 300쪽짜리 책 한 권이 대략 50만 토큰입니다. 그러니 «100만 토큰당 3달러»는 «책 두 권 분량을 주고받으면 4천 원쯤»이라는 말입니다. 이렇게 바꿔 놓으면 갑자기 감이 옵니다.

여기서 대부분이 계산을 틀립니다

요금표를 보면 숫자가 두 줄로 적혀 있습니다. 하나는 «입력», 하나는 «출력»입니다. 내가 넣은 글이 입력이고, AI가 뱉은 글이 출력입니다.

그런데 이 둘의 값이 다릅니다. 출력이 입력보다 서너 배 비쌉니다. 처음 계산할 때 이걸 놓치는 분이 많은데, 실제로 청구서를 키우는 쪽은 거의 언제나 출력입니다.

왜 그런지는 이렇게 생각하시면 이해가 빠릅니다. 넣은 글은 한 번에 쭉 훑으면 됩니다. 그런데 답은 한 조각씩 만들어 나가야 합니다. 한 조각을 만들 때마다 앞에 있던 것을 전부 다시 봅니다. 문장이 길어질수록 뒤로 갈수록 손이 더 갑니다. 값이 비싼 데는 이유가 있는 셈입니다.

이 사실 하나로 당장 할 수 있는 것이 있습니다. «짧게 답해줘»라고 한마디 붙이는 것. 별것 아닌 것 같지만 값이 눈에 띄게 줄어듭니다. 회사에서 자동으로 돌리는 일이라면 이 한 줄이 한 달 뒤에 꽤 큰 차이로 돌아옵니다.

«기억한다»는 말은 대체로 거짓입니다

세 번째 말은 «컨텍스트»입니다. 한국어로는 대개 «문맥»이라고 옮기는데, 실제 뜻은 훨씬 단순합니다. 한 번에 넣을 수 있는 양입니다.

AI 광고를 보면 «대화를 기억합니다»라는 말이 자주 나옵니다. 사실이 아닙니다. 정확히 말하면 AI는 아무것도 기억하지 못합니다. 대신 매번 그때까지의 대화 전체를 다시 통째로 읽습니다. 사람으로 치면 대화할 때마다 앞의 회의록을 처음부터 다시 읽고 대답하는 셈입니다.

그래서 문맥 길이?이라는 한계가 생깁니다. 그리고 대화가 이 한계를 넘어가면, 조용히 앞부분이 잘려 나갑니다. 화면에는 아무 표시도 안 뜹니다.

«한참 잘 하다가 갑자기 앞에 한 말을 까먹더라»는 이야기를 들어 보셨을 겁니다. 대개 여기서 생긴 일입니다. 고장이 아니라 원래 그렇게 만들어져 있습니다. 그러니 긴 작업은 한 대화에서 끝까지 끌고 가지 마시고, 중간에 요약을 남기고 새 대화로 옮기는 편이 안전합니다.

덧붙이면 이 한계는 값과도 이어집니다. 대화가 길어질수록 매번 다시 읽는 양이 늘어나니까요. 짧은 질문 열 개보다 한 대화에서 열 번 이어 묻는 쪽이 훨씬 비쌉니다. 이것도 요금표에는 안 적혀 있는 이야기입니다.

성능표의 큰 숫자에 속지 않는 법

요금표 다음으로 자주 보게 되는 것이 성능표입니다. 여기서는 «파라미터»라는 말이 크게 적혀 있습니다. 700억, 4천억 같은 숫자가 붙죠.

파라미터?는 쉽게 말해 모델 안에 있는 조절 손잡이 수입니다. 많을수록 세밀하게 조절할 수 있으니 대체로 똑똑합니다. 여기까지는 맞습니다.

문제는 많을수록 무겁고 느리고 비싸다는 것입니다. 그리고 요즘은 작게 만들고도 잘 하는 모델이 계속 나옵니다. 그러니 숫자가 크다고 좋은 선택이 되지는 않습니다. 짐을 옮기는 데 대형 트럭이 늘 정답이 아닌 것과 같습니다.

성능표에 함께 붙는 것이 시험 점수입니다. 이걸 벤치마크?라고 부릅니다. 참고는 되지만 그대로 믿기는 어렵습니다. 회사가 자기에게 유리한 시험만 골라 싣는 일이 흔하거든요. 내가 실제로 시킬 일과 비슷한 시험인지를 보셔야 뜻이 있습니다. 번역을 시킬 건데 수학 점수가 높은 모델을 고르는 것은 의미가 없습니다.

광고에서 걸러 들어야 할 세 마디

이제 마지막입니다. AI 서비스 광고에는 늘 나오는 표현이 몇 개 있는데, 뜻을 알고 보면 인상이 꽤 달라집니다.

마지막 줄을 조금 더 풀겠습니다. 자료를 함께 넣어 주는 방식을 검색 붙이기?라고 합니다. 요즘 «우리 회사 전용 AI»라고 파는 것의 대부분이 사실 이쪽입니다. 나쁜 방식이라는 뜻이 아닙니다. 오히려 값싸고 자료를 바꾸기 쉬워서 대개 이게 맞는 선택입니다. 다만 모델을 새로 학습시킨 것처럼 파는 것은 다른 이야기입니다. 값이 열 배 차이 납니다.

틀린 답을 «환각»이라 부르는 이유

한 가지만 더 짚고 마치겠습니다. AI가 없는 사실을 자신 있게 지어내는 일이 있습니다. 이걸 환각?이라고 부릅니다.

여기서 중요한 것은 이게 고장이 아니라 성질이라는 점입니다. AI는 «맞는 말»을 고르는 것이 아니라 «그럴듯한 다음 말»을 고릅니다. 대부분의 경우 그럴듯한 말이 맞는 말이라 잘 굴러가는 것이고, 아닐 때가 환각입니다. 그러니 좋은 모델로 바꾼다고 사라지지 않습니다. 줄어들 뿐입니다.

실무에서 이걸 다루는 방법은 하나뿐입니다. 틀리면 곤란한 것은 반드시 사람이 확인한다. 숫자, 사람 이름, 법 조항, 날짜가 특히 그렇습니다. 이 네 가지만 눈으로 확인해도 사고의 대부분은 막힙니다.

여기까지 오셨으면 요금표 한 장은 이제 읽으실 수 있습니다. 조각으로 세고, 답이 더 비싸고, 대화가 길어지면 잘리고, 큰 숫자가 늘 답은 아니고, 자신 있는 말도 틀릴 수 있다. 다섯 줄이면 충분합니다. 다음 편에서는 여기서 한 발 더 나가, «모델»과 «도구»를 헷갈려서 생기는 문제를 다룹니다.