“제일 좋은 AI” 대신, 같은 과제 세 개를 줘보세요.

순위가 내 작업까지 대신 골라주지는 않습니다

문제풀이 점수가 높은 모델이 우리 회사의 보고서 형식을 가장 잘 지킨다고 단정할 수는 없습니다. 업무의 자료, 언어, 출력 형식이 다르기 때문입니다. 비교를 시작할 때는 추상적인 성능보다 반복하는 과제를 골라보세요.

이 글은 실제 모델을 실행해 점수를 매긴 시험 보고서가 아닙니다. 독자가 직접 비교에 사용할 수 있도록 설계한 평가 방법입니다. 검증하지 않은 점수나 순위는 제시하지 않습니다.

내 일을 대표하는 세 과제 고르기

난이도가 낮은 과제, 자주 하는 과제, 실패하면 곤란한 과제를 하나씩 준비하세요. 문서 작업이라면 짧은 요약, 표 비교, 숫자가 많은 보고서 검토가 될 수 있습니다.

모든 후보에 같은 자료와 지시를 주고, 결과를 본 뒤 지시를 수정했다면 다른 후보에도 같은 조건으로 다시 적용합니다. 한쪽만 여러 번 고쳐준 결과를 비교하면 공정한 판단이 어렵습니다.

점수보다 먼저 탈락 기준 정하기

회사 문서를 외부에 올릴 수 없는 환경이라면 개인정보 처리 조건이 맞지 않는 도구는 품질 비교 전에 제외해야 합니다. 필요한 파일 형식으로 저장할 수 있는지도 마찬가지입니다.

• 필수 사실을 빠뜨리지 않았는가
• 자료에 없는 주장을 추가하지 않았는가
• 요청한 형식과 길이를 지켰는가
• 사람이 수정하는 데 얼마나 걸렸는가
• 같은 결과를 반복해서 얻을 수 있는가

정답이 있는 항목과 취향을 나누기

금액이 틀린 것은 오류이고, 문장이 딱딱한 것은 취향이나 편집 문제일 수 있습니다. 두 항목을 하나의 별점으로 합치면 왜 선택했는지 설명하기 어렵습니다. 정확도와 편집 부담을 따로 적어보세요.

가능하면 결과의 모델 이름을 가린 채 먼저 평가합니다. 유명한 제품이라는 기대가 판단에 영향을 주는 것을 줄이는 간단한 방법입니다. 기록에는 실행 날짜와 버전을 남겨 다음 비교와 구분합니다.

가장 높은 점수보다 꾸준히 끝내는 도구

한 번 아주 좋은 답변을 내는 도구보다 매번 검토 가능한 결과를 주는 도구가 업무에는 더 편할 수 있습니다. 평균적인 결과와 최악의 결과를 함께 보세요.

비용까지 비교할 때는 생성 시간뿐 아니라 수정 시간을 포함합니다. 결과를 고치는 데 오래 걸렸다면 저렴한 실행료가 전체 비용을 낮춘다고 보기 어렵습니다.