← AI 도구와 사용법
EXPERT NOTES / 01

모델별 질문 설계

SFT로 무엇을 알 수 있는지, 모델별로 무엇을 다르게 요청할지. 공개된 근거와 직접 써볼 질문 틀을 함께 정리했습니다.

자료 확인 공식 문서 기반4개 모델 · 96회 비교 실험
MEASURED / 2026-11-08

같은 과제를 실제로 비교했습니다

4개 모델 × 3가지 질문 형식 × 4개 과제 × 2회 반복. 정답표를 먼저 고정하고 96개의 최초 응답을 측정했습니다.

96최초 응답
89/96최초 내용 통과*
20수정 요청 합계
0실행 오류

이 결과를 사용하는 방법

출처 표기 차이를 검토하면 Astra·Sol은 각각 24/24, Terra는 23/24, Luna는 18/24의 최초 응답이 내용 조건을 충족했습니다. Astra·Sol은 세 형식 모두 통과했고, Luna는 일정 과제의 세 형식 모두에서 오류가 남았습니다. 이 표본에서는 제목이나 일반적인 모델별 지침을 추가해 완전 통과율이 높아지는 효과를 확인하지 못했습니다.

시간은 소규모 표본의 관측값입니다. 모델·형식별 8회는 서로 다른 과제 4개를 두 번 실행한 결과이며, 속도 차이의 통계적 유의성은 검증하지 않았습니다.

*정확도는 출처 표기 차이를 검토한 최초 필드 일치율 평균입니다. 통과·수정은 실행 전 고정한 기준으로 집계했습니다. 시간은 중앙값입니다.
모델질문 형식내용 정확도*고정기준 최초고정기준 최종수정 합계시간 중앙값수정 포함 시간
GPT-6 Astra문단형100.0%8/88/807.58s7.58s
GPT-6 Astra공통 구조형100.0%8/88/807.43s7.43s
GPT-6 Astra구조형+모델 지침100.0%8/88/807.38s7.38s
GPT-6.1 Sol문단형100.0%8/88/807.77s7.77s
GPT-6.1 Sol공통 구조형100.0%8/88/806.64s6.64s
GPT-6.1 Sol구조형+모델 지침100.0%8/88/808.34s8.34s
GPT-6.1 Terra문단형100.0%6/88/826.04s7.57s
GPT-6.1 Terra공통 구조형100.0%8/88/806.18s6.18s
GPT-6.1 Terra구조형+모델 지침97.5%7/88/816.16s6.16s
GPT-6 Luna문단형87.5%4/86/865.26s8.94s
GPT-6 Luna공통 구조형87.5%5/86/855.62s6.67s
GPT-6 Luna구조형+모델 지침95.0%4/86/865.44s8.63s

좁은 화면에서는 표를 좌우로 이동할 수 있습니다.

채점 기준에서 발견한 모호성

기록 추출 문제의 납기 출처는 R1에 날짜가 명시되고, R3에서 그 납기를 유지한다고 재확인합니다. 처음 정답표는 R1만 허용했지만 문제 문구에는 이를 제한하는 조건이 없었습니다. 위 내용 정확도는 R1·R3을 모두 인정한 사후 검토값입니다. 최초·최종 통과와 수정 횟수는 원래 기준으로 남겼고, 그 기준의 필드 일치율도 원자료에 보존했습니다.

출처 표기 차이만으로 발생한 수정 요청: 7.

과제·질문 차이·채점·시간 측정 방법
과제
반품·할인·세금 정산, 수정 이력의 최신 상태 추출, 문서 근거 판정, 시차·완충 시간을 포함한 일정. 한국어 합성 과제 4개에 기준 필드 총 48개입니다.
질문 형식
문단형은 같은 정보를 제목 없이 나열합니다. 요구사항을 생략해 길이를 줄인 질문은 시험하지 않았습니다. 공통 구조형은 목표·자료·제약·출력·완료 기준 제목을 추가합니다. 적용형은 여기에 기존 모델별 응답 지침을 덧붙입니다. 자료·규칙·JSON 출력 요구는 같습니다.
실행 환경
Codex CLI 0.163.0, 기존 ChatGPT 로그인, 추론 수준 medium, 도구 미사용, 새 문맥, 동시성 1. 고정 시드로 실행 순서를 섞었습니다. 표의 모델은 요청한 ID이며 서버의 불변 스냅샷은 응답에 제공되지 않았습니다.
정확도·수정
AI가 작성한 기준 답과 자동 비교합니다. 금액과 일정은 별도 계산 코드로 검산했습니다. 필드 일치율을 과제별로 구해 평균하고, 값과 JSON 형식이 모두 맞아야 완전 통과입니다. 실패 시 틀린 필드만 알려 최대 2회 수정합니다. 수정 호출에는 앞선 문답을 텍스트로 다시 제공합니다. 독립적인 사람 평가는 아직 없습니다.
걸린 시간
CLI 프로세스 시작부터 종료까지 측정했습니다. 준비·네트워크·생성 시간이 포함되며 채점·사람의 검토 시간은 제외됩니다. 순수 추론 시간과 일반 ChatGPT 화면의 대기 시간은 측정하지 않았습니다. 캐시 사용량과 개별 시간은 원자료에 기록했습니다.
적용 범위
확인 범위는 이 한국어 합성 과제와 JSON 답변 조건입니다. 영어 질문, 창작, 시각 이해, 긴 문맥, GPT-4.1·o 계열은 시험하지 않았습니다. 이번 측정만으로 특정 SFT 방식의 효과는 확인할 수 없습니다.
오류 사례와 수정 결과

GPT-6 Luna · schedule · 공통 구조형 · 수정 2 · 최종 통과: 아니요

실행 순서상 처음 발견된 실패 사례입니다. 채점기는 아래 오류 필드의 이름만 전달했고 정답은 제공하지 않았습니다.

/valid_starts_kst, /latest_start_kst

최초 응답 원문

{"date":"2026-11-10","valid_starts_kst":["16:10","16:20","16:30","16:40","16:50","17:50","18:00"],"earliest_start_kst":"16:10","earliest_end_kst":"16:40","earliest_start_utc":"07:10","earliest_start_cet":"08:10","buffer_start_kst":"16:00","buffer_end_kst":"16:50","latest_start_kst":"18:00","duration_minutes":30}

마지막 수정 응답

{"date":"2026-11-10","valid_starts_kst":["16:10","16:20","16:30","16:40","16:50","18:10","18:20"],"earliest_start_kst":"16:10","earliest_end_kst":"16:40","earliest_start_utc":"07:10","earliest_start_cet":"08:10","buffer_start_kst":"16:00","buffer_end_kst":"16:50","latest_start_kst":"18:20","duration_minutes":30}
FOLLOW-UP / 8 RESPONSES

일정 오류에는 검증 절차를 추가해 봤습니다

최초 비교에서 일정 오류를 발견한 뒤 Luna에 추가 진단을 실시했습니다. 원래 일정과 시간을 바꾼 새 일정에서 공통 구조형과 구간 검증 절차를 각각 두 번 시험했습니다. 정답 시각은 제공하지 않았고 수정 요청도 하지 않았습니다.

완전 통과: 공통 구조형 0/4 → 검증 절차 추가 0/4

공통 구조형과 계산 절차를 추가한 질문 모두 0/4 통과였습니다. 이 문구를 개선안으로 추천할 근거는 얻지 못했습니다. 이번처럼 시간대·여러 제약·완충 시간을 함께 계산하는 작업은 계산 코드나 일정 도구로 후보 전체를 확인하세요. 원래 비교에서 Astra·Sol은 해당 일정 과제의 6회 응답을 각각 모두 통과했습니다.

시험한 추가 지침 원문
모든 시각을 먼저 KST 분으로 통일하세요. 각 10분 간격 후보 s에 대해 준비·회의·정리 전체 구간 [s-10, s+40)을 만드세요. 이 구간 전체가 가용 시간 안에 있고, 모든 금지 구간 [a,b)에 대해 s+40 <= a 또는 s-10 >= b를 만족하는 후보만 남기세요. 이 조건을 모든 후보에 적용한 뒤 가장 이른 시각과 가장 늦은 시각을 답하세요. 중간 계산은 출력하지 말고 요청된 JSON만 반환하세요.

실험에 사용한 한국어 원문입니다. 이 절차의 10분·40분은 준비 10분 + 회의 30분 + 정리 10분 조건에 맞춘 값입니다. 다른 길이의 회의에는 식을 바꾸세요.

추가 진단은 최초 결과를 본 뒤 설계한 8회 시험입니다. 각 조건의 서로 다른 과제는 2개이며, 효과의 통계적 유의성과 다른 업무로의 일반화는 확인하지 않았습니다.

ASTRA / 바로 적용하기

지금 Astra에 요청한다면

Astra 가이드는 추가 질문, 답변 길이, 검증 범위를 조절하는 지침을 제공합니다. 아래는 그 지침을 적용해 작성한 예시입니다. GPT-6 Astra · Prompting best practices ↗

목표: [완성할 결과물]
완료 조건: [결과가 충족해야 할 기준]
판단 범위: 사소한 선택은 스스로 판단해 완성하되, 결과를 바꿀 핵심 정보가 없으면 먼저 질문해 주세요.
보고 형식: 결론 → 핵심 근거 → 남은 불확실성 순서로 짧게 정리해 주세요.
내 작업에 맞게 수정하기 →
01 / 공개된 사실과 한계

SFT의 학습 형식이 최적 질문 양식을 정할까요?

SFT는 좋은 입력·답변 예시로 응답 행동을 조정하는 방법입니다. 공개된 고객용 SFT 문서는 messages와 user/assistant 역할을 사용하는 학습 데이터를 설명합니다. 이것이 각 ChatGPT 모델의 실제 내부 학습 원문을 보여주는 것은 아닙니다. Supervised fine-tuning ↗

확인 가능

행동과 권장 사용법

일부 모델의 학습 목표, 지시를 따르는 특성, 공개 프롬프트 지침은 확인할 수 있습니다. 아래에 적용 범위를 표시했습니다. ‘학습된 특성’이라는 설명을 특정 SFT 단계의 인과효과로 단정하지 않습니다.

이 자료에서 확인 못함

내부 SFT 원문과 최적 양식

검토한 문서로는 모델별 전체 SFT 데이터·배합·고정 Q&A 양식이나, 모든 작업에서 가장 효율적인 문법을 확정할 수 없습니다.

학습 데이터와 대화 프롬프트의 차이

아래는 구조를 설명하려고 직접 만든 한 건의 학습 데이터 예시입니다. 모델의 실제 학습 샘플이나 실행 가능한 전체 데이터셋이 아닙니다. 대화창에서는 JSONL 포장 대신 필요한 작업을 자연어로 요청하면 됩니다.

{
  "messages": [
    {
      "role": "user",
      "content": "메모에서 날짜만 추출: 검토 회의는 11월 12일입니다."
    },
    {
      "role": "assistant",
      "content": "11월 12일"
    }
  ]
}

형식의 세 층을 구분해야 합니다

학습 레코드
SFT용 입력·정답 쌍입니다. 고객용 업로드 형식이 실제 ChatGPT의 내부 학습 원문을 뜻하지는 않습니다.
메시지 역할
API의 developer·user는 요청의 역할 메타데이터입니다. 대화 본문에 “system:”이나 XML 태그를 적는 것만으로 그 권한이 생기지는 않습니다.
본문 구조
제목·태그·예시는 지시와 자료를 구분합니다. 예시를 넣어 패턴을 보여주는 few-shot은 추가 학습을 실행하는 SFT와 다릅니다.

역할·구분자·few-shot의 기능은 공식 문서에 나옵니다. 따라서 SFT 업로드 형식을 대화창에 그대로 재현해야 한다는 결론은 이 자료에서 나오지 않습니다. Prompt engineering · Roles / Formatting / Few-shot ↗

가장 실용적인 출발점

목표 → 필요한 자료 → 중요한 제약 → 원하는 출력 → 완료 기준. 간단한 일은 이 중 필요한 내용만 한두 문장으로 쓰세요. ChatGPT Learn · Prompting ↗

02 / 모델별 공개 지침

같은 질문도 강조할 부분은 다릅니다

공식 권장은 문서에 직접 제시된 방향입니다. 적용 제안은 문서에 나온 용도에 맞춰 작성한 우리의 시작점이며, 해당 모델에서 우월성을 실측한 결과가 아닙니다. 과거 가이드에는 해당 모델의 설명 당시 조건을 표시했습니다. 현재 모델 4개의 적용형 질문은 위 비교 실험에서 별도로 평가했습니다.

ChatGPT · 공통

공식 지침 기반

일반 대화의 출발점

특정 형식보다 필요한 목표·자료·결과를 전달하라는 공식 안내가 있습니다.

질문에 반영할 점간단한 일은 한두 문장으로 시작하고, 실패한 조건만 보강하세요.

이 모델의 시작 틀 보기 →

GPT-6 Astra

공식 지침 기반

공식 모델별 프롬프트 지침

추가 질문·자세한 서식·검증 범위에 대한 동작이 설명돼 있습니다. SFT 원문은 제시하지 않습니다.

“more likely to ask for clarification”Prompting best practices / Initiative and follow-through

질문에 반영할 점완료 조건, 스스로 판단해도 되는 범위, 원하는 답변 길이를 명시하세요.

이 모델의 시작 틀 보기 →

GPT-6.1 Sol

적용 제안

Work·Codex / 적용 제안

문서·앱·코드를 오가는 반복 작업 용도가 소개됩니다. 전용 Q&A 양식의 우위는 확인하지 못했습니다.

질문에 반영할 점여러 자료의 우선순위와 최종 납품물을 정해 주세요.

이 모델의 시작 틀 보기 →

GPT-6.1 Terra

적용 제안

Work·Codex / 적용 제안

글쓰기·시각 자료 해석 용도가 소개됩니다. 아래 문구는 그 용도에 맞춘 편집 제안입니다.

질문에 반영할 점이미지라면 살펴볼 영역·축·단위를 지정하고, 읽히지 않는 부분을 구분하세요.

이 모델의 시작 틀 보기 →

GPT-6 Luna

적용 제안

Work·Codex / 적용 제안

분류·추출 등 범위가 명확한 반복 작업 용도가 소개됩니다. 별도 SFT 형식은 확인하지 못했습니다.

질문에 반영할 점한 번에 한 작업, 허용 값, 정보가 없을 때의 처리를 정하세요.

이 모델의 시작 틀 보기 →

GPT-4.1

과거 모델 지침

과거 모델 / 보관된 공식 가이드

이전 모델보다 지시를 더 문자 그대로 따르도록 학습했다고 설명합니다. 이 문서에는 상세 SFT 배합이 없습니다.

“more closely and more literally than its predecessors”Introduction / Instruction Following

질문에 반영할 점암묵적인 기대를 규칙으로 쓰고, 출력 예시와 지시가 충돌하지 않게 하세요.

이 모델의 시작 틀 보기 →

o3 / o4-mini

과거 모델 지침

기존 추론 모델 가이드

복잡한 문제에 더 오래 추론하도록 학습했다고 설명합니다. 내부 추론의 상세 출력을 요구할 필요는 없다고 안내합니다.

“Keep prompts simple and direct”How to prompt reasoning models effectively

질문에 반영할 점명확한 목표와 제약으로 예시 없이 시작하세요. 형식이 흔들릴 때만 일관된 예시를 추가하세요.

이 모델의 시작 틀 보기 →

모델별 지침의 적용 조건

GPT-4.1 가이드는 긴 자료의 앞뒤에 지시를 배치하는 방식을 권하고, 단계별 문제 분해가 품질을 도울 수 있지만 출력 토큰·지연이 늘 수 있다고 설명합니다. 이는 GPT-4.1의 조건부 지침입니다. GPT-4.1 Prompting Guide ↗

반면 o 계열 지침은 내부 추론을 이미 수행하므로 추론 과정을 요구하는 문구가 불필요하다고 안내합니다. 계산식·인용·검증 가능한 근거를 짧게 요청하는 것과 내부 사고 전체를 출력시키는 것은 구분해야 합니다. 추론 기능은 모델별 문서와 실행 설정에서 확인하세요. Reasoning best practices ↗

Markdown·XML·JSON 중 무엇이 가장 좋을까요?

형식은 용도에 맞춰 고르세요. 구분자로 지시와 자료를 나누고, 사람이 읽을 문서는 읽기 쉽게, 프로그램이 처리할 출력은 스키마에 맞춰 작성하세요. Reasoning best practices ↗

API에서 지원 모델의 Structured Outputs를 쓰면 출력 스키마를 강제할 수 있습니다. 대화창에 “JSON으로 답해”라고 적는 것과는 다르며, 스키마 준수가 사실의 정확성까지 보장하지는 않습니다. Structured Outputs ↗

03 / 질문 틀 만들기

내 작업에 맞게 채우고 복사하세요

아래 모델 선택은 요청 문구의 안내만 바꿉니다. 실제 모델을 실행하거나 ChatGPT의 모델을 바꾸지 않습니다. 입력 내용은 이 페이지에서만 처리하며 저장·전송하지 않습니다.

공식 지침 기반 간단한 일은 한두 문장으로 시작하고, 실패한 조건만 보강하세요.

ChatGPT 열기 ↗

복사한 뒤 사용하는 화면에서 모델을 직접 선택하세요. 현재 실측 범위는 한국어 합성 과제 4개와 JSON 출력입니다. 자신의 작업에서도 정확도와 수정 부담을 확인하세요.

기본 예제의 채점 기준 보기

직접 작성한 기준 답안: A안은 10 + 2×4 = 18시간, B안은 4 + 4×4 = 20시간입니다. 시간만 보면 A안이 2시간 적지만 기능·정확도는 미확인이므로 전체 우열은 조건부입니다. 이 숫자와 유보 조건을 지키는지 채점하세요. 모델이 생성한 답변이나 벤치마크 결과는 아닙니다.

04 / 다음 턴을 줄이는 수정

답변 전체를 다시 설명할 필요는 없습니다

같은 대화에서 맞았던 내용은 유지하고, 틀린 사실·추가 제약·원하는 수정본을 지정하세요. 아래는 우리가 만든 후속 질문 틀입니다. ChatGPT Learn · Prompting ↗

유지할 내용: [맞았던 결론·조건]
수정할 내용: [틀린 사실 또는 빠진 요구]
추가 자료: [새 근거]
다시 받을 형태: [바뀐 부분만 / 전체 수정본]
수정 후 [확인할 항목]을 점검해 주세요.

05 / 효율은 작업에서 검증

가장 효율적인 형태는 어떻게 찾을까요?

먼저 통과해야 할 품질을 정하고, 그 품질을 만족하는 후보끼리 시간·비용·수정 횟수를 비교하세요. 짧은 답변이나 낮은 토큰 수만으로 승자를 정하지 않습니다. 작업별 평가와 사람의 검토가 필요합니다. Evaluation best practices ↗

  1. 같은 작업과 채점표

    대표 작업 10~20건으로 소규모 점검을 시작할 수 있습니다. 이는 이 사이트의 실험 제안이며 충분한 통계 표본이라는 뜻은 아닙니다. 사실 오류·누락·출력 형식을 먼저 채점합니다.

  2. 한 번에 변수 하나

    모델·자료·도구·추론 설정을 고정하고, 간단한 질문과 구조화한 질문을 비교합니다. 모델 간 비교는 같은 질문으로 별도 수행하세요. 같은 사례도 여러 번 실행해 변동을 기록합니다.

  3. 실제 사용 비용

    ChatGPT에서는 대기 시간·수정 턴·최종 사용 가능 여부를 기록하세요. API에서는 입력·출력·사용량에 노출되는 추론 토큰, 실행 비용, 도구 비용도 따로 기록합니다.

현재 검증 상태: 공식 문서 검토 + 96회 최초 응답 비교

위 실측 표에서 과제·설정·원자료를 확인할 수 있습니다. 모델 버전이나 작업이 달라지면 같은 기준으로 다시 측정하세요.

06 / SOURCES

출처와 확인 범위

2026-11-08에 공식 문서 원문을 확인했습니다. 검색 캐시에 이전 모델명이 남아 있어 현재 Markdown 원문과 대조했습니다. 위 비교 실험은 별도의 합성 과제와 고정된 채점 기준으로 실행했습니다.

  1. Prompt engineering · Roles / Formatting / Few-shot ↗

    메시지 역할의 우선순위, Markdown/XML의 경계 표시, 학습 대신 예시를 넣는 few-shot을 구분.

  2. ChatGPT Learn · Prompting ↗

    일반 대화의 목표·맥락·출력·경계 설정. 정해진 문법은 필요하지 않다는 안내.

  3. Supervised fine-tuning ↗

    고객이 수행하는 SFT의 입력·정답 예시와 messages/JSONL 형식. ChatGPT 내부 학습 데이터 공개 자료는 아님.

  4. GPT-6 Astra · Prompting best practices ↗

    Astra에서 관찰된 동작과 지시 방법. 다른 GPT-6 모델에는 작업별 평가가 필요하다고 명시.

  5. ChatGPT Learn · Models ↗

    ChatGPT Work·Codex의 모델별 용도. 일반 Chat의 모델 선택 목록과 구분.

  6. GPT-4.1 Prompting Guide ↗

    지시를 더 문자 그대로 따르도록 학습했다는 설명. 현재 보관된 과거 모델 가이드.

  7. Reasoning best practices ↗

    o 계열 중심의 명확한 지시·zero-shot 우선·추론 과정 강요 지양 지침.

  8. Structured Outputs ↗

    API의 스키마 준수 기능. 대화창에서 JSON을 요청하는 것과 구분.

  9. Evaluation best practices ↗

    작업별 평가 기준·대표 사례·사람의 검토를 통한 반복 검증.