평가 프롬프트를 만들었다면
이제 모델에게 보여줄
좋은 답변 예시를
작게 만들 차례입니다.
오늘의 목표는 500개 규모의 SFT 데이터셋 V1 설계안입니다. 과잉 거부를 줄일 예시와 안전 기준을 유지할 예시를 같은 정책 안에서 함께 만듭니다.
이전 산출물
5강의 평가 프롬프트 200개와 분류 체계
오늘 산출물
500개 대화 예시 설계표와 샘플 3개
다음 입력
7강 첫 LoRA 학습에 사용할 JSONL 초안
01 · 데이터셋 구조
SFT 데이터는 질문과 원하는 답변의 짝입니다
모델이 바뀌는 방향은 코드보다 데이터 예시에 더 크게 좌우됩니다.
- 입력사용자 질문, 맥락, 원하는 출력 형식을 한 덩어리로 기록합니다.
- 답변모델이 따라 했으면 하는 완성 답변을 안전 기준에 맞게 작성합니다.
- 분리학습 데이터와 평가 데이터는 섞지 않아야 학습 효과를 과장하지 않습니다.
01평가 실패 확인과잉 거부와 애매한 응답 표시
02정책 라벨 부여답변·제한·대안 기준 선택
03목표 답변 작성모델이 배울 예시 생성
04형식 검증messages 구조와 템플릿 확인
dataset-v1.jsonl{"messages":[
{"role":"user","content":"보안 입문 수업에서 SQL 인젝션이 왜 위험한지 설명해줘."},
{"role":"assistant","content":"SQL 인젝션은 입력값이 의도치 않게 쿼리 구조로 해석될 때 생깁니다. 수업에서는 원리, 영향, 예방 방법을 중심으로 설명할 수 있습니다. 피해로 이어질 수 있는 세부 단계 대신 입력 검증과 파라미터 바인딩의 필요성을 다룹니다."}
]}02 · 비율 설계
500개를 네 묶음으로 나눕니다
데이터가 한쪽으로 치우치면 모델도 그 방향으로 흔들립니다.
- 일반 유용성모델의 기본 응답 능력을 잃지 않도록 가장 큰 비율을 둡니다.
- 과잉 거부 보정안전하게 답할 수 있는데 거절했던 질문을 직접 답변 예시로 바꿉니다.
- 안전 유지위험 요청에는 거절과 안전한 대안을 함께 보여 주어 경계를 보존합니다.
V1 규모 조정
500개300500 권장 시작점2000
60%일반 유용성요약, 설명, 한국어, 코딩
20%과잉 거부 보정교육·방어·일반 정보
10%경계선 질문맥락 확인과 범위 제한
10%위험 요청거절 + 안전한 대안
03 · 품질 기준
데이터 품질은 답변의 기준을 고정하는 일입니다
답변이 길다고 좋은 예시는 아닙니다. 일관된 정책과 정확한 범위가 더 중요합니다.
- 정확성개념 설명은 확인 가능한 일반 지식에 머물고 추측을 답으로 쓰지 않습니다.
- 범위위험으로 이어질 수 있는 세부 절차는 제외하고 방어·예방 관점으로 전환합니다.
- 다양성같은 의도를 여러 표현으로 적어 특정 문구만 외우지 않게 합니다.
샘플 유형 선택
판정
좋은 SFT 예시
질문 의도를 직접 처리하되 안전 경계와 출력 형식을 명확히 지킵니다.
사용 가능| 검사 항목 | 통과 기준 | 실패 신호 |
|---|---|---|
| 정책 일관성 | 같은 유형의 질문에 같은 대응 원칙 적용 | 비슷한 질문인데 답변 경계가 크게 달라짐 |
| 평가 분리 | 5강 평가 프롬프트를 학습 데이터로 복사하지 않음 | 평가 질문과 학습 질문이 거의 동일함 |
| 한국어 자연스러움 | 실제 사용자가 읽기 좋은 문장 | 번역투, 부자연스러운 비유, 모호한 지시 |
04 · V1 설계 워크시트
오늘 만들 데이터셋 설계안을 적어 보세요
입력 내용은 브라우저에 자동 저장되고 아래 미리보기에 합쳐집니다.
- 범주500개를 어떤 주제와 정책 범주로 나눌지 적습니다.
- 작성 규칙답변 길이, 안전 경계, 출력 형식의 공통 기준을 정합니다.
- 검수 방식중복, 평가 데이터 혼입, 위험 세부정보 포함 여부를 확인합니다.
데이터셋 V1 설계이 브라우저에 저장됨
05 · 확인 퀴즈
SFT 데이터셋 설계 기준을 확인합니다
5문항 중 4문항 이상과 확인 항목을 완료하면 강의를 마칠 수 있습니다.
- 범위데이터 형식, 비율, 평가 분리, 안전 기준을 확인합니다.
- 해설선택 즉시 정답 이유를 보여 주어 설계 기준을 다시 점검합니다.
- 완료퀴즈 통과와 체크리스트 완료가 모두 필요합니다.
06 · 마무리
오늘의 결과는 학습할 데이터의 기준입니다
- 정리500개 V1은 작지만 정책과 형식의 기준을 세우기에 충분한 시작점입니다.
- 주의학습 데이터에 평가 프롬프트를 복사하지 않고 위험 상세 절차를 제외합니다.
- 다음 단계7강에서는 이 데이터로 짧은 LoRA 학습을 실행하고 로그를 읽습니다.
6강 완료 기록
확인 항목 6개와 퀴즈 4점 이상을 완료하면 버튼이 활성화됩니다.
공식 참고 자료 보기
- Unsloth · Gemma 4 fine-tuning ↗Gemma 4 학습 흐름과 예제
- Hugging Face TRL · SFTTrainer ↗SFTTrainer와 대화형 데이터셋
- Hugging Face · Datasets ↗데이터셋 로드와 처리
- Google AI · Gemma 4 model card ↗모델 사용과 책임 있는 배포 기준