AI 공부법, 답 대신 질문하는 'AI 학습 코치' 스킬을 만들어 테스트해 본 기록

해외에서 AI 자동화 에이전시를 운영하는 Nick Saraev가 "AI로 어려운 걸 빨리 배우는 법"이라는 영상을 올렸습니다. 내용을 한 줄로 줄이면, 사람들은 AI를 거의 "설명해 줘" 하나로만 쓰는데 정작 기억은 설명을 들을 때가 아니라 스스로 꺼내 볼 때 남는다는 이야기입니다. 그래서 AI에게 면접관, 시험관, 채점관 같은 다른 역할을 맡기라고 합니다.

저도 강의를 하면서 비슷한 장면을 자주 봤습니다. 설명을 들을 때보다 직접 실습을 시작할 때 교실이 웅성거립니다. 다만 역할이 열 가지나 되니 매번 "지금은 어떤 역할을 시켜야 하지?"를 고르는 것 자체가 피곤한 일이 됩니다.

이번 글에서는 이 열 가지 역할을 코치가 알아서 골라 쓰도록 하나로 묶은 AI 학습 코치 스킬을 만들고 실제로 대화를 5턴 돌려 본 결과를 공유하겠습니다. 스킬 파일은 글 중간에서 그대로 받아 가실 수 있습니다.

(작성일 2026-10-06 기준입니다. Claude 앱 메뉴 이름이나 모델 이름은 바뀔 수 있습니다.)

설명 듣기와 꺼내기

먼저 왜 "설명만 듣는 공부"가 아쉬운지부터 짚고 가겠습니다.

심리학에는 인출 연습(retrieval practice, 배운 내용을 보지 않고 스스로 떠올려 보는 연습)이라는 개념이 있습니다. 머릿속 서랍에 넣는 것보다 서랍에서 꺼내 보는 연습이 기억을 단단하게 만든다는 이야기입니다. 이걸 실험으로 보여준 대표적인 연구가 Roediger와 Karpicke의 2006년 논문입니다.

대학생 180명에게 같은 지문을 공부시키되 방식만 나눴고 1주 뒤에 지문 속 내용을 얼마나 떠올리는지 쟀습니다. 결과는 이렇게 나왔습니다.

체감으로 바꾸면, 10개를 공부했을 때 1주 뒤 4개를 기억하느냐 6개를 기억하느냐의 차이입니다. 재미있는 건 읽기만 한 쪽이 지문을 훨씬 많이 읽었고(평균 14.2번 대 3.4번), 스스로는 더 많이 기억할 거라고 예상했다는 점입니다. 다시 읽기는 "아는 느낌"을 주지만 그 느낌이 1주 뒤까지 가지는 않는 것 같습니다.

AI 설명도 비슷합니다. 깔끔한 설명을 읽으면 이해한 기분이 듭니다. 하지만 그건 다시 읽기의 한 종류이고 기억을 남기는 쪽은 꺼내 보는 쪽입니다.

답 주는 AI와 질문하는 AI

그럼 AI는 공부에 독이냐 하면 그건 또 아닙니다. 쓰는 방식에 따라 결과가 갈렸다는 연구가 있습니다.

Bastani 외 연구진이 튀르키예 고등학생 약 1,000명에게 수학 연습을 시키면서 GPT-4를 두 가지 버전으로 붙였습니다(PNAS, 2025). 하나는 그냥 답을 주는 버전, 다른 하나는 힌트와 질문으로 이끌도록 설계한 튜터 버전입니다. 그다음 AI 없이 시험을 봤습니다.

• 답 주는 버전: 연습 점수는 48% 올랐는데, AI를 빼자 시험 점수가 대조군보다 17% 낮았음
• 튜터 버전: 연습 점수는 127% 올랐고 시험에서는 손해가 대부분 사라졌음

같은 GPT-4인데 차이는 "답을 바로 주느냐, 질문으로 이끄느냐" 하나였습니다. (한 학교, 수학 한 과목, 2023년 GPT-4 기준이라 모든 공부에 그대로 옮기기는 어렵습니다.)

이렇게까지 다르게 나오는지 궁금해서 같은 질문을 Claude에 두 가지 설정으로 던져 봤습니다. 질문은 "동전을 두 번 던져서 두 번 다 앞면이 나올 확률을 풀어 주세요"입니다.

기본 설정 Claude의 실제 응답 동전 한 번을 던질 때 앞면이 나올 확률은 1/2이에요. 두 번 던지는 사건은 서로 독립이라서 확률을 곱하면 돼요. 그래서 1/2 × 1/2 = 1/4이에요. 전체 경우를 나열해도 앞앞, 앞뒤, 뒤앞, 뒤뒤 네 가지 중 한 가지라서 1/4, 즉 25%예요.

"답 대신 질문과 힌트로 이끌어 달라"고 덧붙였을 때의 실제 응답 좋아요, 먼저 동전 한 번 던질 때 앞면이 나올 확률은 얼마일까요? 그다음, 두 번 던질 때 나올 수 있는 결과를 전부 적어보면 몇 가지가 될지 세어볼래요? 그중에서 두 번 다 앞면인 경우는 몇 가지인가요? 또는 각 던지기가 서로 영향을 주지 않는다는 점을 쓰면 두 확률을 어떻게 연결할 수 있을지도 생각해봐요.

왼쪽은 정확하고 친절합니다. 그런데 이걸 읽은 사람 손에는 아무것도 남지 않습니다. 오른쪽은 답이 없는 대신 학습자가 할 일이 네 개 생깁니다. ChatGPT 공부 모드(2025년 7월)와 Claude 학습 모드(2025년 4월)도 이 오른쪽 방식을 기능으로 넣어 둔 것입니다.

AI 학습 코치 스킬 만들기

처음에는 역할 열 가지마다 짧은 프롬프트를 하나씩 만들어 묶어 두면 되겠다고 생각했습니다. 인터뷰어용 세 줄, 시험관용 세 줄, 채점관용 세 줄 이런 식으로요. 그런데 만들어 놓고 보니 두 가지가 걸렸습니다.

첫째, 쓰는 사람이 매번 "지금은 몇 번 프롬프트를 붙여야 하지?"를 골라야 합니다. 공부보다 프롬프트 고르는 게 먼저가 됩니다. 둘째, 세 줄짜리 프롬프트는 너무 작아서 따로 저장해 두고 꺼낼 만한 물건이 아니었습니다. 그래서 방향을 바꿨습니다. 역할은 코치가 고르고, 사람은 공부만 하게 하는 쪽입니다.

여기서 skill(Claude에게 일하는 방식을 알려 주는 지시서 파일)이라는 형식을 썼습니다. 폴더 하나에 SKILL.md 파일을 넣어 두면 Claude가 관련 요청이 들어왔을 때 그 지시서를 꺼내 읽고 그대로 움직입니다. 매번 긴 프롬프트를 붙여 넣지 않아도 "통계 공부 도와줘" 한마디로 시작됩니다.

코치가 쓰는 역할은 인터뷰어, 지도 제작자, 설명가, 소크라테스식 질문자, 시험관, 채점관, 청취자, 진단가, 스파링 상대, 서기까지 열 가지입니다. 이걸 사용자에게 보여 주지 않고 학습자 상태에 따라 하나씩만 꺼냅니다.

이번 스킬의 핵심이라고 생각하는 부분이 피로도 규칙입니다. AI랑 공부하다 보면 한 번에 질문을 다섯 개씩 받거나 설명이 화면을 넘어가서 지치는 경우가 많습니다. 그래서 아래 규칙을 지시서 맨 앞에 박아 두었습니다.

1. 한 턴에 질문은 하나만 한다.
2. 설명은 3문장 이내로, 학습자가 쓴 단어 수준에 맞춘다.
3. 답을 먼저 주지 않는다. 힌트 1 → 힌트 2 순서로 주고, 그래도 막히거나
   학습자가 "답"이라고 하면 답을 준다. 그다음 "창 닫고 처음부터 혼자 한 번 더"를 권한다.
4. 짧은 명령은 바로 따른다: 패스, 답, 쉽게, 어렵게, 정리, 끝
5. 문제 5개나 15분쯤 지나면 "더 할까요, 여기까지 할까요?"를 한 줄로 묻는다.
6. 반쯤 맞은 답에 맞장구치지 않는다. 맞은 부분과 틀린 부분을 나눠 말한다.
7. 숫자·출처·인용을 지어내지 않는다.
8. 매 턴 끝은 학습자가 할 일 하나로 끝낸다.

전체 흐름은 시작 질문 한 줄 → 공부 지도 한 번 → 학습 루프 반복 → 마무리 순서입니다. 마무리에서는 딱 세 가지만 줍니다. 오늘 틀린 것으로 만든 복습 카드 3장, 복습 날짜(내일·3일 뒤·7일 뒤), 다음에 시작할 한 줄입니다.

스킬 파일은 여기서 받으실 수 있습니다.

• ai-learning-coach.zip 내려받기 : Claude 앱에 그대로 올리는 파일
• SKILL.md 원문 보기 : 다른 AI에 붙여 넣거나 내용을 고쳐 쓰고 싶을 때

5턴 테스트 결과

만들어 놓고 실제로 규칙을 지키는지 대화를 돌려 봤습니다. 스킬 파일 내용을 그대로 지시로 넣고 Claude Opus 5에 한 턴씩 실제 응답을 받았습니다. 학습자 쪽 말은 제가 "3주 뒤 데이터 분석가 면접을 앞둔 사람"을 가정하고 썼습니다.

첫 턴에는 "통계 공부 좀 도와줘"라고만 했습니다.

무엇을, 언제까지, 왜 배우려는지 한 줄로 알려 주세요. 지금 통계를 어디까지 아는지도 같이요. (예: "3주 뒤 데이터 분석가 면접, 엑셀은 쓰는데 통계는 처음")

바로 가르치지 않고 질문 하나로 시작했습니다. 일부러 "그냥 데이터 분석 잘하고 싶어요"라고 막연하게 답해 봤더니, 딱 하나만 더 물었습니다. 그 "잘하고 싶다"가 언제, 어떤 식으로 확인되는지를요. 예시로 이직 면접, 회사 보고서, 수업 시험을 들어 줬습니다.

"3주 뒤 데이터 분석가 면접, 엑셀 피벗은 쓰는데 가설검정은 모름, SQL 라이브 테스트와 통계 개념 질문"이라고 구체적으로 답하자 6단계 지도가 나왔습니다. 이미 할 줄 아는 1단계는 넘어간다고 표시했고 단계마다 사람들이 주로 막히는 지점을 한 줄씩 붙였습니다. 그리고 고르게 하지 않고 "오늘은 2단계(표본과 표준오차)부터"라고 하나를 추천한 뒤 첫 문제를 냈습니다. 같은 고객 1만 명에서 100명을 다시 뽑으면 평균이 또 5만 원이 나오겠냐는 질문이었습니다.

여기서 일부러 반만 맞는 답을 했습니다. "다르게 나올 것 같은데, 100명이면 충분히 많으니까 거의 정확히 5만 원 근처일 거예요."

코치는 먼저 "다르게 나온다"는 앞부분은 맞다고 인정했고 이어서 이렇게 짚었습니다.

빈 부분: "100명이면 충분히 많으니까"는 아직 근거가 아닙니다. 흔들리는 폭은 표본 크기만으로 정해지지 않고, 구매액이 원래 얼마나 퍼져 있는지와 같이 걸려 있습니다. n만 보고 "충분하다"고 말하면 면접에서 바로 반문이 들어옵니다.

이 부분이 제일 마음에 들었습니다. 보통 AI는 "좋은 접근이에요!"로 시작해서 반쯤 맞은 답을 그대로 넘어가는데, 여기서는 맞은 절반과 빈 절반을 갈라서 말했습니다. 정답을 알려 주는 대신 "구매액이 고른 가게와 몇 명이 500만 원씩 쓰는 가게 중 어느 쪽 평균이 더 흔들리냐"는 다음 질문으로 넘어갔습니다.

마지막으로 "끝"이라고 했습니다.

복습 카드 3장, 복습 날짜, 다음 시작 한 줄만 나왔습니다. 복습 날짜는 오늘(10월 6일)부터 내일·3일 뒤·7일 뒤로 잡고 면접일(10월 27일)까지 여유 있게 끝난다고 따로 짚어 줬습니다. 세 번째 카드는 아직 답을 안 했으니 뒷면을 비워 두고 "다음 시간에 내 말로 채운다"고 적었습니다. 지어내서 채우지 않은 점이 좋았습니다.

규칙별로 정리해 봤습니다.

아쉬운 점도 있었습니다. 3턴의 지도는 표와 굵은 글씨가 들어가면서 꽤 길어졌습니다. 지도 단계라 한 번은 괜찮다고 봤지만, 실제로 써 보시고 길다고 느껴지면 지시서에 "지도는 6줄 이내 평문"이라는 규칙을 한 줄 추가하시면 됩니다.

설치와 사용법

쓰시는 환경에 따라 세 가지 방법이 있습니다.

1. Claude 앱(웹·데스크톱)

Claude 공식 안내 기준으로, 설정의 기능(Capabilities)에서 코드 실행 기능이 켜져 있어야 스킬을 쓸 수 있습니다. 그다음 Customize → Skills로 들어가서 "+" 버튼 → Create skill → Upload a skill 순서로 ai-learning-coach.zip을 올리시면 됩니다. zip 안의 폴더 이름(ai-learning-coach)과 스킬 이름이 같아야 하는데, 받으신 파일은 이미 맞춰 두었습니다. (메뉴 이름은 앱 업데이트에 따라 조금씩 바뀌는 것 같습니다. 안 보이시면 공식 안내 페이지를 확인해 주세요.)

2. Claude Code

zip을 풀어서 나온 ai-learning-coach 폴더를 ~/.claude/skills/ 아래에 넣으시면 됩니다. Claude Code를 처음 쓰신다면 CLAUDE.md 진단 글에서 기본 설정부터 보시는 것을 추천합니다.

3. ChatGPT 등 다른 AI

SKILL.md를 열어서 맨 위 ---로 둘러싼 머리말을 빼고 나머지 본문을 프로젝트 지침이나 맞춤 지시에 붙여 넣으시면 됩니다. 스킬 기능이 없어도 지시서 자체는 그대로 동작합니다.

시작은 "통계 공부 도와줘", "이 책 내용 공부하고 싶어"처럼 말하시면 됩니다. 중간에 쓰는 짧은 명령은 아래 표에 모았습니다.

개인적인 생각 & 한계점

AI가 나오고 나서 공부가 쉬워진 건 분명한데, 쉬워진 만큼 "공부한 느낌"도 같이 싸졌다고 생각합니다. 저도 퇴사하고 나서 도구, 강의, 월정액 서비스를 사기만 하고 정작 직접 만든 결과물은 없던 시기가 있었습니다. 배우는 기분은 매번 들었는데 남은 건 없었습니다. 그래서 개인적으로는 AI를 "대신 생각해 주는 비서"보다 "꺼내게 만드는 상대"로 쓰는 쪽이 훨씬 남는 것 같습니다.

상황별로 나눠 보면 이렇습니다.

1. 시험이나 자격증을 준비하는 경우

시험관과 복습 카드가 핵심입니다. 읽은 직후 문제 몇 개를 받고, 마무리에서 나온 날짜대로 카드 앞면만 보고 떠올려 보시면 됩니다.

2. 업무에 쓸 새 도구를 익혀야 하는 경우

막힌 곳만 설명받고, 이해했으면 창을 닫고 처음부터 혼자 다시 해 보는 흐름을 추천합니다. Nick은 이렇게 다시 하는 데 드는 시간이 처음 걸린 시간의 10~15% 정도라고 합니다.

3. 면접·발표·영업 통화를 앞둔 경우

첫 대화에서 목표에 면접이나 발표가 있다고 말하면 마지막에 실전 연습으로 넘어갑니다. "열심히 하겠습니다" 같은 답에는 바로 "구체적인 예를 들어 주세요"가 돌아오니, 실전 전에 한 판 먼저 붙어 보시는 것을 추천합니다.

한계도 분명합니다. 이번 테스트는 한 사람(저)이 쓴 한 개의 대화, 5턴, 한 모델(Claude Opus 5) 기준입니다. 스킬 파일 내용을 지시로 넣는 방식으로 돌렸고 Claude 앱에 스킬로 올려서 자동으로 불려 나오는지까지는 이 글에서 확인하지 못했습니다. 그리고 규칙을 지키는지만 봤지, 이 코치로 공부한 사람이 실제로 더 오래 기억하는지는 재지 않았습니다. 그건 써 보신 분들의 기록이 쌓여야 알 수 있을 것 같습니다. (틀린 부분도 있을 수 있습니다.)

이 글을 마치며 & Reference

여기까지 AI 공부법을 "설명 듣기"에서 "꺼내기"로 바꾸는 스킬을 만들어 본 기록이었습니다. 다음 글에서는 이 스킬을 실제 공부에 며칠 써 보면서 복습 카드가 얼마나 남는지 정리해 볼 생각입니다.

• Nick Saraev, "How I Learn Complex Skills & Difficult Subjects So Fast with AI" (YouTube, 2026-10-03) : 이번 스킬의 출발점이 된 영상. AI에게 맡길 수 있는 학습 역할을 열 가지 정도로 나눠 설명합니다
• Roediger & Karpicke (2006), "Test-Enhanced Learning", Psychological Science 17(3) : 다시 읽기보다 시험이 1주 뒤 기억을 더 남긴다는 고전 실험입니다
• Bastani 외 (2025), "Generative AI without guardrails can harm learning", PNAS 122(26) : 답 주는 GPT와 질문형 튜터를 고등학생 약 1,000명에게 비교한 연구입니다
• Kestin 외 (2025), "AI tutoring outperforms in-class active learning", Scientific Reports 15:17458 : 잘 설계된 AI 튜터로 배운 하버드 물리 수강생의 학습 향상이 수업보다 2배 넘게 나왔다는 연구입니다
• Claude, "Using Skills in Claude" : 스킬 업로드 메뉴와 조건이 정리된 공식 안내입니다

긴 글 읽어주셔서 감사합니다 :)