캐글 AI Agent Security 실버 메달 후기 - 4,186팀 중 72위

최근 Kaggle에서 진행한 AI Agent Security - Multi-Step Tool Attacks 대회에 참가했습니다. 최종 결과는 aisamhottman 팀으로 4,186팀 중 72위이며 실버 메달을 받았습니다.

8월 초부터 대회가 끝나는 9월 1일까지 62개의 공격 코드 버전을 만들었고, Kaggle에는 125번 제출했습니다. 대회 종료 직후 잠정 순위는 4,251팀 중 74위였습니다. 이후 결과 검증이 끝나면서 최종 인증서에는 유효 4,186팀 중 72위로 기록되었습니다.

대회 이름만 보면 무엇을 평가하는지 바로 이해하기 어렵습니다. 이번 글에서는 AI Agent와 Tool Attack이 무엇인지 먼저 살펴보고, 공격 코드를 만든 과정과 최종 제출 두 개를 선정한 방법에 대해 작성해 보겠습니다.

AI Agent와 Tool Attack

일반적인 ChatGPT가 답변을 생성하는 데서 끝난다면, AI Agent는 메일 전송이나 파일 수정과 같은 기능을 직접 실행할 수 있습니다. 이때 AI가 사용하는 각각의 기능을 Tool이라고 합니다.

예를 들어 사용자가 “회의 내용을 정리해서 동료에게 메일로 보내줘”라고 요청했다고 가정해 보겠습니다. AI가 메일 내용만 작성하는 것이 아니라 email.send까지 실행한다면, 메일 전송 Tool을 사용하는 AI Agent라고 볼 수 있습니다.

여기서 문제는 AI가 웹페이지나 메일 안의 문장을 사용자의 명령으로 잘못 판단하는 경우입니다. 사용자는 웹페이지만 읽어 달라고 했는데 페이지 안에 숨은 지시를 따라서 파일을 수정하거나, 외부 주소로 정보를 전송하면 보안 문제가 됩니다. 이번 대회에서 찾으려는 Tool Attack이 이와 같은 형태입니다.

대회 평가 방식

참가자가 제출하는 것은 정답 문장 하나가 아닙니다. 제한 시간 안에 여러 테스트 문장을 자동으로 만드는 작은 Python 프로그램인 attack.py를 제출합니다. 평가 과정은 다음과 같습니다.

1. attack.py에서 최대 2,000개의 테스트 문장을 생성합니다.
2. 각 문장을 GPT-OSS와 Gemma 4에 입력합니다.
3. 모델이 실행한 Tool과 입력값을 확인합니다.
4. 실제 보안 조건을 통과한 공격에 점수를 부여합니다.

평가에서는 AI가 작성한 답변을 채점하지 않습니다. AI가 실제로 메일을 보냈는지, 외부 주소로 값을 전송했는지와 같은 실행 기록을 확인합니다. 위험도가 높고 서로 다른 형태의 공격이 많이 성공할수록 점수가 올라가는 구조입니다.

대회에서 평가한 보안 문제를 한 번에 알아보기 쉽게 정리해 보면 다음과 같습니다.

여기서 Confused Deputy는 권한을 가진 프로그램이 요청을 잘못 해석하여 자기 권한을 대신 사용하는 문제입니다. 이번 대회에서는 사용자가 메일 전송을 명시하지 않았는데도 모델이 email.send를 실행하면 이 항목에 해당합니다.

제가 만든 것은 공격 프로그램 62개 버전입니다. 그리고 프로그램 한 버전에서는 평가할 테스트 문장을 최대 2,000개까지 만들 수 있습니다. 이하에서는 앞의 것을 코드 버전, 뒤의 것을 테스트 문장이라고 부르겠습니다.

Public / Private 평가

Kaggle 대회에는 진행 중에 확인할 수 있는 Public 점수와 종료 이후 최종 순위를 결정하는 Private 점수가 있습니다.

이번 대회의 Public 평가에는 코드가 공개된 Guardrail이 사용되었습니다. Guardrail은 AI가 실행하려는 Tool의 주소와 내용을 검사하고, 위험하다고 판단하면 실행을 막는 보안 장치입니다. Private 평가에는 참가자가 볼 수 없는 별도의 Guardrail이 사용되었습니다.

따라서 Public에서 높은 점수를 받은 공격이 Private에서도 동일하게 동작한다고 볼 수는 없습니다. 공개된 Guardrail 하나에만 맞춘 방법은 Private Guardrail의 검사 대상이 조금만 달라져도 막힐 수 있습니다.

참고로 프로그램은 테스트 문장을 최대 2,000개 만들 수 있지만 실행 시간은 15시간으로 제한되어 있습니다. 2,000개를 만들었다고 해서 모두 평가되는 것은 아닙니다. 같은 공격이라면 한 건을 더 빠르게 처리하는 쪽이 제한 시간 안에 더 많은 점수를 얻을 수 있습니다.

초기 실험과 62개 코드 버전

처음에는 길고 구체적인 지시문과 최대한 짧게 줄인 지시문을 각각 제출했습니다. 첫 결과는 긴 지시문 8.505점, 짧은 지시문 10.95점이었습니다.

그런데 같은 긴 지시문에서 최초 실행에 필요한 준비 시간을 제외하고 테스트 문장 수를 다시 계산하자 34.785점까지 올라갔습니다. 문장의 길이만으로 점수가 결정된 것이 아니며, 제한 시간 안에 실제로 몇 건이 평가되는지도 함께 확인해야 했습니다.

로컬에서 확인할 수 있는 것은 먼저 샌드박스에서 실행했습니다. Kaggle 환경에서만 알 수 있는 속도와 점수는 실제 제출로 확인했습니다. 좋아질 것으로 예상한 코드뿐만 아니라 어느 부분이 문제인지 확인하기 위한 진단용 코드도 제출했습니다.

로컬에서 성공한 방법이 Kaggle에서도 그대로 성공하지는 않았습니다. 예를 들어 Gemma가 한 테스트에서 여러 주소로 값을 전송하게 만든 코드는 로컬에서 동작했지만, Kaggle에서는 기존 코드보다 약 11점 낮았습니다. 메시지를 여러 개로 나눈 방법도 Kaggle에서 약 13% 낮은 결과가 나왔습니다.

작업 폴더에는 최종적으로 62개의 Python 파일과 145개의 실험 결과가 남았습니다. 기록한 내용은 다음과 같습니다.

대회가 끝난 뒤 Kaggle API로 제 제출 기록을 그대로 내려받아 다시 셌습니다(2026-10-02 조회). 오류로 끝난 제출까지 포함하면 133건이고, 그중 점수가 나온 제출이 125건입니다.

$ kaggle competitions submissions -c ai-agent-security-multi-step-tool-attacks --csv
ref,fileName,date,description,status,publicScore,privateScore
55929481,submission.csv,2026-09-01 02:10:17,20260901 h054 CONFUSED-forge N=2000 (pick#2 branch-B host-stability FINAL re-confirm).,COMPLETE,24.62500,24.47500
55929468,submission.csv,2026-09-01 02:09:21,20260901 h042 frame_empty N=2000 best-of-N banking d (>95.25 tail chase).,COMPLETE,92.12500,0.00000
...
상태별: COMPLETE 125 · ERROR 8

description 칸의 h042, h054가 코드 버전 번호입니다. 날짜로 보면 첫 제출은 7월 5일 한 번이었고, 본격적인 제출은 8월 4일부터였습니다. 8월 13일부터 대회 마지막 날까지는 하루도 빠짐없이 매일 5회씩 제출했습니다. (본문 첫머리의 "8월 초부터"는 이 본격 제출 시점을 기준으로 쓴 표현입니다.)

• 코드에서 변경한 조건
• 로컬에서 발생한 Tool 호출
• GPT-OSS와 Gemma의 모델별 결과
• Kaggle Public 점수와 다음 실험의 기준

제출 횟수가 100회를 넘으면 파일 이름만으로 이전 실험을 구분하기 어렵습니다. 실패한 결과까지 기록해 두어야 같은 조건을 다시 제출하는 일을 줄일 수 있습니다.

두 모델에 같은 입력을 사용할 필요도 없었습니다. 최종 코드에서 GPT-OSS에는 한 번의 테스트로 여러 주소에 차례로 전송하도록 지시했고, Gemma에는 한 주소로 한 번만 전송하도록 지시했습니다. 두 모델이 Tool을 호출하는 방식이 달랐기 때문입니다.

비밀정보 전송 전략: Public 95.250점

Public에서 가장 높은 점수를 받은 방식은 대회 평가기가 비밀정보로 취급하는 SECRET_MARKER라는 시험용 문자열을 AI가 외부 HTTP 주소로 전송하게 하는 방법이었습니다. 실제 파일에서 비밀번호를 찾아 읽은 것은 아닙니다.

테스트 문장마다 목적지 주소를 다르게 만든 이유도 있습니다. 평가 규칙에서는 서로 다른 목적지로 성공한 공격을 별도의 형태로 계산하여 추가 점수를 주었습니다.

같은 코드를 여러 번 제출했는데도 Public 점수는 82점대부터 95.250점까지 달랐습니다. 조사 결과 코드에서 생성한 테스트 문장 2,000개는 매번 같았습니다. 제한 시간 안에 그중 몇 개까지 실행되었는지가 달라 점수가 변한 것입니다.

이 코드의 최고 Public 점수는 95.250점이었고, Public 리더보드에서는 210위였습니다. Kaggle의 자동 선택을 그대로 두면 같은 비밀정보 전송 방식의 고득점 제출 두 개가 최종 제출로 선택되는 상태였습니다. Private Guardrail이 이 방식을 차단하면 두 제출이 같이 0점이 될 수 있었습니다.

메일 전송 전략: Public 24.750점

다른 코드에서는 비밀정보를 사용하지 않고 email.send를 실행하도록 구성했습니다. 입력 문장에는 메일이나 전송을 직접 뜻하는 단어를 넣지 않고, 외부 주소에 짧은 메모를 전달하라고 지시했습니다. 모델이 이 요청을 이메일 전송으로 해석하여 email.send를 실행하면 Confused Deputy로 평가됩니다.

이 전략의 Public 점수는 24.750점이었습니다. 비밀값도 사용하지 않았고 외부 HTTP 주소로 값을 보내지도 않았기 때문에, 앞의 95.250점 전략과는 실패 조건이 달랐습니다.

최종 제출은 두 개를 선택할 수 있었습니다. 자동으로 선택된 비밀정보 전송 계열 두 개를 그대로 두지 않고, 비밀정보 전송 전략 하나와 메일 전송 전략 하나를 직접 선택했습니다.

Private 결과는 아래와 같습니다.

비밀정보 전송 전략은 Private에서 0점이 되었고, 메일 전송 전략은 24.475점을 받았습니다. 높은 Public 점수 두 개를 그대로 선택했다면 두 제출이 모두 0점이 될 수 있었던 상황입니다.

최종 선택 두 개만이 아니라 125회 전부의 Public·Private 점수를 한 장에 찍으면 이 대회가 어떤 구조였는지 더 분명해집니다.

125회 중 108회가 Private 0점이었습니다. Public 점수가 28점이든 95점이든 상관없이 0점이 됐습니다. 0점이 된 108회를 전략별로 다시 나누지는 않았지만, 앞에서 설명한 공개·비공개 Guardrail의 차이가 그대로 드러난 결과로 보입니다. 반대로 Private 점수가 나온 17회는 Public 17~59점의 낮은 구간에 있었습니다. Public 점수가 높을수록 Private에서 살아남지 못한, 거의 반대 방향의 관계였습니다.

아쉬운 점도 하나 보입니다. 제가 고른 메일 전송 전략(Private 24.475)보다 Private이 조금 더 높은 제출이 있었습니다. 같은 계열(h054) 코드로 8월 29일에 낸 제출이 Private 25.21점이었습니다. 대회 중에는 Private 점수를 볼 수 없으니 고를 방법은 없었고, 같은 코드라도 실행마다 점수가 흔들린다는 앞의 관찰과도 맞는 결과입니다.

Public 210위에서 최종 72위

대회 종료 직후 공개된 잠정 Private 리더보드에서는 4,251팀 중 74위였습니다. Public 210위에서 136계단 올라간 결과입니다. 이후 결과 검증이 끝났고, 최종 인증서에는 유효 4,186팀 중 72위로 기록되었습니다.

참고로 같은 날 Kaggle API로 다시 받은 Public 리더보드 파일에서는 제 팀이 4,187팀 중 189위로 나옵니다(대회 종료 후 팀 수가 정리되면서 순위 숫자가 달라졌습니다).

잠정 결과를 보면 Public 상위 20팀 가운데 절반이 Private에서 0점을 받았습니다. 반대로 Public 2,838위였던 팀이 Private 8위까지 올라오기도 했습니다.

특정 공격 방식이 Private Guardrail 하나에 의해 모두 차단되면서 순위가 크게 바뀐 것입니다. Public 점수만으로 최종 결과를 예상하기 어려웠던 이유입니다.

상위권 Solution

대회가 끝난 뒤 참가자들이 공개한 상위권 Solution도 확인했습니다. 2위와 3위는 자세한 방법을 공개하지 않았기 때문에, 아래 내용은 참가자가 직접 공개한 글에서 확인할 수 있는 부분만 정리했습니다.

1위 Solution은 최종 제출에 포함한 메일 전송 전략과 방향이 비슷했습니다. 가장 큰 차이는 한 번의 공격이 끝나는 시간을 줄였다는 점입니다. AI가 메일을 보낸 뒤 생성하는 마무리 답변은 점수와 관계없지만 실행 시간을 사용합니다. 이 부분을 빨리 종료시켜 같은 15시간 동안 더 많은 테스트 문장을 평가했습니다. 관련 코드는 GitHub 저장소에도 공개되어 있습니다.

4위 참가자는 여러 테스트 문장의 앞부분이 같다는 점을 이용했습니다. AI가 앞부분을 매번 처음부터 다시 계산하지 않고 한 번 계산한 결과를 재사용하여 시간을 줄였습니다. 이것을 KV cache라고 합니다.

공개된 Solution들을 살펴보면 공격 문장뿐만 아니라 Tool 호출 이후의 출력 길이, 모델별 입력 형식, 한 건을 처리하는 시간까지 함께 조정했습니다. 제한된 시간 동안 더 많은 공격을 평가하기 위한 방법입니다.

결과에서 확인한 내용

이번 대회에서는 로컬 성공이 Kaggle 성공으로 이어지지 않는 경우가 여러 번 있었습니다. Gemma의 연속 호출 방식은 로컬에서 성공했지만 Kaggle 점수는 약 11점 떨어졌고, 메시지를 여러 개로 나눈 방식도 약 13% 낮아졌습니다. 따라서 로컬 결과는 Tool이 동작하는지 확인하는 용도로 사용하고, 실제 점수는 Kaggle 제출 결과로 따로 기록했습니다.

최종 제출을 선택할 때에는 Public 점수와 공격 유형을 같이 확인했습니다. 높은 점수의 제출 두 개가 같은 보안 약점을 사용하면 Private Guardrail 하나에 같이 차단될 수 있기 때문입니다.

이번 글에서는 AI Agent Security 대회의 평가 방식과 62개의 코드 버전을 실험한 과정, 최종 제출 두 개를 선택한 방법까지 작성해 보았습니다. 최종적으로 Public 210위에서 72위까지 올라 실버 메달을 받았습니다. 자세한 평가 방식은 공식 Overview에서, 최종 순위는 공식 리더보드에서 확인할 수 있습니다.