이 글은 클로드 API 작업을 클로드 페이블 5.1로 옮겼지만 캐시 생성이 계속 발생하는 개발자를 위한 글입니다. 모델 비용과 도구 호출, 원격 맥 점유를 분리해야 하는 플랫폼 엔지니어도 대상입니다. 실제 작업 기록으로 이전 효과를 검증하려는 핀옵스 담당자와 기술 책임자에게도 적합합니다.
마지막 업데이트: 2026년 9월 3일. 모델 페이지, 플랫폼 변경 기록, 프롬프트 캐싱 문서, 도구 사용 문서를 기준으로 확인했습니다.
1먼저 나눠야 할 비용: 캐시 읽기와 전체 에이전트 실행
캐시 비용을 조사할 때 가장 흔한 실수는 전체 입력 토큰을 하나의 입력 비용으로 보는 것입니다. 요청 기록에는 일반 입력, 캐시 생성, 캐시 읽기, 출력 토큰을 각각 남겨야 합니다. 공식 문서도 캐시 사용량을 별도 필드로 제공하며, 전체 입력량만으로 캐시 효과를 판단하지 않도록 안내합니다. 사용량 필드와 입력 계산 방식을 먼저 확인하십시오.
캐시 읽기가 늘었는데도 청구액이 줄지 않는다면, 다음 비용을 같은 화면에서 합산하고 있을 가능성이 큽니다.
- 모델의 일반 입력과 캐시 생성 비용
- 캐시 읽기 비용과 모델 출력 생성 비용
- 실패한 요청의 재시도 비용
- 외부 응용 프로그램, 브라우저, 셸 도구의 실행 비용
- 엑스코드 빌드와 테스트에 걸린 시간
- 원격 맥을 점유한 시간과 대기 시간
조직 단위 보고서를 사용할 때는 요청별 사용량과 작업 식별자를 함께 보관하십시오. 조직 사용량 보고서의 필드 설명을 기준으로 모델 버전, 작업 식별자, 요청 시각, 재시도 번호를 묶어야 사후 검증이 가능합니다.
2증상별 비교: 계속 캐시 생성되는 요청과 정상 재사용되는 요청
첫 번째 단계: 변하지 않는 접두사를 요청 앞에 고정합니다
클로드 페이블 5.1이 계속 캐시 생성을 기록한다면, 동적 내용이 안정적인 접두사보다 앞에 있는지 확인하십시오. 시간 기록, 작업 상태, 사용자별 변수, 대기열 번호가 시스템 지침이나 도구 정의 앞에 들어가면 요청마다 접두사 해시가 달라질 수 있습니다.
문제는 대화 내용이 조금 바뀌었다는 데 있지 않습니다. 캐시 기준점보다 앞선 내용이 바뀌었다는 데 있습니다. 안정적인 도구 정의, 시스템 지침, 공용 프로젝트 문서를 앞에 배치하십시오. 사용자 변수, 현재 작업 상태, 대화 후반의 결과와 대기열 정보는 뒤로 미루십시오.
| 확인 대상 | 캐시가 불안정한 배치 | 수정할 배치 | 판정 기준 |
|---|---|---|---|
| 시스템 지침 | 작업 상태보다 뒤에 있음 | 요청 앞부분에 고정 | 모든 요청에서 동일해야 함 |
| 도구 정의 | 요청마다 자동 생성 | 공용 도구 묶음으로 고정 | 이름과 구조 순서가 같아야 함 |
| 사용자 변수 | 공용 문서보다 앞에 있음 | 안정 영역 뒤에 배치 | 사용자별 값이 앞부분을 바꾸지 않아야 함 |
| 작업 상태 | 접두사 중간에 삽입 | 요청 후반으로 이동 | 상태 변화가 공용 캐시를 무효화하지 않아야 함 |
| 이미지 | 요청마다 첨부 상태가 다름 | 이미지 사용 조건을 일정하게 유지 | 이미지 유무를 인접 요청에서 비교 |
두 번째 단계: 도구와 추론 설정을 인접 요청끼리 비교합니다
클로드 API 캐시 명중률이 낮다면 텍스트만 비교해서는 부족합니다. 도구 목록, 도구 선택 방식, 병렬 도구 실행 설정, 이미지 상태, 추론 강도 설정을 요청 단위로 비교해야 합니다. 겉으로 같은 도구라도 자동으로 만든 스키마의 설명, 선택 순서, 필드 배열이 달라지면 실제 캐시 입력은 달라질 수 있습니다.
도구 목록을 매 요청마다 다시 정렬하거나 필요한 도구를 자동 발견하는 구조라면, 공용 캐시와 발견 과정이 섞인 것입니다. 자주 쓰는 도구의 이름과 스키마를 고정된 앞부분에 두십시오. 업무별로 달라지는 도구와 검색 결과는 공유 캐시 영역 밖으로 이동하십시오. 캐시를 무효화하는 조건도 함께 대조해야 합니다.
도구 호출 비용은 모델 토큰 비용과 별도 층으로 봐야 합니다. 공식 도구 사용 비용 안내를 기준으로 도구 요청 수와 도구 입력을 별도로 기록하십시오.
3짧은 수명과 긴 수명: 에이전트의 호출 간격에 맞춰 선택합니다
클로드 장기 작업에서 짧은 캐시와 긴 캐시 중 하나를 모든 에이전트에 일괄 적용하면 안 됩니다. 핵심은 작업이 다음 요청을 언제 만드는지입니다.
| 작업 리듬 | 짧은 캐시 | 긴 캐시 | 더 적합한 판단 |
|---|---|---|---|
| 연속 대화 | 반복 요청이 빠르게 이어짐 | 긴 수명을 유지할 이유가 적음 | 짧은 수명부터 시험 |
| 대기열 작업 | 대기 시간이 일정하지 않음 | 다음 요청이 늦게 도착할 수 있음 | 실제 대기 간격을 측정 |
| 백그라운드 장기 작업 | 중간 도구 실행이 많음 | 다음 모델 요청까지 오래 걸림 | 긴 수명과 재생성 비용 비교 |
| 사람 승인 뒤 재개 | 승인 시점이 변동함 | 승인 뒤 캐시가 이미 만료될 수 있음 | 승인 지연 분포로 결정 |
| 실패 후 재시도 | 즉시 재시도가 많음 | 반복 재시도에는 과할 수 있음 | 재시도 간격과 성공률을 함께 확인 |
긴 수명은 재개 가능성을 높일 수 있지만, 실제로 재사용되지 않는 요청까지 캐시를 유지한다고 가정해서는 안 됩니다. 짧은 수명은 연속 호출에 맞을 수 있지만, 승인 대기나 긴 빌드가 끼면 다음 요청에서 다시 생성될 수 있습니다. 캐시 수명과 만료 방식을 기준으로 작업별 호출 간격을 먼저 측정하십시오.
캐시 가격 비교도 공개 표의 배율만 보고 결정하지 마십시오. 공식 캐시 가격표와 실제 요청의 생성·읽기 횟수를 함께 대조해야 합니다. 재사용 횟수가 적으면 읽기 비용이 낮아져도 생성 비용과 출력 비용이 남습니다.
주의: 대시보드가 일반 입력과 캐시 읽기를 하나의 입력 항목으로 합치면, 캐시가 작동하지 않는 것처럼 보이거나 반대로 과대평가될 수 있습니다. 원본 사용량 응답을 보관한 뒤 집계 화면과 비교하십시오.
4세 번째 단계: 캐시 명중 뒤에도 작업 비용이 높은지 분리합니다
프롬프트 캐싱 후에도 에이전트 청구액이 줄지 않는 경우는 캐시가 실패한 경우만 있는 것이 아닙니다. 캐시 읽기는 정상이어도 모델이 긴 출력을 만들고, 같은 도구를 반복 호출하고, 오류 복구를 위해 전체 작업을 다시 시작하면 완성된 작업 비용은 높게 남을 수 있습니다.
다음 순서로 한 작업을 분해하십시오.
- 요청별 일반 입력, 캐시 생성, 캐시 읽기, 출력 토큰을 원본 응답에서 저장합니다.
- 같은 요청에 사용된 도구 목록과 도구 선택 설정을 고정합니다.
- 실패, 시간 초과, 승인 거절, 빈 결과에 따른 재시도 횟수를 작업 식별자에 연결합니다.
- 브라우저, 외부 응용 프로그램, 셸, 빌드 도구의 호출 횟수와 실행 시간을 따로 기록합니다.
- 엑스코드 빌드와 테스트가 실행된 원격 맥 점유 시간을 모델 요청 시간과 분리합니다.
- 최대 도구 반복 횟수, 오류 발생 시 중단 조건, 사람이 개입하는 조건을 명시합니다.
- 긴 출력이 필요한 작업과 짧은 확인 작업을 서로 다른 실행 흐름으로 분기합니다.
특히 오류 복구가 같은 파일을 여러 번 읽거나 같은 빌드를 반복하는 구조라면 캐시 설정을 바꿔도 해결되지 않습니다. 이때는 중단 조건과 도구 결과 검증을 먼저 고쳐야 합니다. 원격 맥이 대기 상태로 붙잡혀 있다면 모델 비용을 줄이는 것보다 작업 종료와 자원 회수가 더 직접적인 개선이 됩니다.
원격 실행 환경을 함께 운영한다면 vpstix의 맥 렌탈 운영 자료에서 작업별 점유와 대기 흐름을 분리하는 기준도 확인할 수 있습니다. 계정 권한, 셸 접근, 빌드 로그 보존 정책은 vpstix 원격 환경 도움말과 현재 운영 정책을 맞춰 검토하십시오.
5네 번째 단계: 같은 조건의 회귀 시험으로 결론을 냅니다
수정 전후를 비교할 때 모델만 바꾸거나 도구를 추가하면 원인을 판별할 수 없습니다. 안정적인 공용 접두사를 가진 대표 작업을 고르고, 동일한 모델 버전, 도구 목록, 캐시 수명, 실행 환경으로 연속 요청을 재현하십시오.
시험 기록에는 다음 항목을 반드시 남기십시오.
- 캐시 생성과 캐시 읽기의 요청별 사용량
- 일반 입력과 출력 토큰
- 작업 완료 여부와 전체 소요 시간
- 실패와 재시도 횟수
- 도구 호출 횟수와 도구별 실행 시간
- 원격 맥 점유 시간과 유휴 시간
- 승인 대기와 재개까지의 간격
판정은 세 갈래로 나뉩니다. 캐시 읽기가 안정되고 전체 작업 비용도 낮아졌다면 같은 구조를 다른 작업에 확대할 수 있습니다. 캐시 읽기는 정상인데 전체 비용이 그대로라면 긴 출력과 도구 점유가 원인일 가능성이 높으므로 해당 작업을 별도 흐름으로 분기하십시오. 캐시 생성이 반복되면 동적 접두사와 도구 구조를 다시 비교하고, 수명을 작업 간격에 맞춰 조정하십시오.
이번 주 일정은 다음처럼 잡으면 됩니다. 첫째 날에는 원본 사용량 필드와 작업 식별자를 확보합니다. 둘째 날에는 접두사와 도구 정의의 변화를 비교합니다. 셋째 날에는 작업 간격을 측정해 캐시 수명을 재선택합니다. 그다음 같은 조건으로 회귀 시험을 실행하고, 마지막으로 모델 비용·도구 비용·원격 맥 비용의 개선 여부를 따로 승인하십시오.
현재 방식이 자체 실행 서버나 임시 가상 환경에 의존한다면, 캐시 문제와 별개로 도구 권한이 흩어지고 빌드 대기 시간이 길어지며 원격 맥을 필요 이상으로 점유할 수 있습니다. 반대로 모든 작업을 맥 환경으로 옮기는 것도 장기 고정 부하나 물리 장치 연결이 필요한 팀에는 맞지 않습니다. 단기 검증, 출시 전 회귀 시험, 간헐적인 엑스코드 작업처럼 실행 시간이 들쭉날쭉한 경우에는 vpstix의 맥 렌탈 환경으로 모델 비용과 실행 환경 비용을 나눠 확인하는 편이 더 투명할 수 있습니다. 먼저 한 작업의 사용량과 점유 기록을 내보낸 뒤, 캐시가 아니라 도구 실행과 빌드 점유가 병목인지 확인하고 필요한 범위만 임대하는 방식이 안전합니다.
6더 읽기
vpstix M4 원격 노드
에이전트 개발을 위한 안정적인 원격 맥 환경을 시작해 보세요
vpstix는 에이전트 실행과 개발 작업을 분리할 수 있는 안정적인 원격 맥 환경을 제공합니다.