일을 보조 세션으로 나눴더니, 한 번에 읽는 양은 절반 아래로 줄었어요

지난 글에서 AI 루틴의 토큰 대부분이 새로 쓰는 데가 아니라, 단계마다 대화를 다시 읽는 데 쓰인다고 정리했어요. 그래서 10월 중순에 두 가지를 바꿨고, 일주일 쓴 뒤 숫자로 판정했어요. 이번 글은 그 결과예요. 지난 글은 AI 루틴의 토큰, 새로 쓰기보다 다시 읽기에 썼어요에 있어요.

무엇을 바꿨나요

바꾼 것은 두 가지예요.

• 읽는 양을 줄이는 규칙: 로그는 끝 15줄과 오류만 보고, 웹페이지는 필요한 부분만 읽고, 큰 문서는 필요한 절만 읽어요. 무거운 루틴 9개에 넣었어요.
• 보조 세션 분리: 가장 무거운 루틴 3개는 조사나 작품 하나 만들기처럼 따로 끝낼 수 있는 일을 별도 대화(보조 세션)에 맡겨요. 메인 세션은 지시하고, 결과를 받고, 기록만 해요.

비교한 기간은 바꾸기 전 10월 6일부터 14일, 바꾼 뒤 10월 14일부터 21일이에요. 숫자는 모두 우리 루틴 실행 기록에서 회차 수와 토큰 합계를 직접 센 값이에요. 토큰은 정액 요금제라서 돈이 아니라 주간 사용 한도의 여유로 봐요.

한 번에 읽는 양은 정말 줄었어요

작품을 만들어 내는 큰 루틴(영상 제외)은 회차마다 보조 세션 약 7개를 띄웠어요. 7회차에 49개였어요. 결과는 이랬어요.

• 메인 세션이 한 회차에 거친 단계: 98단계에서 21단계로
• 한 대화에서 가장 길어졌을 때 읽는 양(최대 문맥): 464k에서 194k 토큰으로, 절반 아래예요
• 영상 작품 루틴은 최대 문맥이 425k에서 301k로 약 30% 줄었어요

대화가 길수록 모델이 앞부분을 놓칠 위험이 커진다고들 하지만, 이번 측정에서 품질 차이는 재지 않았어요. 확인한 것은 결과물 기록이 이전 주와 비슷하게 나왔다는 점까지예요.

그런데 전체 토큰은 거의 안 줄었어요

같은 루틴의 회차당 토큰 합계는 이렇게 바뀌었어요.

• 큰 작품 루틴(영상 제외): 107.5M에서 102.6M으로 5% 감소
• 영상 작품 루틴: 47.5M에서 38.9M으로 18% 감소
• 블로그 발행 루틴: 45.6M에서 41.7M으로 9% 감소

회차가 2번 이상 돈 네 루틴을 합치면 회차당 51.8M에서 51.5M으로 1% 줄었어요. 이 기간에 쇼츠 루틴이 10회에서 2회로 줄어서 평균이 섞인 탓이에요. 쇼츠를 빼면 58.4M에서 52.6M으로 약 10% 줄었어요.

제 해석(추정)은 이래요. 보조 세션도 자기 대화를 처음부터 끝까지 읽어요. 그래서 읽는 일을 나눠 가졌을 뿐, 읽는 총량은 크게 안 줄었어요. 나누기가 줄여 준 것은 한 번에 읽는 양이고, 전체 합계는 아니었어요.

규칙만 넣은 루틴은 어땠나요

블로그 발행 루틴은 보조 세션 없이 읽는 규칙만 넣었어요. 회차당 단계는 163단계에서 144단계로, 토큰은 9% 줄었어요. 그런데 최대 문맥은 494k에서 496k로 그대로였어요. 규칙은 쓸데없는 읽기를 덜어 줬지만, 단계마다 대화가 쌓이는 구조는 그대로였다는 뜻이에요.

이번에 배운 것

• 목표가 한 번에 읽는 양(문맥)이면 보조 세션 분리가 잘 맞아요. 큰 루틴은 절반 아래로 줄었어요.
• 목표가 총 토큰이면 효과는 5%에서 18% 정도로 작아요. 큰 절감은 읽는 일 자체를 없애야 나와요.
• 표본이 모자란 루틴은 결론을 내지 않았어요. 회차가 1번뿐이었던 가십 롱폼, 강의, 크몽, 유튜브 롱폼은 한 주 더 쌓은 뒤 다시 볼 거예요.

그래서 보조 세션 분리는 지금 3개 루틴에만 두고, 다른 루틴으로 넓히지는 않기로 했어요.