3편에서
git 사고를 수습한 뒤, 이번엔 기기를 바꾸는 대신 같은 노트북 1에서
설정 하나씩만 바꿔가며 다시 실험을 설계했다. 목표는 명확했다 —
ingestChunkSize(청크 크기)와 openaiReasoningEffort(추론 강도)
중 어느 쪽이 진짜로 fidelity(사실관계 정확도)를 좌우하는지 갈라내는
것.
청크 사이즈만 바꿔봤다 — 거의 차이가 없었다(Run E, F)
같은 노트북 1, 같은 High 설정에서 청크만 2와 1로 바꿔 원본 30개를 각각 다시 돌렸다. 결과는 예상과 달랐다. 청크=2일 때 fidelity 문제 1/30(3%), 청크=1일 때 2/30(7%) — 둘 다 사실상 노이즈 수준의 차이였다. 2편에서 봤던 40%→10~13%→0%라는 뚜렷한 단조 감소와는 전혀 다른 양상이었다.
여기서 두 가지 해석이 가능했다. 첫째, reasoning effort가 충분히 높으면 청크 크기의 영향력 자체가 줄어드는 것일 수 있다(두 변수가 서로 어느 정도 대신할 수 있는 관계). 둘째, 아니면 2편에서 본 그 극적인 차이는 사실 청크 크기가 아니라 처음부터 의심했던 reasoning effort 차이(노트북 2가 실제로 Medium이었을 가능성) 때문이었고, 순수한 청크 크기 효과는 이번 Run E/F가 보여주는 정도로 작을 수 있다.
둘 중 뭐가 맞는지는 이 실험 하나로는 가릴 수 없었다. 청크는 고정하고 reasoning effort만 바꾸는 실험이 하나 더 필요했다.
이번엔 reasoning effort만 바꿔봤다(Run G) — High와 Medium 비교
청크를 1로 고정한 채, reasoning effort만 High에서 Medium으로 낮춰 같은 원본 30개를 또 돌렸다. 결과가 명확했다. fidelity 문제는 0/30(0%) — High였을 때(2/30)보다도 오히려 더 깨끗했다. 대신 전혀 다른 두 수치가 크게 흔들렸다. 노트 개수는 221개에서 150개로 줄었고, 처리 시간은 25분 35초에서 12분 8초로 절반 넘게 줄었다.
결론이 이제 뚜렷해졌다. fidelity(사실관계가 맞는가)를 좌우하는 건 청크 크기이고, reasoning effort는 fidelity와는 거의 무관하다. 대신 reasoning effort가 실제로 좌우하는 건 atomicity(노트를 얼마나 잘게 쪼개는가)와 처리 시간이었다.
어떤 원문에서 차이가 크게 나는지도 갈렸다 — 서술형 글일수록 LLM 노트 분할이 달라진다
High와 Medium의 노트 개수 차이를 원문별로 하나하나 비교해보니, 차이가 원문의 구조에 따라 뚜렷하게 갈렸다. “AI 시대, 대체 불가능한 리더가 되는 8가지 방법”처럼 원문 자체가 이미 번호 매겨진 목록으로 돼 있는 글은 High든 Medium이든 나뉘는 개수가 거의 같았다(10개 대 10개). 반대로 “AI-Native Engineer가 되는 법”처럼 하나의 흐름으로 쭉 이어지는 서술형 글은 차이가 컸다 — High에서는 15개 노트로, Medium에서는 4개 노트로 나뉘었다. 문장 속에 녹아든 하위 개념을 모델이 능동적으로 캐내야 하는 글일수록, “얼마나 깊게 생각하고 쪼갤지”를 결정하는 reasoning effort의 영향을 많이 받는다는 뜻이었다.
원문을 직접 대조해서 확인해보니, 15개로 잘게 나눈 것과 4개로 뭉뚱그린 것 둘 다 사실관계 오류는 없었다 — Medium이 잘못 나눈 게 아니라, 그냥 High보다 덜 잘게 나눈 것뿐이었다.
정리하면
여기까지의 결론은 이랬다 — ingestChunkSize는 낮게(1~2) 유지해서
fidelity를 지키고, 노트를 얼마나 잘게 쪼갤지와 처리 속도는
openaiReasoningEffort로 따로 조절한다. 서로 다른 문제를 푸는
별개의 손잡이였다.
그런데 이 결론에는 여전히 구멍이 하나 있었다. 2편의 그 극적인 40%→10~13%→0%라는 결과가 정말 “청크 크기 단독 효과”였는지 확정하려면, 노트북 2가 그 실험 당시 실제로 어떤 reasoning effort 값을 쓰고 있었는지 알아야 했다. 그 값은 여전히 미확인 상태로 남아 있었다.
이 구멍을 메우기도 전에, 전혀 다른 곳에서 던진 질문 하나가 이 조사를 완전히 새로운 방향으로 밀어붙였다 — 그 발단은 “왜 어떤 노트는 한국어와 영어 버전이 따로 남아서 안 합쳐지지?”라는, 원래 질문과는 무관해 보이는 궁금증이었다.
5편에서 이어진다.