Tag: Calibration
All the articles with the tag "Calibration".
-
Decisions API와 Jev로 끊긴 문장을 판정하자, 오탐이 네 배였다
LLM이 고친 노트에 끊긴 문장이 생겼는지를 OpenAI Decisions API와 Jev로 판정해 봤다. 정상 노트를 gpt-6-luna보다 네 배쯤 더 걸었고, 질문 나누기는 이번엔 역효과였다.
-
Decisions API는 질문을 셋으로 나누자 Luna만큼 맞혔다
OpenAI Decisions API와 Jev 프롬프트를 문서 권고대로 고쳐봤다. 판단을 참·거짓 질문 셋으로 나누자 Decisions API가 37쌍 중 36쌍을 맞혔고, 입력 줄이기는 오히려 나빠졌다.
-
OpenAI Decisions API는 빨랐지만, 내 병합 기준에는 맞지 않았다
OpenAI Decisions API, Jev, gpt-6-luna로 중복 노트 병합 판단을 비교했다. Decisions API는 0.13초로 가장 빨랐지만, 조건이 여러 개인 기준에선 틀린 답에도 확신이 높았다.
-
틀렸는데, 확신은 0.9였다
TypeSafe Jev의 오픈소스 재현판 Laya를 Obsidian 플러그인의 중복 노트 판단에 붙여봤다(Jev는 계정이 열리지 않아 문서로만 비교). CPU 속도와 정확도 78%, 파인튜닝 가능성까지 실측해 보니, 진짜 문제는 틀린 답에 0.9 confidence를 붙이는 캘리브레이션 붕괴였다.