Tag: Testing
All the articles with the tag "Testing".
-
LLM이 노트 중복을 지우자, 남은 문장이 가리킬 곳을 잃었다
LLM으로 노트 중복을 지우자 '이 기술 체계', '또한'처럼 앞 문장을 가리키던 말이 대상을 잃었다. 코드 규칙으로 막다 멈추고, 고친 노트를 LLM이 다시 읽어 판정하게 했다.
-
LLM 노트 병합 테스트는 통과했는데, 고친 코드는 한 번도 실행되지 않았다
Obsidian 플러그인의 LLM 노트 병합 버그를 고치고 실제 노트로 다시 돌렸다. 결과는 깨끗했지만 고친 코드가 지나갈 장면이 아예 생기지 않았고, 병합 직전 상태를 복원하고서야 확인했다.
-
LLM 노트 병합 규칙에서 틀린 예시는 지웠는데, 규칙은 남아 있었다
Obsidian 플러그인의 LLM 중복 노트 병합 규칙이 같은 제품 노트까지 막고 있었다. 규칙의 출처를 따라가 실제로 병합해 보니 근거가 없었고, 카파시 LLM Wiki처럼 같은 대상이면 합치는 기준으로 바꿨다.
-
LLM 요약에서 한 번은 사라지고, 두 번은 살아남았다
LLM 요약이 원문의 인과 설명을 빠뜨리는 버그를 쫓았다. 문법 오류와 반직관성을 대조군으로 반증하다가, 반직관적인 주장이 한 번만 나올 때 사라진다는 걸 찾았다.
-
LLM 병합 프롬프트에서 규칙 하나가 빠진 걸 찾았는데, 채워도 똑같았다
LLM 노트 병합이 한쪽 원문의 내용을 빠뜨리는 버그를 쫓다 병합 프롬프트에만 정보 밀도 보존 규칙이 없는 걸 찾았다. 그런데 넣고 A/B 테스트를 해도 차이가 없었다.
-
LLM 언어 혼입을 잡으려 정성껏 만든 코드가, 실측해보니 한 일이 없었다
LLM이 만든 노트에 한국어 문장이 섞이는 문제를 코드로 탐지·수정하게 만들었는데, 실측해보니 고친 건 0건이었다. 진짜 원인은 언어 지시가 빠진 프롬프트 하나였다.
-
다른 PC의 옵시디안을 원격으로 조작해서 플러그인을 테스트했다
Obsidian 플러그인을 릴리스 전에 실제 앱에서 테스트하려고, 다른 PC의 Obsidian을 Chrome DevTools Protocol(CDP)로 원격 조작했다. 배포부터 버튼 클릭까지 CDP로 했다.
-
LLM 프롬프트 규칙을 두 번 고쳤는데, 정작 노트를 나누지 말았어야 했다
LLM이 만든 형제 노트가 링크만 남기고 텅 비는 버그를 프롬프트 규칙으로 두 번 고쳤다. 원문을 다시 보니 두 강좌의 설명이 같았고, 노트를 나누지 말고 합쳐야 했다.
-
임베딩 필터를 걷어내니, 중복이 오히려 더 많이 잡혔다
LLM이 만든 형제 노트의 중복을 잡던 임베딩 후보 필터를 걷어내고 노트 전체를 한 번에 LLM에 맡겼다. 허브 노트 예외 조항 하나로 정밀도가 55%에서 100%가 됐고, 깨끗하다던 묶음에서도 중복이 나왔다.
-
임베딩 모델을 바꾸니 순서가 뒤집혔다
OpenAI 임베딩 모델을 text-embedding-3-small에서 large로 바꾸자, 코사인 유사도 0.72~0.80에 뒤섞여 있던 진짜 중복 문단과 우연히 비슷한 문장의 순서가 뒤집혔다.