Tag: Prompt_Engineering
All the articles with the tag "Prompt_Engineering".
-
Decisions API와 Jev로 끊긴 문장을 판정하자, 오탐이 네 배였다
LLM이 고친 노트에 끊긴 문장이 생겼는지를 OpenAI Decisions API와 Jev로 판정해 봤다. 정상 노트를 gpt-6-luna보다 네 배쯤 더 걸었고, 질문 나누기는 이번엔 역효과였다.
-
LLM이 노트 중복을 지우자, 남은 문장이 가리킬 곳을 잃었다
LLM으로 노트 중복을 지우자 '이 기술 체계', '또한'처럼 앞 문장을 가리키던 말이 대상을 잃었다. 코드 규칙으로 막다 멈추고, 고친 노트를 LLM이 다시 읽어 판정하게 했다.
-
LLM 노트 병합 규칙에서 틀린 예시는 지웠는데, 규칙은 남아 있었다
Obsidian 플러그인의 LLM 중복 노트 병합 규칙이 같은 제품 노트까지 막고 있었다. 규칙의 출처를 따라가 실제로 병합해 보니 근거가 없었고, 카파시 LLM Wiki처럼 같은 대상이면 합치는 기준으로 바꿨다.
-
LLM 요약에서 한 번은 사라지고, 두 번은 살아남았다
LLM 요약이 원문의 인과 설명을 빠뜨리는 버그를 쫓았다. 문법 오류와 반직관성을 대조군으로 반증하다가, 반직관적인 주장이 한 번만 나올 때 사라진다는 걸 찾았다.
-
LLM 병합 프롬프트에서 규칙 하나가 빠진 걸 찾았는데, 채워도 똑같았다
LLM 노트 병합이 한쪽 원문의 내용을 빠뜨리는 버그를 쫓다 병합 프롬프트에만 정보 밀도 보존 규칙이 없는 걸 찾았다. 그런데 넣고 A/B 테스트를 해도 차이가 없었다.
-
LLM 노트 과분할을 막을 장치를 설계하다가, 이미 있는 장치를 못 보고 있었다
LLM이 노트 하나를 5개로 나누자고 제안했는데 조각마다 근거가 20~30단어뿐이었다. 과분할을 막을 감사 장치를 설계하다 보니, 같은 질문을 하는 장치가 전날 이미 만들어져 있었다.
-
LLM 언어 혼입을 잡으려 정성껏 만든 코드가, 실측해보니 한 일이 없었다
LLM이 만든 노트에 한국어 문장이 섞이는 문제를 코드로 탐지·수정하게 만들었는데, 실측해보니 고친 건 0건이었다. 진짜 원인은 언어 지시가 빠진 프롬프트 하나였다.
-
Decisions API는 질문을 셋으로 나누자 Luna만큼 맞혔다
OpenAI Decisions API와 Jev 프롬프트를 문서 권고대로 고쳐봤다. 판단을 참·거짓 질문 셋으로 나누자 Decisions API가 37쌍 중 36쌍을 맞혔고, 입력 줄이기는 오히려 나빠졌다.
-
OpenAI Decisions API는 빨랐지만, 내 병합 기준에는 맞지 않았다
OpenAI Decisions API, Jev, gpt-6-luna로 중복 노트 병합 판단을 비교했다. Decisions API는 0.13초로 가장 빨랐지만, 조건이 여러 개인 기준에선 틀린 답에도 확신이 높았다.
-
LLM 요청 동시성을 2에서 4로 올렸더니 다른 버그 두 개가 나왔다
LLM 병렬 요청 수를 2에서 4로 올려도 요약 정확도는 그대로였다. 대신 전수 감사에서 한영 중복 노트 병합 누락과, 영어 노트에 한글 소제목이 붙는 버그가 나왔다.