Tag: Crawling

All the articles with the tag "Crawling".

• 고객사 뉴스 리포트 만들다가 9편 — 빨라진 진짜 이유는 따로 있었다

  9 Aug, 2026

  캐싱을 붙이고 크롤러를 손본 다음, 진짜 얼마나 빨라졌는지 다시 돌려서 확인했다. 그런데 빨라진 이유를 성급하게 짚었다가, 계산을 다시 해보고서야 진짜 이유를 찾았다. 그 과정에서 자기가 만든 기능 때문에 생긴 크래시도 하나 잡았다.

• 고객사 뉴스 리포트 만들다가 8편 — 매번 처음부터 다시 비교하는 게 아까웠다

  8 Aug, 2026

  날짜 버킷으로 중복 제거를 고친 뒤로 리포트는 끝나긴 했다. 그런데 이 리포트를 매번 다시 돌릴 때마다, 이미 판정 끝난 기사까지 처음부터 다시 비교하고 있다는 게 눈에 걸렸다. 그리고 크롤링도 절반 가까이 실패하고 있었다.

• 고객사 뉴스 리포트 만들다가 7편 — 다섯 시간 넘게 멈춰 있었는데, 원인은 알고리즘이었다

  8 Aug, 2026

  1년치 리포트를 다시 돌렸는데 다섯 시간이 넘도록 끝나지 않았다. CPU는 계속 돌고 있는데 결과물은 하나도 없었다. 원인은 코드 안에 있었다.

• 고객사 뉴스 리포트 만들다가 5편 — 도메인 키워드로도 안 되길래, 결국 LLM한테 물어봤다

  6 Aug, 2026

  회사 이름이 흔한 단어와 겹치는 고객사 하나가 계속 오탐을 냈다. 도메인 키워드를 붙여봐도 절반은 여전히 틀렸다. 결국 규칙을 더 정교하게 짜는 대신, LLM한테 관련 있는지부터 물어보기로 했다.

• 고객사 뉴스 리포트 만들다가 3편 — 회사명만 검색해도 관련 없는 기사가 계속 나왔다

  4 Aug, 2026

  회사별 키워드 검색 결과에 그 회사와 전혀 상관없는 기사가 섞여 나왔다. 검색어를 줄여도, 후보를 늘려도 안 끝나서 원인을 하나씩 파봐야 했다.