LLM + RAG 프로젝트 2 [0] : hit@1 +22pt 개선
1. 개요이번 작업의 목적은 NamuWiki 기반 애니메이션 RAG 데이터셋을 단순히 더 많이 수집하는 것이 아니라, 검색 품질을 개선할 수 있는 데이터 구조로 재정비하는 것이었다.초기에는 RAG 성능 저하의 원인을 벡터DB 설정, reranker 설정, MMR 파라미터, 후보군 크기 같은 검색 파이프라인의 하이퍼파라미터 문제로 의심했다. 그러나 여러 실험을 거치면서 핵심 병목은 검색 알고리즘 자체보다 데이터셋 구조와 embedding text 설계에 있다는 점이 드러났다.특히 하위 문서의 제목이 등장인물, 평가, OST, 기타, 회차, 에피소드처럼 일반적인 이름으로 저장되는 문제가 컸다. 이런 제목은 사람이 볼 때는 상위 작품 문맥을 통해 이해할 수 있지만, dense retrieval에서는 문서의 정..
2026. 4. 30.