LLM + RAG 프로젝트 [10] E2E 완성

아래 스크린샷은 튜닝 전 질의응답이다.

 
아래는 가장 최근, chroma 튜닝을 진행 후 e2e 질의응답 스크린샷이다.

 
하...
적중을 아예 못했어서 chroma 재인덱싱만 몇번을 하고 매핑도 다시하고
청킹 기준도 몇번을 갈고
fetch, mmr 가중치, 확장 fetch 등... 튜닝하며 그래픽카드를 혹사시켰다.
그랬더니 이젠 진짜 그럴싸한 대답을 준다.
 
그럼에도 불구하고 성능과 UI/UX 부분은 아쉬운게 있다.
일단 가장 큰건 로그인을 강제하는 UX와 갑자기 LLM에서 토큰을 무지하게 써버리면 p95가 늘어나버린다.
할루시네이션, 잘못된 문서 참조하는 이슈가 남아있다.
 
이 부분들은 이제 해결해 나갈 과제겠지.
E2E 완성하고 바퀴는 달았다.
굴러는 간다 이제!!!!!!!!!!!!!!!!!!!!