LLM + RAG 프로젝트 [6] End to End MVP 완성

 

우선 후... 웹에서 OAuth2로 로그인 하고 채팅을 날리면 미들웨어에서 인증로직 처리 하고 FastAPI로 요청을 전달, Chroma에서 서치 후 로컬 LLM 호출까지 완료되었다.

근데 이녀석 아무것도 모른다고 한다.

chroma 튜닝이 좀 필요해 보인다.

일단 하....

인증을 FastAPI까지 전파하는데 깨나 고생했다.

나중에 base64 키로 바꿔야지~ 하고 대충 키를 쓰다가 매칭이 안되서 몇시간을 박다가 그냥 포기하고 깔끔하게 base64 베이스 키로 교체했다.

물론 배포할때는 재생성 해서 환경변수로 올릴 예정이다.

 

엔드투엔드 작업은 완성되었으니 이제 다음 스텝은 성능 향상이다.

현재 큰 문제는 3가지정도인것같다.

1. Chroma 정확성 문제

2. 데이터셋이 뭔가 이상하게 들어간것같은 느낌.

3. 데이터셋 품질이슈

 

다행인건 로컬 LLM 반응속도가 첫 실행 제외하고는 괜찮다는것이다. (5080 사길 잘했다..!)

다만 LLM 로그 상 아예 관련없는 데이터들을 가져오고

실제 text 필드가 아닌 title 필드, LLM 요약 필드만 가져오는 느낌이다.

애초에 Chroma top-k 정확도 자체가 처참하다. ㅋㅋ

임베딩 인덱싱에 집중할 때가 됐다.

 

아 드디어 엔드투엔드 완성했다!!!!!!