분류 전체보기147 open llm vtuber github repo 후기 결과물 캡쳐이다.생각보다 매우 만족스럽다.데스크톱에 오버랩해서 띄울수 있는 기능이 가장 마음에 든다.현재 상황에서 조금 아쉬운건지금 사용하는 모델이 Hugging Face에서 받은 Gemma2-9b-it-Q4-fp16 모델이라 mcp, Stream 지원이 안된다.OpenAI, Gemini API를 사용하면 조금 더 빠르고 퀄 좋게 사용 가능할 것 같다.뭔가 이렇게 띄워놓고 보니 파인튜닝에 대한 욕구가 샘솟는다. https://github.com/Open-LLM-VTuber/Open-LLM-VTuber GitHub - Open-LLM-VTuber/Open-LLM-VTuber: Talk to any LLM with hands-free voice interaction, voice interruption, an.. 2025. 11. 12. Open-LLM-VTuber 라는 흥미로운 git repo 발견 https://github.com/Open-LLM-VTuber/Open-LLM-VTuber GitHub - Open-LLM-VTuber/Open-LLM-VTuber: Talk to any LLM with hands-free voice interaction, voice interruption, and Live2D takiTalk to any LLM with hands-free voice interaction, voice interruption, and Live2D taking face running locally across platforms - Open-LLM-VTuber/Open-LLM-VTubergithub.com 로컬 PC에 nero sama 처럼 llm이 내장된 live 2D를 띄울 수 있는 gi.. 2025. 11. 12. 석사 친구 시뮬레이터 튜닝 도와준 이야기 해당 전공에 대한 도메인 지식이 전무한 상태에서친구가 언구에 사용하는 시뮬레이터 튜닝 방법만 도와줬다.올바른 chat gpt 사용법 및 튜닝 전략에 대해 조언을 해줬다.텐서플로우 독학할때 습득한 지식들이 도움이 됐다.대강 알러준 튜닝 루틴은1. 순수 결과값 분석으로 각 피쳐들의 상관관계를 얻는다.2. 높은 상관관계를 가진 피쳐들에서 중요도 높은 피쳐를 뽑는다.3. Optuna 라이브러리 사용을 통해 최적화는 자동화 한다.이다.그런데 아무래도 석사 짬이 있어서인지1번 2번을 휴리스틱하게 금방금방 해내고 재밌다고 고맙다고 하더라.이제껏 해온것중에 버릴게 하나도 없구나 싶었다.슬 슬 휴식기를 마칠때가 되었나 싶기도 하다.나도 작업을 하고싶어졌다. 2025. 11. 5. 간만에 AWS 즐긴 이야기 간만에 AWS를 쓸일이 있었다.친구가 AWS로 애를 먹고있어서 지원사격을 해주는 일이었다.상황을 파악하고 조금 좋지 않은 상황임을 직감했다.일단 EC2 접근할 수 있는 iam은 있지만 key가 존재하지 않는 상황이었다.백업본조차 존재하지 않아 AWS 호스팅해주는 업체와 소통하여 다시 발급받았다.그리고 배포좀 많이 아쉬웠다.너무 많이 손대기는 또 그래서 배포 방법까지 갈아엎을수는 없었다.너무 전통적으로 scp 써서 zip 파일을 전송하고 압축해제 후 npm 빌드하는 방식으로 배포를 하고있더라....git도 안쓰고... 일회성 프로젝트, 배포라서 이게 맞는것같긴 한데... 그래도 조금 아쉬웠다. 이거랑 더불어 실제 소스코드가 RDS를 바라보고 있지 않던 문제도 있었는데 이건 소스코드 수정 + 업데이트 된 스.. 2025. 11. 4. Agent에 LLM이 필요한 이유 우선 Rule 베이스로 하드코딩해서 Agent 자체의자연어 쿼리 > 툴 선택 > 툴 실행 > 리턴 반환 플로우를 익혀보기 위해 대충 후딱 코드를 작성하기 시작했다. 가벼운 계산기, 문자열에서 문자 뽑기 같은 간단한 툴들을 만들었다.이후 툴 선택을 위해 툴 대기열, 등록? 까지는 마쳤는데자연어 쿼리 > 툴 선택이 답이 없다.툴 선택까지는 어찌어찌 하면 된다.근데 이제 그 툴에 해당 툴들에 대한 파라미터는 어떻게 추출하지?...당장 계산기만 해도, 단순 사칙연산만 해도a랑 b를 더해줘, a+b는 뭐야?, a 더하기 B를 알려줘, a + b + c + d ...를 알려줘 등등예외케이스, alias가 많다. 이걸 다 if문으로 처리한들 자연어 쿼리에서 나오는 모든 케이스를 커버칠수가 없다.그렇다고 nlp를 쓰자.. 2025. 10. 11. Agent 기본 로직 정리 잊어버리기 전에 초패스트 초간략 정리를 하려고 한다.플로우 순서대로 우선 정리한다. 1. 사용자 질의2. LLM 혹은 휴리스틱으로 사용자 쿼리에서 Tool 선정을 위한 planner 작동으로 어떤 툴 쓸지 추출3. 실제 툴 짬통 모듈에 2번의 리턴값을 파라미터로 받아서 해당 툴들이 존재하는지 여부 체크 3-1. 존재할 경우 : 사용자 질의도 영향을 주는 툴이라면 그것까지 활용해서 해당하는 툴 모듈을 호출해서 결과 도출3-2. 존재하지 않을경우 : ㅈㅅ 없어요 를 리턴하고 UI 에서 UX좋게 예쁘게 포장해서 뱉음4. 3번의 툴 만으로 안될 경우 다시 3번 반복. ( 이 과정에서 무한루프 못돌게 최대 횟수를 정하거나 임계치를 정하거나 해야함)5. 결과를 뽑아서 LLM에 집어넣어 다시 잘 생성해서 답변 or .. 2025. 10. 10. RAG Retriver 설계 이론 Retirever 설계 이론과 그에 대한 평가 지표는 RAG의 성능을 좌우하는 핵심 요소이다.임베딩, 유사도 계산, 후처리 방법 등등에 다라 RAG 전체 품질이 완전히 달라진다. 임베딩 모델 선택RAG의 Retriever는 텍스트를 벡터로 변환해서 유사도를 기준으로 검색한다. 이때 어떤 임베딩 모델을 쓰느냐가 가장 중요하다.임베딩 모델특징BM25 (Sparse)단어 기반 희소 벡터, 빠르지만 의미 기반 매칭은 약하다.DPR (Dense Passage Retriever)BERT 기반 쌍둥이 네트워크, 의미 기반 매칭 가능bge-m3 / e5 / InstructorSOTA급 dense 모델, prompt tuning으로 검색 품질 향상Multilingual / Kor-specific한국어 도메인에는 KorE.. 2025. 10. 7. LLM + RAG 프로젝트 [10] E2E 완성 아래 스크린샷은 튜닝 전 질의응답이다. 아래는 가장 최근, chroma 튜닝을 진행 후 e2e 질의응답 스크린샷이다. 하...적중을 아예 못했어서 chroma 재인덱싱만 몇번을 하고 매핑도 다시하고청킹 기준도 몇번을 갈고fetch, mmr 가중치, 확장 fetch 등... 튜닝하며 그래픽카드를 혹사시켰다.그랬더니 이젠 진짜 그럴싸한 대답을 준다. 그럼에도 불구하고 성능과 UI/UX 부분은 아쉬운게 있다.일단 가장 큰건 로그인을 강제하는 UX와 갑자기 LLM에서 토큰을 무지하게 써버리면 p95가 늘어나버린다.할루시네이션, 잘못된 문서 참조하는 이슈가 남아있다. 이 부분들은 이제 해결해 나갈 과제겠지.E2E 완성하고 바퀴는 달았다.굴러는 간다 이제!!!!!!!!!!!!!!!!!!!! 2025. 9. 11. 도자기 빗는게 이런 느낌일까 텐서플로우 한번 찍먹해볼때 하이퍼 파라미터 튜닝하며 이런 느낌을 받았던것같다.이것저것 다 건들여보며 상관관계 찾아보고그 사이 잘 맞춰 최적화 해보고거기서 다른거 건들이면 또 도르마무.캐글 spaceship titanic 문제 정확도 0.8 넘기려고 하이퍼파라미터 튜닝만 수백번 돌렸던게 생각이 난다. recall 수치 높이려고 fetch 나 mmr 가중치, title 검사를 건들이면 중복이 아주 아름답게 급등하거나응답속도도 오락가락 쉽지않다. 보통 이럴때 문제는 데이터인데사실 크롤링한 데이터로만은 좀... 총 양이 적은건 아니지만 그래도 부족한게 많긴한 데이터이다.이게 씁.... 오히려 데이터가 좀 적었으면 이번 도자기는 아니야!! 하고 깨부수고 다시 크롤링을 하던 전처리를 할텐데좀 커지다 보니 단순 정규.. 2025. 9. 11. 이전 1 2 3 4 ··· 17 다음
