python19 open llm vtuber github repo 후기 결과물 캡쳐이다.생각보다 매우 만족스럽다.데스크톱에 오버랩해서 띄울수 있는 기능이 가장 마음에 든다.현재 상황에서 조금 아쉬운건지금 사용하는 모델이 Hugging Face에서 받은 Gemma2-9b-it-Q4-fp16 모델이라 mcp, Stream 지원이 안된다.OpenAI, Gemini API를 사용하면 조금 더 빠르고 퀄 좋게 사용 가능할 것 같다.뭔가 이렇게 띄워놓고 보니 파인튜닝에 대한 욕구가 샘솟는다. https://github.com/Open-LLM-VTuber/Open-LLM-VTuber GitHub - Open-LLM-VTuber/Open-LLM-VTuber: Talk to any LLM with hands-free voice interaction, voice interruption, an.. 2025. 11. 12. Open-LLM-VTuber 라는 흥미로운 git repo 발견 https://github.com/Open-LLM-VTuber/Open-LLM-VTuber GitHub - Open-LLM-VTuber/Open-LLM-VTuber: Talk to any LLM with hands-free voice interaction, voice interruption, and Live2D takiTalk to any LLM with hands-free voice interaction, voice interruption, and Live2D taking face running locally across platforms - Open-LLM-VTuber/Open-LLM-VTubergithub.com 로컬 PC에 nero sama 처럼 llm이 내장된 live 2D를 띄울 수 있는 gi.. 2025. 11. 12. Agent 기본 로직 정리 잊어버리기 전에 초패스트 초간략 정리를 하려고 한다.플로우 순서대로 우선 정리한다. 1. 사용자 질의2. LLM 혹은 휴리스틱으로 사용자 쿼리에서 Tool 선정을 위한 planner 작동으로 어떤 툴 쓸지 추출3. 실제 툴 짬통 모듈에 2번의 리턴값을 파라미터로 받아서 해당 툴들이 존재하는지 여부 체크 3-1. 존재할 경우 : 사용자 질의도 영향을 주는 툴이라면 그것까지 활용해서 해당하는 툴 모듈을 호출해서 결과 도출3-2. 존재하지 않을경우 : ㅈㅅ 없어요 를 리턴하고 UI 에서 UX좋게 예쁘게 포장해서 뱉음4. 3번의 툴 만으로 안될 경우 다시 3번 반복. ( 이 과정에서 무한루프 못돌게 최대 횟수를 정하거나 임계치를 정하거나 해야함)5. 결과를 뽑아서 LLM에 집어넣어 다시 잘 생성해서 답변 or .. 2025. 10. 10. RAG Retriver 설계 이론 Retirever 설계 이론과 그에 대한 평가 지표는 RAG의 성능을 좌우하는 핵심 요소이다.임베딩, 유사도 계산, 후처리 방법 등등에 다라 RAG 전체 품질이 완전히 달라진다. 임베딩 모델 선택RAG의 Retriever는 텍스트를 벡터로 변환해서 유사도를 기준으로 검색한다. 이때 어떤 임베딩 모델을 쓰느냐가 가장 중요하다.임베딩 모델특징BM25 (Sparse)단어 기반 희소 벡터, 빠르지만 의미 기반 매칭은 약하다.DPR (Dense Passage Retriever)BERT 기반 쌍둥이 네트워크, 의미 기반 매칭 가능bge-m3 / e5 / InstructorSOTA급 dense 모델, prompt tuning으로 검색 품질 향상Multilingual / Kor-specific한국어 도메인에는 KorE.. 2025. 10. 7. 미니콘다 가상환경 관리를 잘하자(개인 리마인드용) 미니콘다 가상환경 관리를 잘하자 pytorch를 base python에 깔아놓으면 어떤 가상환경에서도 써먹을수 있겠지라는 안일한 생각을 버리자 무조건 최신버전을 사용하려는 생각을 그만두자... vscode에는 런타임 python을 가상환경의 python으로 쓸수있는 아주 좋은 기능이 존재하는걸 기억하자... 로컬 cuda가 상위버전이어도 하위버전의 torch는 돌아는 간다. 텐서플로우는 안됐어서 몇번을 지우고깔고를 했었던것같은데 세상이 좋아진건지 알잘딱 되는 기능들만 사용해준다. 가상환경이 제대로 안먹힐때는conda run -n {env name} 명령어를 반드시 애용하고 기억하자... chroma에 임베딩 해서 집어넣으면 당연하게도 용량이 줄어든다. 괜히 놀래서 삽질하지 말자.물론 청크 갯수, 크기.. 2025. 8. 26. kaggle Spooky Author Identification 상위99% 보통 log손실함수 값이 0.0n이 나오는 도전과제에서 자랑스럽게 1점대를 기록했다.거의 꼴찌에 가까운 점수인것같다. 처음 피드포워드 모델을 구현해서 도전과제에 도전하고 다른 선발대 분들의 노트북을 봤을 때 성능 좋은 모델들을 사용하여 고득점을 받아내는 경우가 많았다.이 과정에서 XGBoost, Randomforest 의 존재를 알았기에 nlp 문제도 요즘 기가막힌다는 transfomers bert 모델을 파인튜닝 해서 접근했다. 문자열 데이터 전처리, 모델의 구현방법은 알았지만 문제가 있었다.처음에 그냥 파인튜닝해서 예측한걸 출력했을때 logloss값이 0.2, accuracy는 82%가 나왔는데 제출이 되지 않아 살펴보니 원시점수로 출력되었다. 원시점수가 뭔가 하고 봤더니 확률로 변환하기 전에 모델이.. 2024. 6. 7. Cross Entropy, Categorical Cross Entropy, Sparse Categorical Cross Entropy 캐글 spooky 문제에 도전하다가 레이블을 원 핫 인코딩 하지 않고 진행했을 때 CategoricalCrossEntropy를 사용했더니 오류가 발생해서 GPT에게 물어보았다.계산 방법...수식...은 잘 모르겠지만 언제 어디에 사용해야 하는지는 확실히 알았다.Cross Entropy 개요크로스 엔트로피(Cross Entropy)는 분류 문제에서 예측값과 실제값의 차이를 측정하는 손실 함수예요. 이진 분류와 다중 클래스 분류 문제에서 사용돼요. 크로스 엔트로피의 주요 종류는 다음과 같아요:Binary Cross Entropy (이진 크로스 엔트로피)이진 분류 문제에 사용돼요.예를 들어, 고양이인지 아닌지를 예측하는 문제에서 사용해요.tf.keras.losses.BinaryCrossentropy를 사용해요.. 2024. 6. 5. Spooky Author Identification (클러스터링, PCA) 타겟변수의 훈련데이터셋의 고유한 속성이 3개임을 파악했다. model_name = 'huawei-noah/TinyBERT_General_4L_312D'tokenizer = BertTokenizer.from_pretrained(model_name)model = TFBertModel.from_pretrained(model_name, from_pt=True)def get_embeddings(texts, tokenizer, model, batch_size=32, max_length=512): embeddings = [] for i in tqdm(range(0, len(texts), batch_size), desc="Generating Embeddings"): batch_texts = te.. 2024. 6. 4. GPT에게 배우는 클러스터링의 종류, 장단점과 사용처 1. K-means 클러스터링개요K-means 클러스터링은 주어진 데이터를 k개의 클러스터로 나누는 알고리즘입니다. 각 클러스터는 중심점을 가지며, 데이터 포인트는 가장 가까운 중심점에 할당됩니다.장점단순성: 구현이 쉽고 이해하기 쉽습니다.효율성: 대규모 데이터셋에도 적용할 수 있으며, 계산 속도가 빠릅니다.단점클러스터의 수를 사전에 지정해야 함: 클러스터의 수를 미리 알아야 합니다.구형 클러스터에 적합: 클러스터가 구형인 경우에 잘 작동합니다.잡음과 이상치에 민감: 이상치(outliers)에 민감하게 반응합니다.사용처고객 세분화이미지 분할문서 분류2. DBSCAN (Density-Based Spatial Clustering of Applications with Noise)개요DBSCAN은 밀도 기반 클.. 2024. 5. 27. 이전 1 2 3 다음
