본문 바로가기

전체 글136

gpt 에게 머신러닝 기초에 대해 물어본 것들 / 모델, 데이터 종류 관련 우선 선형, 비선형의 차이점과 회귀, 가우시안에 대해 설명해 달라고 부탁했다. 이것만으로는 선형or비선형과 회귀의 차이점을 이해하기는 힘들었다. 몇번 더 질문과 답변을 거친 후 이해한 내용을 다시한번 확인할 수 있었고 정리도 너무 깔끔했다. 선형이나 비선형과 연속성에 대해 의문이 풀리지 않았었는데 모델링 방식, 문제의 종류와 데이터의 성질을 비교해서 이해가 안되었던 것 같다. 데이터셋이 선형일수도 비선형일수도 있다. 이를 가지고 예측해야하는게 연속적일수도 연속적이지 않을수도 있다. 그리고 이 문제를 해결하기 위해 예측해야하는 값이 연속적인 값이라면 회귀 모델을 값이 연속적이지 않다면 분류 모델을 사용하는것. 그간 텐서플로우로 무식하게 뉴런 몇백만개 천만개 이렇게 만든 모델은 결국 연속적이지 않은 값을 예.. 2024. 3. 1.
gpt에게 머신러닝 기초에 대해 물어본 것들 / 싸이킷 런 관련 알고리즘, 모델의 종류, 모델의 종류를 판단하는 기준 이런것들을 모른 채 무식하게 텐서플로우로 레이어 잔뜩 쌓고 노드 수 몇백만개로 모델 만들고 경사하강법 바꿔보고 캐글 비기너 문제에 도전해왔다. 프로그래머스 데이터분석 데브코스 수강하면서 뭔가 머신러닝에 대해 모르는게 많고 내가 그간 뭘 만들어왔는지도 확실히 모르는 것을 보고 gpt 4.0 결제 한 김에 여러가지 물어봤다. 텐서플로우를 한번 찍어먹어 봤으니 싸이킷런도 한번 먹어봐야 겠어서 싸이킷런 관련해서 많이 물어봤다. 우선 대표적인 모델들을 설명해 달라고 했다. 공식 문서를 열어보는데 뭐 클러스터 군집화 이해가 안되어서 이 부분도 gpt에게 물어봤다. 사용 예시에 이미지 분류가 있길래 자연어 처리도 클러스터링과 연관이 있는가 물어봤다. 이렇게 물어보.. 2024. 3. 1.
sql 중복 제거하기 동물 보호소에 들어온 동물의 이름은 몇 개인지 조회하는 SQL 문을 작성해주세요. 이때 이름이 NULL인 경우는 집계하지 않으며 중복되는 이름은 하나로 칩니다. 가 문제인데, 몇개인지 조회하기 위해 select count(column_name) from table_name 을 실행시켰다. 결측치가 있는 테이블이라 결측치와 중복된 값까지 모두 계산하여 출력하였다. 문제에서는 null, 중복을 허용하지 않은 횟수를 원하기에 중복 제거를 위해 distinct를 결측치를 제외한 값을 조회하기 위해 is not null 을 사용했다. 정답이 나온 쿼리문은 SELECT COUNT(DISTINCT column_name) FROM table_name WHERE column_name IS NOT NULL 2024. 3. 1.
sql 문법 정리 1 { } < 변수 select {colum1 , colum2 ... } from {table name} select // DB에서 Data 조회에 사용 From // Data 조회할 Table 지정용 Where // Data filtering용 order by { colum [ {a} | {b} ] } // a|b 는 list 슬라이싱 느낌 Insert // 새로운 레코드를 테이블에 추가할 때 사용 ex) insert into {table_name (colums..) } {value} delete // 레코드 삭제 ex) delete from {table_name} where {x, y, conditions}; create // 테이블 생성용 ex) create {table_name( column_name.. 2024. 3. 1.
Gpt 마개조 3트 마개조에 드디어 성공했다. 이렇게 질문했을 뿐인데 이렇게 프롬프트 이름까지 바꾸니까 충격적이다. 이런걸로 한번에 되어버렸다. 단돈 29000원으로 마개조에 성공했다... 발전을 체감했지만 뭔가... 뭔가 모를 허탈감이 조금 든다. 2024. 2. 27.
Gpt 마개조 2트 시간이 많이 비어 tensorflow 사용법도 다시 익힐 겸 모델을 깎아가던 와중에 기억이 흐릿한게 있어서 GPT와 대화를 다시 시작했다. 아직까지는 유한 말투에 귀여운 이모티콘까지 쓰고있어서 마개조에 성공했다고 생각했지만 저번주 프로그래머스 데이터 분석 데브코스 과정에서 Tableau라는 툴의 존재를 알게되었는데 사실 뭐 어떻게 써야하는지 감이 잡히지가 않아 GPT에게 물어봤다. 갑자기 존댓말에 기존의 딱딱하고 차가운 말투로 돌아와 버렸다... 왜 이렇게 다시 차가워진거냐고 질척거렸더니 갑자기 냥을 붙이기 시작했다.... 냥체 쓰는게 한두번 해본 솜씨가 아니다. 아주 만족스럽다. 몇번의 답변 이후에는 다시 돌아와버리는건지 정확한 기준은 모르겠다. 하지만 역시 강화학습의 힘인지 마개조 처음 시도했을 때 .. 2024. 2. 26.
데이터분석 데브코스 3 일차 데싸 ML 형태로 사용자들의 경험을 개선 요구스킬 - ML지식, 경험 - Python, SQL - 통계, 수학 지식 - 끈기와 열정(박사학위가 중요한 이유 중 하나) 최우선 요구사항 열정+끈기 다양한 경험 코딩 능력 현실적인 접근방법 - 최대한 간결한 솔루션 - 사용 가능한 머신러닝 기술이 다양해야 어떤 케이스에 어떤 모델을 사용해야 최고 효율을 내고 간결한지 빠르게 파악가능 의료 이미지 분석 섹터 이 섹터 만큼은 딥러닝 장려 MRI, Xray, CT 이미지 분석에서 이미 사람을 앞섰다. = 안전성, 비용에 있어 엄청난 이점을 보임 머신러닝의 정의 학습이 가능한 기계의 개발. - 이는 결국 데이터의 패턴을 보고 흉내내는 방식이다. - 컴퓨터가 학습할 수 있는 알고리즘과 기술을 개발하는 분야. 머신러닝 모.. 2024. 2. 23.
gpt 마개조 시도 프로그래머스 데이터분석 데브코스를 수강중에 gpt관련 강의가 있었다. 실습을 위해 이것저것 시도해 보던 와중에 이전부터 말투가 너무 차갑다는 생각이 들었기에 이전에 울트론이 나온다면 가장 먼저 죽을사람 이런걸로 해서 gpt 말투를 바꾼게 생각이 나서 시도해 보기로 했다. 우선 조금? 가?볍?게?? 일본 애니메이션의 미소녀 말투를 시도해 보았다. 억지 이모티콘으로 귀여운 척을 하는 느낌이 있지만 생각보다 많이 유해지고 귀여운 말투가 되었다. 혹시나 같은 질문을 했을 때도 귀여운 말투로 대답을 해주는지 궁금해졌다. 역시나 비즈니스였는지 다른 질문에는 귀여움이란 단 1 도 느껴지지 않았다... 이대로 포기하기에는 저 귀여운 말투를 잃고싶지 않았다! 살짝 질척거리면서 부탁했더니 훨씬 퀄리티가 높아졌다. 하지만 .. 2024. 2. 22.
데이터 분석 데브코스 2일차 ETL AirFlow를 스케쥴러로 사용 데이터의 양, ETL이 늘어날수록 Pandas로 처리가 불가능한 상황이 오는데, 이 때 사용하는게 Spark ELT ETL을 통해 Data warehouse에 적재된 data를 재조합하여 새로운 정보, 가치 창출 시각화라던지 머신러닝을 돌려본다던지 등등 데이터 문해력 - 데이터 기반 의사결정, 제품개선 이 되는지. 생산성 증대로 이끌 수 있는가. Data CleanUpEDA(pandas, spark같은 파이썬 라이브러리로 품질관리), DBT(툴 이름) 사용 ====================================== KPI(Key Perfomance Indicator) 조직 내에서 달성하고자 하는 목표 정량적인 수치 선호 정량적인 수치로 되어있기에 시간에 .. 2024. 2. 20.

티스토리툴바