DS가 되기 위한 여정 👩‍💻
728x90
반응형

전체 글 273

[데이터 과학자와 데이터 엔지니어를 위한 인터뷰 문답집] chp 1. 피처 엔지니어링

#데이터 과학자와 데이터 엔지니어를 위한 인터뷰 문답집 #Hulu 데이터 과학팀오늘 TIL 3줄 요약피처 엔지니어링은 데이터의 노이즈를 제거하고, 결과를 적합하게 뽑아낼 수 있도록 피처를 가공하는 것정리가 잘 되어 있어서 공부하기 좋은 책. 근데 왜 CV 쪽은 설명이 별로 없냐고 TIL (Today I Learned) 날짜2025. 12. 27 오늘 읽은 범위chp 1. 피처 엔지니어링 책에서 기억하고 싶은 내용 1. 피처 정규화 feature normalization: 피처 사이의 차원 영향을 제거해 다른 지표들끼리 서로를 비교할 수 있게 함. 정형 데이터 수치형선형함수 정규화 min-max scaling: 결과 값이 0~1표준 정규화 z-score normalization: 평균 0, 표준편차 ..

book 2025.12.27

[랭체인 의존성] lanchain은 버전 반드시 맞춰서 사용할 것 +CromaDB

[문제] 1. 의존성 문제 대량 발생 구 버전 Langchain 으로 처음에 코드 구성from langchain import OpenAI 로 변경했으나 이것도 구버전으로 다시 최신 버전으로 변경 2. 챗봇의 답변이 지나치게 획일적이거나 단계별 혹은 상황별 응답을 못함 프롬프트를 반복적으로 수정했으나 랭체인이 참고할 corpus가 없음 3. 속도가 느림api를 끌어와도 예시가 없기 때문에 답변이 느려짐 [해결] 1. 의존성 전부 맞춤 # LangChain 핵심 패키지langchain==0.3.27langchain-core==0.3.76langchain-community==0.2.6# 외부 서비스 연동 (OpenAI, ChromaDB 등)langchain-openai==0.3.33langchain-c..

[TIL] 8/31 드디어 몽고 연동 해결 + M1 OpenCV 넘파이, 파이썬 충돌 해결

오늘 TIL 요약코드 복습: 주석 넣고, 정리하면서 다시 봄 보강:노션 정리: 밀린 것 하는 중.aws: 계속 밀리네..Deep Learning - Stanford CS231N [open source]: CV의 지식이 너무 없어서 강의 듣기 시작 사이드 프로젝트: 몽고 연동 문제 전부 해결.. 어휴.. 드디어 보고서: 금까지 제출 1건 TIL (Today I Learned) 날짜2025. 08. 31 배운 것 & 소감ViT비젼 트랜스포머로 계속 캠 사용해서 자르고, 배경 구분하고, 얼굴 검출하고 맞는 지 코드 확인했었는 데 몰랐다.복습으로 보면서 알았음.. ㅎ 그게 이거였군..그런데 금요일 시험부터 터진 opencv, 주피터 넘파이 버전 충돌 문제로.. 그거 해결하느라 시간 많이 소요Python 3..

TIL 2025.08.31

[TIL] 8/25 aimers 아쉽.. 보강은 매우 좋음.

오늘 TIL 요약특징점 검출 & 매칭: 설명과.. 코드 듣는 것 동시에 불가. 계속 코드 놓침.보강: 파이썬 기초인데, 객체지향 개념이나 변수나 연산자 우선 순위 등을 포괄적으로 짚어주셔서 매우 유용함. 노션 정리: 밀린 것 하는 중.. aws: .. 이따 봐야지LG Aimers: 오늘 x. 마지막 날인데 결국.. 강화랑 시계열 강의는 다 못 들음. 그래도 추가 오픈 소스들 링크는 정리해둠 사이드 프로젝트: ...ㅎ 수요일 회의야.. 해야 해 보고서: 3개 1차 제출 TIL (Today I Learned) 날짜2025. 08. 25 배운 것 & 소감특징점 검출 & 매칭아직 복습을 못 했다.. 코드를 너무 빨리 치셔.. 근데 설명이 동시라.....도저히 안 됨.. 한 번 오타나면, 쭉 밀려서... 내일..

TIL 2025.08.25

[TIL] 8/20 vscode 오랜만에 정신 없었음. m1 ^^ 진짜..

오늘 TIL 요약데이터 증강 & 캠영상: CV반인 것이 드디어 실감남 노션 정리: 밀린 것 하는 중.. aws: .. 이따 봐야지LG Aimers: 오늘 x.사이드 프로젝트: 드디어 디비 연동 에러 수정, 위치 위경도도 잘 들어감 포폴:.....노션 제약이 너무 많고, 양이 많아지면 보기 안 좋음보고서:제출TIL (Today I Learned) 날짜2025. 08. 20 배운 것 & 소감데이터 증강 & 캠영상과제를.. 끝도 없이 내시는데.. 딥러닝이라.. gpu 너무 느리다..돌리고 다른 일 하는 게 일상이 되었다..오랜만에 vscode로 하는데 인터프리터 안 잡히고 난리였고, 또, 케라스, 맷플롯립, 넘파이 버전이 부딪쳐서 가상환경 그냥 만들었다. m1 진짜.. 미친 맥 강사님이 만드실 줄 알았는데..

TIL 2025.08.20

[TIL] 8/19 cnn 진짜 오래 걸림

오늘 TIL 요약CNN: 이미지 형상에 대한 것.. 잘 모르겠음, acc 올리는 과제 중 노션 정리: 오늘 x.aws: .. 이따 봐야지LG Aimers: 오늘 x.사이드 프로젝트: 오늘 x.보고서: 수정 끝TIL (Today I Learned) 날짜2025. 08. 19 배운 것 & 소감CNNgpu 문제가 나만의 것은 아닌듯 하다. 다들 느리다고 하니..이전 가상환경들을 지워야 하나.. 아직 정리를 못했는데 조금 고민중이다. 이미지 필터에 대한 설명이....가자기 array가 되고.. 거기서 특징을 추출하는데 솔직히 뭔소린지 모르겠다. 필터가 많아지고, 깊이도 깊어지고, 복잡해지고 머리 아프다 그나마, mac이라서 리눅스 기반 강의를 할 때 조금 더 익숙하다. 유일한 장점. CNN 과제 중지난 달..

TIL 2025.08.19

[TIL] 8/18 쿠버네티스?, gpu가 성능은 좋은데 손이 많이감

오늘 TIL 요약쿠버네티스: .. 온라인 보기만 하라니 환경설정 꼬이면 진짜 몇날 며칠인데.. 우리한테 배포부터 해야 하는 거 아닌가. 노션 정리: 조금씩 하는 중 aws: 모듈 3 리전 드디어 왜 있는지 알게 됨 LG Aimers: 오늘 x.사이드 프로젝트: 계속 연동 안 되던 이유 확인, 예상했던 대로 변수명 변경과, 컬렌션마다 다른 변수명으로 꼬였음. 보고서: 모레 제출 TIL (Today I Learned) 날짜2025. 08. 18 배운 것 & 소감 쿠버네티스 잘 모르겠으나, gpu 환경에서 딥러닝 돌릴 수 있게 도커에 주피터 연동되는 환경설정을 시도 ? 온라인은 계정을 아직 못 준다고.. 그럴 거면 이거 왜 함. 오전 내내 그냥 보기만 했음. 다행히? 오프라인에서 안 되는 아이디들이 있어서..

TIL 2025.08.18

[TIL] 8/13 기차 연착으로 정신 없었음. 모델링 + 보고서 괴이함

오늘 TIL 요약fashoin_mnist 실습: 콜백함수, 드롭아웃, 학습률, 은닉층 다 때려넣고.. acc 높이려고 했으나 과적합으로 실패. 낮은 acc에 만족. 포기 ^^노션 정리: 어휴.. 21일 쪽지 시험이래서.. 진짜 해야해.. aws: 오늘 xLG Aimers: 오늘 x.보고서 밀림TIL (Today I Learned) 날짜2025. 08. 13 배운 것 & 소감 다중 클래스 분류 실습(fashoin_mnist) 일 때문에 cnn은 못 들음. 목표 acc 주고, cnn 안 된다는 제약 거셔서, 이리저리 해보니깐 acc, val_acc 변동폭도 알겠고, bn가 작은 데이터에서는 크게 도움이 안되는 것도 알겠고, 드롭아웃의 비율도 낮아야 하고, 배치사이즈 키우는 게 의미가 없는 것도 알겠음..

TIL 2025.08.13

[몽고 연동 에러] 챗봇 연동.. 일주일 째임, 로직 재점검

?? 왜 연동이 끊길까 ?? 디버깅 찍어보면,몽고 컴파스 - 몽고 쉘 데이터 삽입 ok파이참 - 몽고 연동 ok- 뷰 ok- .......... chabot_core.py=> 얘가 save가 안되는 것 같은데 에러가 안 찍히니깐 원인을 못 찾겠음. ......코드가 어쩔 수 없이 컬렉션 3개 동시 연동에 [chat_history, chat_files, complaints]+ 카카오 위치 정보 넣고 => 무조건 받게 되어 있고+ 쓰레기통 위치 => 이거 그냥 연동 해야 할 듯 복잡해서 그런 거 같은데코드 수정이 너무 많았고 .. 하계속 수정을 미루고 있어서 이거 빨리 해야 해 얼른 끝내고 대시보드도 해야함. ==> 일단 추정상 위치를 못 받을 때 fe에서 끊어 버려서 그런 가 싶기도 하고지금 서울이 아니..

[TIL] 8/12 복습 정리, aimers, aws

오늘 TIL 3줄 요약전이학습, 트랜스포머, 다중 클래스 분류 실습: 어제 거 복습 정리 잘해주셔서 좋았음. dl 전체 구조를 더 잘 이해. llm 해봤어서 트랜스포머 강의 좋았음. 단순히 코드 찍어내는 게 아니라 과정을 스스로 짤 수있게 생각하게 만들어줘 정말로 좋으심. 노션 정리: gpt-5 나오고 더 자주 멈추는 느낌.. 리소스 안 쓸게.. 걍 이전 버전 주면 안 되겠니?aws: 모듈 2 듣는 중.. aws.....파는 거 너무 많아.. LG Aimers: 강사님 강의듣고 복습 느낌이라서 좋음. 설명 내용이 살짝 달라서 확실히 이해도가 올라감. TIL (Today I Learned) 날짜2025. 08. 12 배운 것 & 소감전이학습, 트랜스포머, 다중 클래스 분류 실습 전이학습: 부분 배우면서..

TIL 2025.08.12
728x90
반응형