자신에게 친절할 것 :)
728x90
반응형

Data Science 37

[EDA] 가설 검정 전에 data set을 살피는 단계

# 코드잇 데이터 사이언스 강의 듣는 중  - data set을 탐색적으로 살펴보면서 일반적인 패턴을 확인하는 것으로, 데이터 분석의 첫 단계.- row, column의 의미나, 분포, 연관성 등을 다양한 각도에서 확인하는 것. - 공식이 따로 있는 것이 아니라 데이터를 살펴보는 모든 것을 의미함. - 대개 시각적 기법을 가장 많이 사용함.  ++ 즉, 데이터 분석의 초기 단계로,패턴, 이상치와 관례 등 기술적 통계부터 시각화를 사용해서 확인하는 것을 의미함. - 데이터의 특성과, 이후 분석과 가설 검정에 대한 정보를 제공함. - 그니깐 약간 말그대로 탐색적임. - 가설 검정 전 단계에 이걸로 뭘 할 수 있을 지 고민하는 단계임.  => 그러니깐 기본적으로 표본이 어떤 지.. 결측지는 어떤지, 어디로 치..

Data Science/Pandas 2024.06.03

[Seaborn] dist plot, violin plot, 등고선, lm plot, cat plot, strip plot

# 코드잇 데이터 사이언스 강의 듣는 중  - seaborn을 쓰면 matplotlib 보다 더 적은 코드로 근사한 그래프를 그릴 수 있음. - statisctical data visualizaton 통계 기반 데이터 시각화 툴임. - 간편하게 근사한 그래프를 원하면 seaborn을 쓰고 원하는대로 커스텀해서 그래프를 만들고 싶으면 matplotlib을 쓰면 됨.    - seaborn 라이브러리에서 KDE를 하여 그래프를 매끄럽게 조정할 수 있음.- 이게 뭐지 했었는데..?- 심리통계에서도 매일 쓰는 것이 확률밀도 함수였지만, 그 자체보다는 유의확률에 따라 기각 여부에만 집중했었기 때문에 그냥 조정된 KDE그래프만 봐서 모른 것이었음. 그것도 그냥 데이터가 무한대라고 가정하고 그래프를 추출하는 것이다라..

[Seaborn] Macbook Air의 jupyter notebook에서 seaborn import 에러

#코드잇 데이터 사이언스 강의 듣는 중  그 전에 다운도 안 하신 분들은 먼저 깔으시면 됨. #다운로드!conda install --yes seaborn#불러오기import seaborn as snsPandas와의 호환 문제 일 수도 있지만,우선 Macbook Air의 경우 1.16.0은 다운을 받을 수가 없었고, 오늘(24.06.01) 자로 업데이트가 가능한 최신 seaborn은 0.13.2라서 그걸로 다운 받았다.  코드잇 강의에는 0.9.0 버전을 받도록 시키시는데.. ㅎimport error가 계속 뜬다..ㅎ 1) 일단 Jupyter notebook을 끄고,2) terminal을 열고3) pip uninstall seaborn 으로 우선 삭제를 한 다음에pip uninstall seaborn4) ..

[Pandas] boolean indexing 불린 인덱싱, 다중 조건 인덱싱

#코드잇 데이터 사이언스 강의 듣는 중#데이터 사이언스 Toolkit  renewal 버전 다시 듣는 중 ...ㅎ 진작에 이걸 설명해 주시지..뭐.. 실습하면서 익히긴 했지만, 계속 헷갈렸던 내용이라서.. 정리한다..ㅎ++ 이전 강의보다 훨씬 순서도 깔끔하고 디테일하게 설명해주심. 근데 이전에 했던 내용을 안 다루는 메소드가 많아서 리뉴얼 전이랑 같이 보면 좋을 듯.  - .iloc, .loc 은 원래 포스팅에 설명을 추가했기에 제외하고 조건문 넣은 불린 인덱싱.. 이게 길어져서 그런 지 생각보다 헷갈린다. 1. 조건문만 쓰면 -->  불린 값을 시리즈로 출력import pandas as pdburger_df = pd.read_csv("data/burger.csv", index_col = "product..

Data Science/Pandas 2024.05.31

[matplotlib] graph 제목 붙이기, 사이즈 조절, 한글 제목 넣기

#코드잇 데이터 사이언스 강의 듣는 중#데이터 사이언스 Toolkit  renewal 버전 다시 듣는 중 - scatter plot 산포도 plt.scatter(x, y)- ... 산포도는 진짜..30개 랜덤이라서.. 걍 만들었는데, 그대로 하니깐 너무 상관이 안 뜨게 나타나서, 사실 몸무게와 키는 다소 비례하기 때문에 sorted를 해줬음. - 문제는 그래서 사실상의 linear가 나와버렸지만.. 실제로는 아님.  height_array = np.array([157, 175, 190, 162, 150, 164, 178, 188, 189, 161, 159, 186, 175, 163, 158, 165, 164, 176, 173, 160, 174, 184, 186, 152, 176, 158, 179, 160..

[matplotlib] linear graph, bar graph, scatter plot

#코드잇 데이터 사이언스 강의 듣는 중#데이터 사이언스 Toolkit  renewal 버전 다시 듣는 중 어제부턴가 리뉴얼 알림이 계속해서 떴던 것 같은 데 dataframe 리뉴얼 버전 들으려고 하니깐, 선수 학습 강의 중 하나라서 다시 듣고 있다. 이전에는 없었던 matplotlib도 생겨서 매우 좋달까.ㅎ오랜만에 통계하는 느낌도 들고 ㅎ 통계 강의도 생겼던데 빨리 듣고 싶기도 하고..  어쩌면 어제 다음달... 코드잇 요금이 결제되어서 오늘 더 불타오르는 것일지도 ㅎ하여튼 운이 좋은 듯 하다. 마침 리뉴얼이 된 시점에 비슷한 진도여서 좋다.  matplotlib.pyplot이게.. r에도 있던 것 같기도 하고 정확하진 않지만..? 근데 결국 논문에는 excell로 표 그렸었다. 마감이라고 해야하나...

[Pandas] DataFrame/Series 정보 확인, .describe(), .value_counts()

# 코드잇 데이터 사이언스 강의 듣는 중 - 대용량 데이터의 경우 불러와서 다 보기에는 값이 너무 많을 수도 있음. -  맨 윗 줄부터 선택한 갯수(n) 보기 --> .head(n)-  맨 아랫 줄부터 선택한 갯수(n) 보기 --> .tail(n)#위부터laptops_df.head(3)#아래부터laptops_df.tail(6) -  데이터 행 렬 크기 확인 --> .shape-  칼럼 종류 확인 --> .columns-  칼럼 정보 확인 --> .info()-  칼럼 간 기초통계 확인 --> .describe()#크기 확인laptops_df.shape#(167, 14)#(로우 개수, 칼럼 개수)#칼럼 종류 확인laptops_df.columns#데이터 타입 확인df.dtypes#칼럼 정보 확인laptops..

Data Science/Pandas 2024.05.30

[Pandas] DataFrame 값 수정/추가/삭제, header/index 명 지정하기

#코드잇 데이터 사이언스 강의 듣는 중 - 데이터를 바꾸려면 이름 지정하고 = 바꿀 값 넣어주면 됨. - [] 로 여러 값들 변경이 가능.- 한 값으로 여러 값들을 통일 할 경우 []에 갯수 맞춰서 하나씩 넣어도 되지만, 그보다는 리스트 밖으로 빼주면 더 간단함. iphone_df.loc['iPhone 8', '메모리'] = '2.5GB'#행 한 줄 전부 변경iphone_df.loc['iPhone 8'] = ['2016-06-31', '5.5', '4GB', 'iOS 11.0', 'No']# 같은 값으로 변경iphone_df['디스플레이'] = '5.2 in'#iphone_df['디스플레이'] = ['4.7 in', '4.7 in','4.7 in','4.7 in','4.7 in','4.7 in','4.7..

Data Science/Pandas 2024.05.28

[Pandas] DataFrame indexing 문법 정리 (이름, 위치)

#코드잇 데이터 사이언스 강의 듣는 중 - 헷갈리니깐 일단 숙지 하자..이름으로 인덱싱기본 형태 .loc단축 형태하나의 row 이름df.loc['row4'] row 이름 리스트df.loc[['row4', 'row5', 'row3']] row 이름의 리스트 슬라이싱df.loc['row2':'row6']df['row2':'row6']하나의 column 이름 df.loc[:, 'col1']df['col1']column 이름 리스트df.loc[:, ['col3', 'col4', 'col7']]df[['col3', 'col4', 'col7']]column 이름의 리스트 슬라이싱df.loc[:, 'col3':'col9']  --> 컬럼 이름이라 슬라이싱을 할 때 마지막 것까지 나옴.--> 컬럼은 .loc 빼고는 슬..

Data Science/Pandas 2024.05.27

[Pandas] 인덱싱 indexing, 슬라이싱 slicing, 필터링 filtering

#코드잇 데이터 사이언스 강의 듣는 중 이거 또 왜이러냐 ..하.. 갑자기 파일의 저장 경로를 못 찾겠다고 하면 그 위에 것까지 넣어보고, 그냥.. 상위 폴더를 의미하는 '../ '를 추가하면 됨..근데 이것도 될 때가 있고 안 될 때가 있는데 나도.. 모르겠음.. 🤷‍♀️🤦‍♀️컴퓨터는 왜 깔끔한 거 같으면서도 가끔 인간같이 지멋대로임...import pandas as pdiphone_df = pd.read_csv('../data/iphone.csv', index_col = 0)iphone_df  기본적으로 .loc['로', '벡터' ]를 지정하면 해당 값을 가져 올 수 있음. 로 전체를 가져오고 싶다면 벡터 위치에 : 를 넣으면 됨. 벡터도 마찬가지임.간략하게 쓰는 법은 로랑 벡터가 조금 다름. ..

Data Science/Pandas 2024.05.26
728x90
반응형