연습장

1. pandas 옵션 확인, 수정하기 2. Columns 리스트 전부 출력하기 3. DataFrame 생략 없이 출력하기 Jupyter Notebook을 사용하는 경우입니다. 데이터 양이 많거나 길이가 길면, "..." 으로 대부분 생략되어 출력됩니다. 길이가 긴 정보를 원하는 크기만큼 출력해보려면, pandas 설정을 수정해주면 됩니다. 1. pandas 옵션 확인, 수정하기 옵션 목록 확인하기 pd.describe_option() 을 실행하면 옵션 목록과 설명을 확인할 수 있습니다. 설명이 잘 나와있으니 원하는 옵션 이름만 찾으면 이후에는 쉽습니다. pd.describe_option() 옵션 목록은 공식 문서에서도 확인할 수 있습니다. (링크) Options and settings — pandas ..

csv 파일의 형식은 직관적이어서 알기 쉽습니다. 열(Column)으로 데이터의 속성을 정의하고, 그 하단에 행(Row)로써 해당하는 값을 채워넣습니다. 그에 비해 json 파일은 csv보다 처음 이해할 때 조금 난이도가 있는 편입니다. 하지만 대부분의 웹이나 Open API에서 데이터를 다룰 땐 여러모로 장점이 많아서 json을 쓰죠! 어쨌든 두 파일형식 모두 다 데이터 관리에 자주 쓰입니다. 그러다보니 종종 csv 파일을 받아보면 레코드가 json 형식으로 되어있는 경우가 있어요. 예전에 캐글에서 받아두었던 영화 관련 csv 파일을 엑셀로 열어봤습니다. 컬럼수가 적어서 얼핏 보면 단순해보이지만, cast와 crew를 보시면 많은 인원 정보를 json 형식으로 담고 있어요. 제일 중요한 정보가 저 두 ..

지난 글에 이어서 작성합니다. pycaret에서 제공하는 기본 시각화 기능을 살펴보고, 최종 예측을 해보겠습니다. 3. 시각화 3-1. ROC 곡선과 AUC #둘 다 같은 의미의 코드 plot_model(model_cat) #plot_model(estimator = model_cat, plot = 'auc') 3-2. 오차 행렬 plot_model(estimator = model_cat, plot = 'confusion_matrix') 3-3. Feature Importance plot_model(estimator = model_cat, plot = 'feature') 4. 최종 예측 4-1. 테스트 데이터셋 불러오기 캐글에서 제공하는 타이타닉 데이터는 train과 test 두개로 나뉘어져 있습니다. t..

종종 필요할 때가 있어서 데이터분석과 머신러닝을 공부했었는데, 예측모델을 만들 때 도대체 어떤 모델을 사용해야할지... 감이 안올 때가 많았습니다. 그러던 중에 pycaret이라는 매우 유용한 라이브러리 발견! 이 라이브러리는 코드 한줄만으로 여러 모델의 정확도를 한번에 알 수 있습니다. 튜닝, 시각화 등의 기능도 제공하기에 입문자가 여러가지 시도해보기 좋을 것 같습니다. 사용법도 익힐 겸, pycaret으로 간단히 타이타닉 생존자 예측 프로젝트를 진행해봤습니다. 1. 설치하기 pip install pycaret 가끔 설치 중에 멈출 때가 있었는데 그땐 엔터를 여러번 눌러보고, 에러가 뜨면 프롬프트창을 관리자 권한으로 실행하고 다시 받아보세요. 2. 데이터 전처리 타이타닉 데이터를 전처리 없이 그대로 입..