SMALL chunksize1 [Pandas/Chunksize] 큰 용량 데이터 읽어오기 2021년 문화관광 빅데이터 분석대회에 도전하게 되었습니다. 분석용 데이터를 열어보려는데, 용량이 무려 4GB가 넘었습니다. 컬럼이 12개인데 용량이 4GB면 row 수가 어마어마할 거라는 생각이 들었어요. pd.read_csv() 로 읽어들이려 하니 메모리 부족 에러가 나더군요ㅠ_ㅠ datatable.fread() 로 읽으려 해도 메모리 부족 때문에 에러가 났습니다. 이럴 땐 파일을 쪼개서 읽어오면 됩니다. 아래 블로그에서 유용한 정보를 얻어 파일을 쪼개서 읽어오는 법을 배웠습니다~! 파이썬 대용량 csv 파일 읽는 방법 정리 - Python read large size csv file 포스팅 개요 이번 포스팅은 파이썬(Python)에서 용량이 큰 csv 파일을 읽고 처리할 수 있는 방법을 정리합니다... 2021. 7. 4. 이전 1 다음 LIST
