SMALL pandas3 [Pandas/skiprows] 데이터 중간부터 읽어오기 chunksize 로 나눠서 데이터를 읽어오다가 중간에 data truncated 오류가 났습니다. MySQL에 오류 수정을 하고 다시 데이터를 읽어들이려니, 중간부터 시작해야 했습니다. 데이터 중간부터 읽어오는 법 포스트입니다. 방법 판다스에서 pandas.read_csv() 함수의 옵션을 활용하면 됩니다. pandas.read_csv — pandas 1.3.0 documentation Delimiter to use. If sep is None, the C engine cannot automatically detect the separator, but the Python parsing engine can, meaning the latter will be used and automatically dete.. 2021. 7. 4. [Pandas/Chunksize] 큰 용량 데이터 읽어오기 2021년 문화관광 빅데이터 분석대회에 도전하게 되었습니다. 분석용 데이터를 열어보려는데, 용량이 무려 4GB가 넘었습니다. 컬럼이 12개인데 용량이 4GB면 row 수가 어마어마할 거라는 생각이 들었어요. pd.read_csv() 로 읽어들이려 하니 메모리 부족 에러가 나더군요ㅠ_ㅠ datatable.fread() 로 읽으려 해도 메모리 부족 때문에 에러가 났습니다. 이럴 땐 파일을 쪼개서 읽어오면 됩니다. 아래 블로그에서 유용한 정보를 얻어 파일을 쪼개서 읽어오는 법을 배웠습니다~! 파이썬 대용량 csv 파일 읽는 방법 정리 - Python read large size csv file 포스팅 개요 이번 포스팅은 파이썬(Python)에서 용량이 큰 csv 파일을 읽고 처리할 수 있는 방법을 정리합니다... 2021. 7. 4. [Python/datatable] 용량 큰 csv파일 빠르게 읽기 용량이 큰 csv 파일을 판다스로 읽어오다가 파일 하나 읽어오는데 너무 오래 걸리다보니ㅠㅠㅠ 좀더 빠른 방법이 없나 하다가 datatable 을 알게되었습니다 datatable 설명 원문 An Overview of Python’s Datatable package Python library for efficient multi-threaded data processing, with the support for out-of-memory datasets. towardsdatascience.com 1. 설치 pip install datatable 2. 파이썬에서 실행하기 import datatable as dt import pandas as pd 3. csv 파일 불러오기 datatable_df = dt.frea.. 2021. 5. 20. 이전 1 다음 LIST
