본문 바로가기
SMALL

Python37

[Pandas/skiprows] 데이터 중간부터 읽어오기 chunksize 로 나눠서 데이터를 읽어오다가 중간에 data truncated 오류가 났습니다. MySQL에 오류 수정을 하고 다시 데이터를 읽어들이려니, 중간부터 시작해야 했습니다. 데이터 중간부터 읽어오는 법 포스트입니다. 방법 판다스에서 pandas.read_csv() 함수의 옵션을 활용하면 됩니다. pandas.read_csv — pandas 1.3.0 documentation Delimiter to use. If sep is None, the C engine cannot automatically detect the separator, but the Python parsing engine can, meaning the latter will be used and automatically dete.. 2021. 7. 4.
[Pandas/Chunksize] 큰 용량 데이터 읽어오기 2021년 문화관광 빅데이터 분석대회에 도전하게 되었습니다. 분석용 데이터를 열어보려는데, 용량이 무려 4GB가 넘었습니다. 컬럼이 12개인데 용량이 4GB면 row 수가 어마어마할 거라는 생각이 들었어요. pd.read_csv() 로 읽어들이려 하니 메모리 부족 에러가 나더군요ㅠ_ㅠ datatable.fread() 로 읽으려 해도 메모리 부족 때문에 에러가 났습니다. 이럴 땐 파일을 쪼개서 읽어오면 됩니다. 아래 블로그에서 유용한 정보를 얻어 파일을 쪼개서 읽어오는 법을 배웠습니다~! 파이썬 대용량 csv 파일 읽는 방법 정리 - Python read large size csv file 포스팅 개요 이번 포스팅은 파이썬(Python)에서 용량이 큰 csv 파일을 읽고 처리할 수 있는 방법을 정리합니다... 2021. 7. 4.
[백준/1157/파이썬(Python3)] 단어 공부 문제 출처 1157번: 단어 공부 알파벳 대소문자로 된 단어가 주어지면, 이 단어에서 가장 많이 사용된 알파벳이 무엇인지 알아내는 프로그램을 작성하시오. 단, 대문자와 소문자를 구분하지 않는다. www.acmicpc.net 풀이 코드 temp=input().strip() temp=temp.lower() dic={} for ch in temp: if ch in dic.keys(): dic[ch]+=1 else: dic[ch]=1 m = max(dic.values()) answer = [] for key, value in dic.items(): if value==m: answer.append(key.upper()) if len(answer)==1: print(answer[0]) else: print('?').. 2021. 6. 30.
[프로그래머스/2단계/파이썬(Python3)] 짝지어 제거하기 문제 출처 코딩테스트 연습 - 짝지어 제거하기 짝지어 제거하기는, 알파벳 소문자로 이루어진 문자열을 가지고 시작합니다. 먼저 문자열에서 같은 알파벳이 2개 붙어 있는 짝을 찾습니다. 그다음, 그 둘을 제거한 뒤, 앞뒤로 문자열을 이어 붙 programmers.co.kr 풀이 코드 (시간초과가 나고 효율성에서 통과 못함) def solution(s): words=['qq','ww','ee','rr','tt','yy','uu','ii','oo','pp','aa','ss','dd','ff','gg','hh','jj','kk','ll', 'zz','xx','cc','vv','bb','nn','mm'] while True: for word in words: s=s.replace(word,'') if len(s)=.. 2021. 6. 27.
LIST

티스토리툴바