Programming Blog

포스팅 개요 pandas에서 4GB csv 파일을 읽었을 때 노트북이 다운되거나 메모리가 부족하다는 에러 메세지가 나왔다. 검색해 본 결과, Apache의 Pyarrow, Dask, pandas의 chunksize를 이용하는 방법이 나와있었다. 1GB csv파일을 test파일로 사용하여 경과 시간을 파악했다. - pandas의 read_csv 사용했을 때 걸린 시간 import pandas as pd import time file_path = '파일위치.csv' start_time = time.time() # 시작시간 pd_df = pd.read_csv(file_path, encoding='utf8') print("time :", time.time() - start_time) # 현재시간 - 시작시간 -..