Reading large datasets

와... Kaggle에서 너무 좋은 posting 발견! 고수는 장비를 탓하지 않는다...

 

무난한 방법

데이터가 csv 형태로 주어졌을 때 datatable로 read하고 pandas로 바꾼 다음, column 별로 적절한 datatype으로 변환.

 

실험이 필요한 방법

csv를 pickle이나 jay로 다시 저장하고 불러오는 방법. (jay to pandas 가능?)

 

References

[1] www.kaggle.com/rohanrao/tutorial-on-reading-large-datasets