숟가락 그만 얹어

# Tensorboard 실행 tensorboard --logdir=./lightining_logs/ --port=7001 --host=0.0.0.0

gist.github.com/jakevdp/3808292

19년도에 진행했던 실험. TensorRT로 모델을 변환하면 CPU inference는 사용할 수 없으나 GPU inference 속도는 빨라짐. (TensorRT 변환 이후에는 get_weights가 불가하여 parameter size를 측정하지 못함) Tensorflow를 hardware dependent하게 직접 compile하고 Intel-MKL library를 활성화시켰더니 CPU inference 속도가 매우 개선됨.

와... Kaggle에서 너무 좋은 posting 발견! 고수는 장비를 탓하지 않는다... 무난한 방법 데이터가 csv 형태로 주어졌을 때 datatable로 read하고 pandas로 바꾼 다음, column 별로 적절한 datatype으로 변환. 실험이 필요한 방법 csv를 pickle이나 jay로 다시 저장하고 불러오는 방법. (jay to pandas 가능?) References [1] www.kaggle.com/rohanrao/tutorial-on-reading-large-datasets

모델의 efficiency를 설명할 때 주로 사용되는 metric인 FLOPs (floating point operations)는 다음과 같이 계산될 수 있다. matrix A의 shape이 (m, p)이고 matrix B의 shape이 (p, q) 일 때 dot(A, B)의 FLOPs는 mq(2p-1)이다. dot operation이 row vector와 column vector사이의 곱하기와 더하기 연산으로 수행되는 것을 생각해보면 곱하기에 대해서는 mqp번, 더하기 연산은 mq(p-1)번 수행된다. (n개 elements를 더하려면 n-1번을 수행) 그러므로 총 FLOPs는 mqp + mq(p-1) = mq(2p-1)이 된다. Tensorflow에서 제공하는 profiler는 2mqp로 계산되는데 ..