숟가락 그만 얹어

모델의 efficiency를 설명할 때 주로 사용되는 metric인 FLOPs (floating point operations)는 다음과 같이 계산될 수 있다. matrix A의 shape이 (m, p)이고 matrix B의 shape이 (p, q) 일 때 dot(A, B)의 FLOPs는 mq(2p-1)이다. dot operation이 row vector와 column vector사이의 곱하기와 더하기 연산으로 수행되는 것을 생각해보면 곱하기에 대해서는 mqp번, 더하기 연산은 mq(p-1)번 수행된다. (n개 elements를 더하려면 n-1번을 수행) 그러므로 총 FLOPs는 mqp + mq(p-1) = mq(2p-1)이 된다. Tensorflow에서 제공하는 profiler는 2mqp로 계산되는데 ..