숟가락 그만 얹어

하루 동안의 삽질 끝에 겨우 성공. 1. MCP Inspector 실행을 위해서는 nodejs와 nodejs 패키지 실행 도구 npx가 필요한데, 단순히 apt get install nodejs를 하면 구버전이 설치되어 Inspector 실행에서 오류가 난다 (Unmatched Token). 링크에 따라 apt 패키지에 최신 nodejs를 업데이트하고 nodejs를 설치해주자. 2. nodejs를 잘 모르는 사람 입장에서는 npx @modelcontextprotocol/inspector이 낯설다. 나의 경우에는 command 앞쪽에다가 환경 변수를 넣어 HOST=0.0.0.0과 ALLOWED_ORIGINS=http://10.1.210.69:6274를 추가해주었는데, 그래야만 Docker container..

# Tensorboard 실행 tensorboard --logdir=./lightining_logs/ --port=7001 --host=0.0.0.0

gist.github.com/jakevdp/3808292

19년도에 진행했던 실험. TensorRT로 모델을 변환하면 CPU inference는 사용할 수 없으나 GPU inference 속도는 빨라짐. (TensorRT 변환 이후에는 get_weights가 불가하여 parameter size를 측정하지 못함) Tensorflow를 hardware dependent하게 직접 compile하고 Intel-MKL library를 활성화시켰더니 CPU inference 속도가 매우 개선됨.

와... Kaggle에서 너무 좋은 posting 발견! 고수는 장비를 탓하지 않는다... 무난한 방법 데이터가 csv 형태로 주어졌을 때 datatable로 read하고 pandas로 바꾼 다음, column 별로 적절한 datatype으로 변환. 실험이 필요한 방법 csv를 pickle이나 jay로 다시 저장하고 불러오는 방법. (jay to pandas 가능?) References [1] www.kaggle.com/rohanrao/tutorial-on-reading-large-datasets

모델의 efficiency를 설명할 때 주로 사용되는 metric인 FLOPs (floating point operations)는 다음과 같이 계산될 수 있다. matrix A의 shape이 (m, p)이고 matrix B의 shape이 (p, q) 일 때 dot(A, B)의 FLOPs는 mq(2p-1)이다. dot operation이 row vector와 column vector사이의 곱하기와 더하기 연산으로 수행되는 것을 생각해보면 곱하기에 대해서는 mqp번, 더하기 연산은 mq(p-1)번 수행된다. (n개 elements를 더하려면 n-1번을 수행) 그러므로 총 FLOPs는 mqp + mq(p-1) = mq(2p-1)이 된다. Tensorflow에서 제공하는 profiler는 2mqp로 계산되는데 ..