숟가락 그만 얹어
TensorRT & Intel-MKL 본문
19년도에 진행했던 실험. TensorRT로 모델을 변환하면 CPU inference는 사용할 수 없으나 GPU inference 속도는 빨라짐. (TensorRT 변환 이후에는 get_weights가 불가하여 parameter size를 측정하지 못함)
Tensorflow를 hardware dependent하게 직접 compile하고 Intel-MKL library를 활성화시켰더니 CPU inference 속도가 매우 개선됨.
'Engineering > Developments' 카테고리의 다른 글
| 매일 쓰는 Tensorboard (0) | 2023.11.14 |
|---|---|
| Scikit-learn Doctype (0) | 2021.02.25 |
| Reading large datasets (0) | 2020.12.06 |
| FLOPs (0) | 2020.11.19 |