숟가락 그만 얹어

# Tensorboard 실행 tensorboard --logdir=./lightining_logs/ --port=7001 --host=0.0.0.0

# run container docker run --gpus '"device=0,1,2,3,4,5,6,7"' --shm-size=10g --privileged -it -d -p 7000:7000 -p 7001:7001 -p 7002:7002 -p 7003:7003 -p 7004:7004 --name sjhan -v /data/sjhan:/workspace cd98ddcb3f53 /bin/bash # execute container docker exec -it sjhan /bin/bash # save crazy_sjhan container to docker image repository docker commit sjhan hjun1008/music-torch:v0.2 # push docker image t..

1. Jupyter Lab - 데이터 EDA, visualization, prototyping, documentation 및 코드 공유는 Jupyter - main은 .ipynb, module은 .py로 작성했을 때 가장 깔끔하다고 생각함 - 분산 처리가 필요한 경우에는 Jupyter를 사용할 수 없는 경우가 있음 - 요새 많은 extension을 지원하고는 있지만 web browser라 그런지 버벅거리는 경우가 있음 - VSCode에서 Jupyter를 사용하면 위 현상이 없을 수도? 2. VSCode - 내 local PC에서 remote server의 Docker container로 연결함 - PEP8 coding convention을 위해 autoformatter로 Black 사용 중 (line_l..

# s3fs install apt install s3fs # key registration echo acess_key_id:secret access key > server_configure/.passwd-s3fs chmod 600 ./server_configure/.passwd-s3fs # mount to sjhan folder s3fs sjhan ./aws_s3 -o passwd_file=./server_configure/.passwd-s3fs

gist.github.com/jakevdp/3808292

19년도에 진행했던 실험. TensorRT로 모델을 변환하면 CPU inference는 사용할 수 없으나 GPU inference 속도는 빨라짐. (TensorRT 변환 이후에는 get_weights가 불가하여 parameter size를 측정하지 못함) Tensorflow를 hardware dependent하게 직접 compile하고 Intel-MKL library를 활성화시켰더니 CPU inference 속도가 매우 개선됨.

jupyter lab --generate-config python # SHA 기반 password 생성 from notebook.auth import passwd passwd() # 'sha1:...' 복사 vi /root/.jupyter/jupyter_notebook_config.py c.NotebookApp.allow_root = True c.NotebookApp.ip = '0.0.0.0' # if localhost c.NotebookApp.notebook_dir = '/shared/workspace/sjhan/' # root directory c.NotebookApp.open_browser = False c.NotebookApp.password = 'sha1:...' c.NotebookApp.por..

{ "name": "10.229.58.80", "host": "10.229.58.80", "protocol": "sftp", "port": 22, "username": "user1", "privateKeyPath": "D:\\LG AI Research\\개발환경\\10.229.58.80", "remotePath": "/shared/workspace/sjhan", "uploadOnSave": false, "downloadOnOpen": true, "ignore": [".vscode", ".git", ".DS_Store" ] }

chmod 777 -R sjhan 할 경우 folder의 background color가 극혐인 문제 vi ~/.bashrc # 아래 command 추가 LS_COLORS="$LS_COLORS:ow=1;34:tw=1;34:" source ~/.bashrc

와... Kaggle에서 너무 좋은 posting 발견! 고수는 장비를 탓하지 않는다... 무난한 방법 데이터가 csv 형태로 주어졌을 때 datatable로 read하고 pandas로 바꾼 다음, column 별로 적절한 datatype으로 변환. 실험이 필요한 방법 csv를 pickle이나 jay로 다시 저장하고 불러오는 방법. (jay to pandas 가능?) References [1] www.kaggle.com/rohanrao/tutorial-on-reading-large-datasets