목록Engineering (12)
숟가락 그만 얹어
하루 동안의 삽질 끝에 겨우 성공. 1. MCP Inspector 실행을 위해서는 nodejs와 nodejs 패키지 실행 도구 npx가 필요한데, 단순히 apt get install nodejs를 하면 구버전이 설치되어 Inspector 실행에서 오류가 난다 (Unmatched Token). 링크에 따라 apt 패키지에 최신 nodejs를 업데이트하고 nodejs를 설치해주자. 2. nodejs를 잘 모르는 사람 입장에서는 npx @modelcontextprotocol/inspector이 낯설다. 나의 경우에는 command 앞쪽에다가 환경 변수를 넣어 HOST=0.0.0.0과 ALLOWED_ORIGINS=http://10.1.210.69:6274를 추가해주었는데, 그래야만 Docker container..
# Tensorboard 실행 tensorboard --logdir=./lightining_logs/ --port=7001 --host=0.0.0.0
# run container docker run --gpus '"device=0,1,2,3,4,5,6,7"' --shm-size=10g --privileged -it -d -p 7000:7000 -p 7001:7001 -p 7002:7002 -p 7003:7003 -p 7004:7004 --name sjhan -v /data/sjhan:/workspace cd98ddcb3f53 /bin/bash # execute container docker exec -it sjhan /bin/bash # save crazy_sjhan container to docker image repository docker commit sjhan hjun1008/music-torch:v0.2 # push docker image t..
1. Jupyter Lab - 데이터 EDA, visualization, prototyping, documentation 및 코드 공유는 Jupyter - main은 .ipynb, module은 .py로 작성했을 때 가장 깔끔하다고 생각함 - 분산 처리가 필요한 경우에는 Jupyter를 사용할 수 없는 경우가 있음 - 요새 많은 extension을 지원하고는 있지만 web browser라 그런지 버벅거리는 경우가 있음 - VSCode에서 Jupyter를 사용하면 위 현상이 없을 수도? 2. VSCode - 내 local PC에서 remote server의 Docker container로 연결함 - PEP8 coding convention을 위해 autoformatter로 Black 사용 중 (line_l..
# s3fs install apt install s3fs # key registration echo acess_key_id:secret access key > server_configure/.passwd-s3fs chmod 600 ./server_configure/.passwd-s3fs # mount to sjhan folder s3fs sjhan ./aws_s3 -o passwd_file=./server_configure/.passwd-s3fs
gist.github.com/jakevdp/3808292
TensorRT & Intel-MKL
19년도에 진행했던 실험. TensorRT로 모델을 변환하면 CPU inference는 사용할 수 없으나 GPU inference 속도는 빨라짐. (TensorRT 변환 이후에는 get_weights가 불가하여 parameter size를 측정하지 못함) Tensorflow를 hardware dependent하게 직접 compile하고 Intel-MKL library를 활성화시켰더니 CPU inference 속도가 매우 개선됨.
jupyter lab --generate-config python # SHA 기반 password 생성 from notebook.auth import passwd passwd() # 'sha1:...' 복사 vi /root/.jupyter/jupyter_notebook_config.py c.NotebookApp.allow_root = True c.NotebookApp.ip = '0.0.0.0' # if localhost c.NotebookApp.notebook_dir = '/shared/workspace/sjhan/' # root directory c.NotebookApp.open_browser = False c.NotebookApp.password = 'sha1:...' c.NotebookApp.por..
{ "name": "10.229.58.80", "host": "10.229.58.80", "protocol": "sftp", "port": 22, "username": "user1", "privateKeyPath": "D:\\LG AI Research\\개발환경\\10.229.58.80", "remotePath": "/shared/workspace/sjhan", "uploadOnSave": false, "downloadOnOpen": true, "ignore": [".vscode", ".git", ".DS_Store" ] }