티스토리

숟가락 그만 얹어

검색하기

블로그 홈

숟가락 그만 얹어

stopspoon.tistory.com/m

LG AI Research 한상준

구독자: 4

방명록 방문하기

주요 글 목록

매일 쓰는 Tensorboard # Tensorboard 실행 tensorboard --logdir=./lightining_logs/ --port=7001 --host=0.0.0.0 공감수 0 댓글수 0 2023. 11. 14.
Symbolic Music Motif Generation 신입 사원일 때부터 늘 논문을 쓰고 싶었는데 과제 하느라 바쁘기도 했고 막상 시간이 주어졌을 때는 한 주제에 깊이 몰입하지 못했던 것 같다. 논문이라는 것이 회사 입장에서 어떤 큰 impact가 있겠냐마는 엔지니어에게는 내가 노력한 것을 확실한 형태로 증명하는 수단이고, 내 이야기의 소재가 된다 (가수에게 자작곡이 이런 느낌일까). ISMIR 논문은 곡을 단순히 길게 생성하는 것보다는 의미 있는 단위로 생성하여 quality를 향상시키겠다는 동기에서 시작하였다. 두 번의 reject을 먹고 (처음에는 novelty 부족, 두 번째는 poor writing), 회사에 있는 박사님의 도움을 받고서야 accept 되었다. 생각보다 많은 Music AI 연구자들이 내 연구를 알고 관심을 가져주는 것을 보면 신기.. 공감수 1 댓글수 0 2023. 2. 10.
좋은 선생님들께 배운 것 (2) 우연치 않게 대학 강단에서 강의를 몇 번 하다보니 이런 생각이 들었다. 강의를 듣는 학생들이 나의 제자라면 나를 가르쳤던 선생님들처럼 그들을 아끼는 마음이 들까? 그들에게 불순물을 제거하고 정제된, 최고의 지식을 전해주고 있는 것일까? 학교에 좀 무서운 교수님이 계셨는데 누굴 혼내는 것도 애정이 없으면 못할 짓인 것 같다. 더 어려운 일은 선생이 학생들에게 사과하는 것... 공감수 1 댓글수 0 2023. 1. 27.
좋은 선생님들께 배운 것 (1) 설을 맞아 본가에 내려가 빈둥거리던 중에 대학 때 쓰던 노트를 펄쳐보았다. 거의 10년이 다되가니 수업 내용의 대부분은 기억나지 않았고 내 글씨도 알아볼 수가 없었다. 그런데 교수님들께서 툭툭 해주셨던 말씀들은 아직까지도 내 머리 속에 남아있다. 우리 학교의 좋은 점을 꼽으라면 선생님들께서 학생들을 믿어주신다는 것이다. - 한계를 뛰어넘어 문명 차원의 근본적 변화를 시도하는 사람이 되라 - 세상에는 뉴턴 같은 giants -> 이를 전달하는 teacher -> 이를 이용하는 applier -> 그리고 나머지 평범한 사람이 있다. 너네는 어떤 사람이 될 것인가? Why not change the world?에 대한 대답을 교수님께서는 본인의 업인 학문에서는 찾지 못하셨던 것 같지만, 학생들의 잠재력을 믿고.. 공감수 0 댓글수 0 2023. 1. 27.
CV 영어: https://sites.google.com/view/sjhan91 한국어: https://sites.google.com/view/sjhan91-kor 공감수 0 댓글수 0 2022. 12. 22.
Docker Commands # run container docker run --gpus '"device=0,1,2,3,4,5,6,7"' --shm-size=10g --privileged -it -d -p 7000:7000 -p 7001:7001 -p 7002:7002 -p 7003:7003 -p 7004:7004 --name sjhan -v /data/sjhan:/workspace cd98ddcb3f53 /bin/bash # execute container docker exec -it sjhan /bin/bash # save crazy_sjhan container to docker image repository docker commit sjhan hjun1008/music-torch:v0.2 # push docker image t.. 공감수 0 댓글수 0 2022. 9. 23.
Classifier-free Diffusion Guidance 기존의 classifier-based guidance는 noise level에 따른 classifier를 따로 학습시켜야 할 뿐만 아니라 classifier based metric인 IS와 FID를 의도적으로 향상하기 위한 adversarial attack일 수 있다고 저자는 주장한다. 본 논문에서 제안하는 guidance 방식은 conditional diffusion model의 output과 unconditional model의 output의 차이의 방향으로 sample을 생성하도록 유도한다. 이때 unconditional model은 conditional model의 condition을 0 또는 null을 나타내는 방식으로 만든다 이는 여러 가지로 해석이 가능한데, 1) implicit classi.. 공감수 1 댓글수 0 2022. 8. 18.
Denoising Diffusion Implicit Models (DDIM) Diffusion model의 sampling step을 줄이기 위해 제안된 연구. DDPM의 generalized version이라고 볼 수 있겠다. 논문이 어렵게 쓰여있지만 key idea는 sigma라는 stochastic parameter를 두어 q(x(t-1)|x(t), x(0))에 대해 새로운 form을 제안한 것이다. 이 form은 여전히 nice property를 만족한다. (즉, nice property를 만족하면서 x(t)와 x(0)를 condition으로 사용하는 form을 제안) [2]에서는 위 form을 forward/reverse process의 mu function을 x(t)와 noise의 linear combination으로 가정한 것이라고 해석한다. (즉, 각 process.. 공감수 2 댓글수 0 2022. 7. 17.
Denoising Diffusion Probabilistic Models (DDPM) Diffusion model의 아이디어는 잉크가 물속에서 퍼져나가는 과정 (forward process)과 이를 역으로 되돌리는 과정 (reverse process)으로 이루어져 있다. 이미 퍼져나간 잉크를 다시 한데 모으는 것은 매우 어려울 것이다. 그러나 시간을 잘게 쪼개면 순간의 입자 운동은 예측 가능할 것이고, 거꾸로 모으는 것도 가능할 수 있다. Objective 여러 likelihood-based generative model이 그렇듯이 p(x)를 잘 모델링하여 high-quality fake sample을 생성하는 것이 diffusion model의 objective이다. VAE와 유사하게 latent model이지만, 시간에 따른 여러 trajectory path가 있고 latent spa.. 공감수 1 댓글수 1 2022. 7. 14.
우리 동네 부동산 데이터 분석 (1) (작성 중) 주말에 부동산 관련 책을 보니 내가 하고 있는 일처리와 부동산 전문가들의 의사결정 방식이 거의 흡사해 보였다. 부린이인 나는 먼저 호갱노노를 참고로 가격에 영향을 미치는 요인들을 내 나름 정리해보려고 했다. 부동산 가격을 결정하는 요인 세대수, 건축년도, 면적, 지역 평균, 대중교통 도보, 용적률, 건폐율, 전세가율, 회사, 학군, 편의시설 이외에도 나에게만 해당되는 요소 (LG사이언스파크와 가까우면 좋다, 제한된 예산 내, 결혼을 한다면?, 느낌적인 느낌)가 있을 것이다. 사람에 따라 시장 상황에 따라 변수 간의 중요도는 유동적으로 변하거나 한 요소가 다른 요소를 압도해버릴 수도 있을 것 같다. 지금 나에게 필요한 정보는 무엇일까? 미래는 개인이나 집단의 의지로 데이터는 과거 경험의 축적이므로 분석을 .. 공감수 0 댓글수 0 2022. 3. 14.
내 개발 환경 세팅 1. Jupyter Lab - 데이터 EDA, visualization, prototyping, documentation 및 코드 공유는 Jupyter - main은 .ipynb, module은 .py로 작성했을 때 가장 깔끔하다고 생각함 - 분산 처리가 필요한 경우에는 Jupyter를 사용할 수 없는 경우가 있음 - 요새 많은 extension을 지원하고는 있지만 web browser라 그런지 버벅거리는 경우가 있음 - VSCode에서 Jupyter를 사용하면 위 현상이 없을 수도? 2. VSCode - 내 local PC에서 remote server의 Docker container로 연결함 - PEP8 coding convention을 위해 autoformatter로 Black 사용 중 (line_l.. 공감수 0 댓글수 0 2022. 3. 12.
설명 가능한 AI는 설명 가능한가? 설명 가능한 AI는 설명 가능한가? 기술 철학을 연구하시는 한동대 손화철 교수님께서 던지신 질문이다. 먼저 교수님과의 최초의 만남을 떠올려보자면 11년도 신입생 OT 중 학관 1층 어떤 강의실이었을 것이다. 교수님께서는 2학년 선배들의 말을 믿지 말라, 3학년 선배들의 말을 믿지 말라, 4학년 선배들의 말을 믿지 말라고 하셨고 나는 6년 동안 정말 하고 싶은 대로 했다. 그리고 학점은 엉망이 되었다. 물론 내 인생에서 가장 즐거운 시절이었을 것이다. 두 번째 만남은 16년도 고전강독이라는 강의에서 플라톤의 국가를 함께 읽었었다. 매주 수업 전날에 힘들게 읽어갔던 기억만 남아있고 무슨 내용이었는지는 잘 모르겠다. 나도 내가 공부한 분야에 한해서는 어느 정도 전문가라는 자부심이 있었는데, 위 질문에서 내가 .. 공감수 1 댓글수 0 2022. 3. 6.
PCA (Principal Component Analysis) PCA를 제대로 알고 쓰는 사람이 몇 명이나 될까? (반성합니다ㅜ) PCA는 데이터를 차원이 축소된 공간으로 투영하되 이때 투영된 데이터의 variance가 maximize되도록 하는 projection unit vector u를 찾는 과정이다. 중요한 포인트는 not 데이터의 variance, but 투영된 데이터의 variance이다. 왼쪽 그림은 좋은 unit vector에 투영된 경우인데, 1차원 공간에서도 데이터 간의 distance 또는 variance가 원래 2차원 공간에서와 비슷하게 유지되는 것을 확인할 수 있다. 오른쪽 그림은 차원 축소로 인해 데이터의 표현력이 떨어져 차이가 잘 보이지 않는다. 투영된 데이터의 variance를 maximize하는 식은 다음과 같다. x(i)는 (1 x .. 공감수 0 댓글수 0 2022. 2. 28.
XAI for VAE Generative model인 VAE에 GradCAM을 적용한 논문이다. dy/dx를 계산하는 것이 아니라 dz/dx를 계산하고 이를 feature activation map과 곱해준다. 재미있는 점은 모든 z(i)에 대해서 dz(i)/dx를 계산해주기 때문에 disentangle이 잘 되어있으면 각 latent의 semantic에 해당하는 attention map을 얻을 수도 있을 것 같다. 논문에서는 주로 anomaly detection으로 문제를 설정해놓고 anomaly localization 성능을 비교하였는데, 논문의 주장과는 달리 [2]에 따르면 SOTA 성능 reproduce가 안되었다고 한다. References [1] W. Liu et al., Towards Visually Explai.. 공감수 0 댓글수 0 2021. 11. 5.
Battery Input Features 크게 time-based representation과 voltage-based representation으로 나눌 수 있겠다. Time-based Representation 시간에 따른 전압, 전류, 온도, 용량의 특성을 이용하여 task를 수행한다. 충방전 raw data를 그대로 활용하기가 쉽지 않은 게 배터리마다 완전 충전 혹은 방전되는 시점이 다르다. 데이터의 length를 맞추기 위해 padding을 고려해볼 수 있겠지만 적절한 padding을 선택하기 어렵고 불필요한 연산만 증가시킨다. [1] 논문에서는 충전에서 CC duration, CV duration, slope을 feature로 활용하여 SOH를 추정하였다. 수명이 오래된 배터리일수록 내부 저항 등으로 인한 over-potential이.. 공감수 0 댓글수 0 2021. 10. 26.
Sober Look at Disentanglement Disentanglement는 해결 가능한 문제인가? [1] 논문에서는 이론적인 증명 (inductive bias 없이는 어렵다...)과 여러 모델이 진정한 의미에서의 disentangled representation을 생성하는지 실험적으로 관찰하였다. 1. 실제로 모델이 uncorrelated posterior를 생성하는가? Sampled representation (z ~ N(mu, sigma))이라면 regularizer strength에 따라 correlation이 조절된다. 그러나 mean representation (mu)은 오히려 strength가 커질수록 correlated 되는 경향을 보인다. 2. 여러 disentanglement metric 간에 연관성이 있는가? 대체로 그렇다. 3... 공감수 0 댓글수 0 2021. 10. 25.
DIP-VAE VAE loss에 aggregated posterior를 prior에 가깝게 하는 loss를 추가한다. 새로운 loss를 추가하는 건 그럴 수도 있다고 생각하는데 이게 왜 좋은지에 대한 설명이 잘 이해가 안 간다. (ELBO의 non-convexity가 variational inference의 global minimum을 달성하기 어렵게 한다고 한다.) 여러모로 a given sample q(z|x)에 대해 prior에 맞추는 것보단 aggregated latents q(z) 덩어리를 prior에 맞추는 것이 batch_dim으로도 indepenence를 enforce하여 얻는 이득이 많은 것 같다. 논문에서 마지막 loss term을 계산하기 위해 q(z)의 covariance를 p(z)의 covari.. 공감수 0 댓글수 0 2021. 10. 25.
VAE 볼 때마다 새로운 VAE... 내 언어로 제대로 정리해보자. VAE의 목적은 데이터 분포 p(x)를 만드는 것이고 x는 latent z의 조합으로 생성할 수 있다는 가정이 있다. x를 생성하는 순서는 먼저 1) p(z)에서 z를 sampling하고 2) z를 p(x|z)로 decoding한다. 문제는 p(z)를 Gaussian이라 가정한다 하더라도 모든 경우에 대해서 위 적분을 계산할 수 없다. Bayes rule를 이용해 p(z|x)를 계산해볼 수도 있겠지만 이 역시 intractable하다. VAE에서 사용한 방법은 true posterior p(z|x)를 구할 수 없기 때문에 이를 approximation하는 q(z|x)를 (이는 encoder가 된다) 학습하는 것이다. 그러나 여전히 true po.. 공감수 0 댓글수 0 2021. 10. 20.
Beta-TCVAE FactorVAE와 유사하게 total correlation (TC) term을 이용하여 feature 간의 independence를 유도한다. 다른 점은 FactorVAE는 TC를 VAE loss에 추가하였기 때문에 lower bound를 loosely 정하는 반면, Beta-TCVAE는 KL term을 decompose하여 TC term을 계산한다. 즉, lower bound가 바뀌지 않는다. 구현한 코드를 보니 위 loss 식을 그대로 구현해놓았다. 예를 들어, - KL term (KL(P||Q))들은 모두 E[log(P) - log(Q)]의 꼴로 바꾸어서 계산한다. - q(z|n)은 n에 대한 Gaussian parameters가 주어졌을 때 z의 likelihood를 구한다. 이때 추정하기 어려.. 공감수 0 댓글수 0 2021. 10. 20.
FactorVAE [1] 논문에서는 reconstruction과 disentanglement 사이의 tradeoff 관계를 개선시킬 수 있는 방법을 제안하고 있다. 문제는 VAE loss에서 KL term을 minimize하면 x와 z 간의 mutual information이 줄어들어 reconstruction이 어렵게 된다. 게다가 beta 값을 크게 하면 할수록 이 현상이 심해진다. FactorVAE는 beta 값을 조절하지 않고 새롭게 total correlation term을 추가하는 것을 제안한다. 여기서 q(z)는 encoder를 통과한 batch 단위의 latent feature로 볼 수 있고, tilda q(z)는 batch dim과 feature dim으로 permutation한 분포라고 할 수 있다. 즉.. 공감수 0 댓글수 0 2021. 10. 16.
Beta-VAE KL term에 beta를 두어 diagonol covariance를 가진 Gaussian prior에 posterior를 더 잘 맞추도록 한다. Information bottleneck 관점에서 beta는 channel capacity를 조절하는 coefficient인데, beta 값을 크게 하면 데이터 사이의 information이 중첩되어 decoding이 어려워진다. 예를 들어 위 그림에서는 tilda x가 실제로는 q(z2|x2)에서 sampling 되었음에도 q(z1|x1)에서 likelihood가 더 크게 계산된다. 그렇다고 이 상황이 최악인 것은 아니다. 데이터의 information 중첩될 것이라 가정하고 최대한 reconstruction error을 줄이려면 서로 비슷한 데이터끼리 모이.. 공감수 0 댓글수 0 2021. 10. 15.
AWS S3 Ubuntu에 mount # s3fs install apt install s3fs # key registration echo acess_key_id:secret access key > server_configure/.passwd-s3fs chmod 600 ./server_configure/.passwd-s3fs # mount to sjhan folder s3fs sjhan ./aws_s3 -o passwd_file=./server_configure/.passwd-s3fs 공감수 0 댓글수 0 2021. 7. 12.
내 SoundCloud 관리 https://soundcloud.com/sangjun-han-778114796 공감수 0 댓글수 0 2021. 6. 22.
Virtual Adversarial Training Virtual Adversarial Training (VAT) 논문의 Section 3.3만 간단하게 정리. Second derivative term만을 이용한 noise 생성이라 dramatic한 augmentation은 아닐 것으로 판단된다. References [1] T. Miyato et al., Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning, PAMI 2017 공감수 0 댓글수 0 2021. 6. 12.
Noisy Student 특이하게 ImageNet을 labeled set, JFT를 unlabeled set으로 하여 서로 다른 category set임에도 semi-supervised learning을 수행하였다. 아래 그림이 사실 학습 과정의 전부다. 먼저 labeled set으로 teacher model을 학습하고 unlabeled set에 대해 pseudo label (soft label)을 생성한다. Labeled set과 pseudo labeled set을 모아 student model을 새로 학습시키는데 이때 여러 noise injection 방법을 사용한다. 학습한 student model은 다시 teacher model이 되어 새로운 student 모델을 학습하여 생성한다. Implementation detail.. 공감수 0 댓글수 0 2021. 6. 7.
Deep Deterministic Uncertainty Contribution - Single forward pass로 training procedure를 유지한채로 uncertainty를 계산할 수 있다. - OOD detection 성능이 Deep Ensembles과 맞먹거나 더 좋다. Aleatoric uncertainty Softmax의 entropy를 사용하였다. Epistemic uncertainty p(y|x)인 모델을 학습시킨 후에 latent z를 활용하여 Gaussian discriminant analysis (GDA)를 따로 학습시켜 z에 대한 feature density (q(z))를 구성하였다. q(z)에 대한 marginal likelihood로 epistemic uncertainty를 계산한다. - p(y|x)와 q(z)를 동시에 .. 공감수 1 댓글수 0 2021. 5. 31.
Gaussian Discriminant Analysis Generative learning algorithm 중 하나인 GDA는 p(y|x)를 구하는 Bayes rule (p(y|x) = p(x|y)p(y), classification 문제라면 분모 term p(x)은 필요 없다)에서 p(x|y)를 Gaussian으로 모델링하는 것이다. 2 class classification 문제라면 아래와 같이 모델링이 가능하다. 이때 학습이 필요한 parameter는 Bernoulli의 phi, Gaussian의 u0, u1, cov (모든 class가 cov를 공유한다)이다. 각 parameter는 empirically 계산하면 된다. References [1] http://cs229.stanford.edu/notes/cs229-notes2.pdf 공감수 0 댓글수 0 2021. 5. 31.
Epistemic vs. Aleatoric Uncertainty 관련 논문들에서 언급되는 epstemic과 aleatoric uncertainty를 다시 정리해보고자 한다. 첫 번째로 uncertainty에 대한 모델링은 아래 predictive distributuon에 대한 entropy로 정의 가능하다. 위 식에서 randomness는 p(z)로부터 발생하는 noise와 W ~ q(W)에 기인한다. p(z)는 observation에 내재된 noise로 irreducible하며 (aleatoric), q(W)는 더 많은 데이터의 수집으로 approximation을 잘하면 randomness를 줄일 수 있다. 두 번째로 epistemic과 aleatoric은 mutual information 식으로도 표현이 가능한데, 좌변의 첫 번째 term은 .. 공감수 0 댓글수 0 2021. 5. 27.
Spectral Normalization 후아, 다른 분들이 정리해둔 포스팅을 읽고 겨우겨우 따라갈 수 있었다... GAN의 training stability를 향상하기 위해 dicriminator의 각 layer weight를 largest singular value로 나누어준다. 왜??? - 각 layer weight의 largest singular value는 Lipschitz norm의 역할을 한다. - Lipschitz norm은 함수의 기울기를 일정 미만 (gradient의 principle direction scale)으로 제한시키는 역할을 한다. - 이를 spectral_norm(gradient(g(h)))로 구할 수 있는데 g(h) = Wh라면 이는 spectral_norm(W)과 같고, spectral norm은 largest.. 공감수 2 댓글수 0 2021. 5. 22.
Spectral Norm Vector norm의 정의 Vector의 길이 ||v||를 표현하는 수단. 자주 접하게 되는 l1-norm, l2-norm 등이 이에 해당한다. Positivity, homogeneity, triangle inequality를 만족해야 한다. Matrix norm의 정의 Linear operator의 크기 ||A||를 표현하는 수단. ||Ax|| 공감수 1 댓글수 0 2021. 5. 22.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.