숟가락 그만 얹어

한상준 - LG AI연구원hjun1008@gmail.com 다양한 도메인의 시계열 데이터를 처리하고 분석하는 문제를 주로 다루고 (이상 감지, 예측, 음악 생성, 생체 신호 처리), 최근에는 음악 생성 연구 및 시스템 구축을 수행하였습니다. 저는 현재 Data Intelligence Lab의 Futurecast Squad에서 time-series forecasting을 위한 symbolic regression을 연구하고 있습니다. 인공지능과 관련된 강연, 튜토리얼, 전문가 자문 요청은 언제나 환영합니다. 개발자/연구자로서의 자세한 경력은 여기에서 확인하실 수 있습니다. 인공지능을 청중에 맞게 교양 또는 전공의 수준으로 설명할 수 있습니다.인공지능과 관련된 배경 지식 (코딩, 수학, 확률/통계) 및 통찰을..

# Tensorboard 실행 tensorboard --logdir=./lightining_logs/ --port=7001 --host=0.0.0.0

신입 사원일 때부터 늘 논문을 쓰고 싶었는데 과제 하느라 바쁘기도 했고 막상 시간이 주어졌을 때는 한 주제에 깊이 몰입하지 못했던 것 같다. 논문이라는 것이 회사 입장에서 어떤 큰 impact가 있겠냐마는 엔지니어에게는 내가 노력한 것을 확실한 형태로 증명하는 수단이고, 내 이야기의 소재가 된다 (가수에게 자작곡이 이런 느낌일까). ISMIR 논문은 곡을 단순히 길게 생성하는 것보다는 의미 있는 단위로 생성하여 quality를 향상시키겠다는 동기에서 시작하였다. 두 번의 reject을 먹고 (처음에는 novelty 부족, 두 번째는 poor writing), 회사에 있는 박사님의 도움을 받고서야 accept 되었다. 생각보다 많은 Music AI 연구자들이 내 연구를 알고 관심을 가져주는 것을 보면 신기..

우연치 않게 대학 강단에서 강의를 몇 번 하다보니 이런 생각이 들었다. 강의를 듣는 학생들이 나의 제자라면 나를 가르쳤던 선생님들처럼 그들을 아끼는 마음이 들까? 그들에게 불순물을 제거하고 정제된, 최고의 지식을 전해주고 있는 것일까? 학교에 좀 무서운 교수님이 계셨는데 누굴 혼내는 것도 애정이 없으면 못할 짓인 것 같다. 더 어려운 일은 선생이 학생들에게 사과하는 것...

설을 맞아 본가에 내려가 빈둥거리던 중에 대학 때 쓰던 노트를 펄쳐보았다. 거의 10년이 다되가니 수업 내용의 대부분은 기억나지 않았고 내 글씨도 알아볼 수가 없었다. 그런데 교수님들께서 툭툭 해주셨던 말씀들은 아직까지도 내 머리 속에 남아있다. 우리 학교의 좋은 점을 꼽으라면 선생님들께서 학생들을 믿어주신다는 것이다. - 한계를 뛰어넘어 문명 차원의 근본적 변화를 시도하는 사람이 되라 - 세상에는 뉴턴 같은 giants -> 이를 전달하는 teacher -> 이를 이용하는 applier -> 그리고 나머지 평범한 사람이 있다. 너네는 어떤 사람이 될 것인가? Why not change the world?에 대한 대답을 교수님께서는 본인의 업인 학문에서는 찾지 못하셨던 것 같지만, 학생들의 잠재력을 믿고..

영어: https://sites.google.com/view/sjhan91한국어: https://sites.google.com/view/sjhan91-kor 구글 크롤링 활성화

# run container docker run --gpus '"device=0,1,2,3,4,5,6,7"' --shm-size=10g --privileged -it -d -p 7000:7000 -p 7001:7001 -p 7002:7002 -p 7003:7003 -p 7004:7004 --name sjhan -v /data/sjhan:/workspace cd98ddcb3f53 /bin/bash # execute container docker exec -it sjhan /bin/bash # save crazy_sjhan container to docker image repository docker commit sjhan hjun1008/music-torch:v0.2 # push docker image t..

기존의 classifier-based guidance는 noise level에 따른 classifier를 따로 학습시켜야 할 뿐만 아니라 classifier based metric인 IS와 FID를 의도적으로 향상하기 위한 adversarial attack일 수 있다고 저자는 주장한다. 본 논문에서 제안하는 guidance 방식은 conditional diffusion model의 output과 unconditional model의 output의 차이의 방향으로 sample을 생성하도록 유도한다. 이때 unconditional model은 conditional model의 condition을 0 또는 null을 나타내는 방식으로 만든다 이는 여러 가지로 해석이 가능한데, 1) implicit classi..

Diffusion model의 sampling step을 줄이기 위해 제안된 연구. DDPM의 generalized version이라고 볼 수 있겠다. 논문이 어렵게 쓰여있지만 key idea는 sigma라는 stochastic parameter를 두어 q(x(t-1)|x(t), x(0))에 대해 새로운 form을 제안한 것이다. 이 form은 여전히 nice property를 만족한다. (즉, nice property를 만족하면서 x(t)와 x(0)를 condition으로 사용하는 form을 제안) [2]에서는 위 form을 forward/reverse process의 mu function을 x(t)와 noise의 linear combination으로 가정한 것이라고 해석한다. (즉, 각 process..

Diffusion model의 아이디어는 잉크가 물속에서 퍼져나가는 과정 (forward process)과 이를 역으로 되돌리는 과정 (reverse process)으로 이루어져 있다. 이미 퍼져나간 잉크를 다시 한데 모으는 것은 매우 어려울 것이다. 그러나 시간을 잘게 쪼개면 순간의 입자 운동은 예측 가능할 것이고, 거꾸로 모으는 것도 가능할 수 있다. Objective 여러 likelihood-based generative model이 그렇듯이 p(x)를 잘 모델링하여 high-quality fake sample을 생성하는 것이 diffusion model의 objective이다. VAE와 유사하게 latent model이지만, 시간에 따른 여러 trajectory path가 있고 latent spa..