Symbolic Music Motif Generation

신입 사원일 때부터 늘 논문을 쓰고 싶었는데 과제 하느라 바쁘기도 했고 막상 시간이 주어졌을 때는 한 주제에 깊이 몰입하지 못했던 것 같다. 논문이라는 것이 회사 입장에서 어떤 큰 impact가 있겠냐마는 엔지니어에게는 내가 노력한 것을 확실한 형태로 증명하는 수단이고, 내 이야기의 소재가 된다 (가수에게 자작곡이 이런 느낌일까).

 

ISMIR 논문은 곡을 단순히 길게 생성하는 것보다는 의미 있는 단위로 생성하여 quality를 향상시키겠다는 동기에서 시작하였다. 두 번의 reject을 먹고 (처음에는 novelty 부족, 두 번째는 poor writing), 회사에 있는 박사님의 도움을 받고서야 accept 되었다. 생각보다 많은 Music AI 연구자들이 내 연구를 알고 관심을 가져주는 것을 보면 신기하다.

 

NeurIPS 논문은 원래는 Humming2Music을 하고 싶었고, 그에 대한 일부 파트로 Melody2Music을 연구하다 아이디어가 말이 안되는 듯하여 또 일부를 쪼갠 연구이다. 이 연구는 image segmentation처럼 각 note에 악기를 assign하는 Mixture2Music으로, 일종의 ill-posed problem이기 때문에 확률 생성 모델인 diffusion model을 활용하였다. 음악 생성 결과보다도 diffusion model에 guide를 주어 우리가 의도한 특성을 반영하는 과정이 더 재밌었던 것 같다.

 

LG AI Research Blog에 기고한 글

[ISMIR / NeurIPS 2022] Symbolic Music Motif Generation | LG AI

 

References

[1] S. Han et al., Symbolic Music Loop Generation with Neural Discrete Representations, ISMIR 2022

[2] S. Han et al., Instrument Separation of Symbolic Music by Explicitly Guided Diffusion Model, NeurIPS Workshop 2022