숟가락 그만 얹어

N-BEATS는 Element AI의 forecasting 알고리즘으로 시계열적 특성을 고려한 통계 모델을 최대한 배제하고 (있긴 있다), 순수 딥러닝만으로 좋은 성능을 얻었다고 한다. Fully-connected layer로만 구성하였기 때문에 univariate time-series만 모델링이 가능하다. 간단한 구조임에도 성능은 DeepAR, Deep Factors, M4 competition winner 보다 좋다고 한다. N-BEATS의 특징으로는 1) Block structure: 한 block은 4개의 FC layer와 2개의 output으로 구성된다. Backcast output은 block의 input인 lookback period를 다시 regeneration하고, forecast out..

딥러닝으로 time-series 간의 complex pattern을 학습하고 probablisitc modelling을 결합하는 방식은 DeepAR과 같지만, Deep Factors에서는 time-series의 global pattern과 item 각각의 local pattern을 명시적으로 구분한다. Global pattern은 RNN으로 계산하고 (global factors), item 별로 각각 다른 weights를 두어 local pattern (fixed effect)을 학습한다. 논문에선 DeepAR보다 좋은 성능을 보였으나 Gluon-ts에서 제공하는 Deep Factors를 써보면 학습이 잘 안된다. Fixed effect부터 잘 작동하는지 검증해보고 싶긴 한데... References [..

DeepAR은 Amazon Sagemaker에서 제공하는 forecasting 알고리즘으로 decoder만 사용한다. Training phase에서는 next time sample을 바로 예측하도록 학습시키고 (teacher-forcing), 실제 목표로 하는 inference phase의 decoding 부분은 previous sample의 예측 값을 다음 step의 input으로 활용하는 과정 (full sampling)을 반복하여 예측을 진행한다. Contribution 1) LSTM-based autoregressive probabilistic model: LSTM으로 encoder와 decoder를 설계하고 각 LSTM step의 output을 확률 모델 (ex. Gaussian)로 가정한다. ..

M4 Competition을 통해 forecasting 문제 trend와 나아갈 방향을 논의함. 1. Forecasting Competition Theme 1: 시간 주기의 변화 - 구글에서는 day, hour, min 단위 짧은 주기의 시계열 데이터를 주로 다룸 - 비즈니스 변화의 주기, 자동화, agile planning 등으로 인해 짧은 주기 데이터의 효용성이 높아짐 - 그러나 짧은 주기의 데이터는 다양한 문제를 야기함 (noisy, high spectral entropy, weaker trend, weaker autocorrelation) - Trend 또한 다양한 요인들로 인해 모델링하기 어려워짐 (ex. hour-of-day, day-of-week…) - 시간 주기가 irregular 또는 s..