숟가락 그만 얹어

Aleatoric uncertainty: captures noise inherent in the observations. 데이터의 noise 인해 생기는 uncertainty이다. 그림 (d)에서 object의 boundary에 uncertainty가 높게 나타나는 이유는 segmentation labeling 편차로 인해 생긴 것으로 추측된다. Epistemic uncertainty: captures ignorane about which model generated our collected data. 모델의 ignorance로부터 발생하는 uncertainty이다. 학습이 충분히 수렴되지 않았거나 학습 데이터가 부족한 경우, out-of-distribution example이 주어진 경우에 uncert..

N-BEATS는 Element AI의 forecasting 알고리즘으로 시계열적 특성을 고려한 통계 모델을 최대한 배제하고 (있긴 있다), 순수 딥러닝만으로 좋은 성능을 얻었다고 한다. Fully-connected layer로만 구성하였기 때문에 univariate time-series만 모델링이 가능하다. 간단한 구조임에도 성능은 DeepAR, Deep Factors, M4 competition winner 보다 좋다고 한다. N-BEATS의 특징으로는 1) Block structure: 한 block은 4개의 FC layer와 2개의 output으로 구성된다. Backcast output은 block의 input인 lookback period를 다시 regeneration하고, forecast out..

본 연구는 time-series classification 문제에 Saliency, LRP, DeepLIFT, LIME, SHAP을 적용하고 실제로 의미 있는 time point에 relevance가 강하게 나타났는지를 검증하였다. 결론은 어떤 모델에 어떤 방법을 쓰느냐에 따라 다른 것으로.. 검증 방법이 재밌긴 한데 단순히 relevance가 강하게 나타난 point를 dummy 값으로 채워 classification 성능을 비교하기보다는, 그 point를 시작으로 subsequence의 순서를 바꾸거나 (swap time points) subseqence의 값을 mean으로 채워 버렸다. (mean time points) Time-series의 경우 time point 간의 dependency가 크므..

이상 패턴에 시계열적 특성이 (temporal dependency) 보인다면 window 방식으로 문제를 접근하는 것이 타당하다. 이때 window size를 어떻게 잡느냐에 따라 검출할 수 있는 이상 패턴이 달라지는데, 본 논문에서는 다양한 패턴을 검출하는 간단한 아이디어를 제시하였다. 예를 들어 30개의 센서 데이터에 대하여 3가지 window size를 정하고, 각각의 window에 대한 covariance matrix를 쌓는 것이다. 그러면 데이터의 차원이 time t에서 (30, 30, 3)이 되어 이미지처럼 CNN을 활용할 수 있다. t-4에서 t까지의 covariance matrix를 sequence 차원으로 쌓으면 최종 데이터의 input size는 (5, 30, 30, 3)이 되어 비디오..

딥러닝으로 time-series 간의 complex pattern을 학습하고 probablisitc modelling을 결합하는 방식은 DeepAR과 같지만, Deep Factors에서는 time-series의 global pattern과 item 각각의 local pattern을 명시적으로 구분한다. Global pattern은 RNN으로 계산하고 (global factors), item 별로 각각 다른 weights를 두어 local pattern (fixed effect)을 학습한다. 논문에선 DeepAR보다 좋은 성능을 보였으나 Gluon-ts에서 제공하는 Deep Factors를 써보면 학습이 잘 안된다. Fixed effect부터 잘 작동하는지 검증해보고 싶긴 한데... References [..

# RDKit 설치 방법 (on Ubuntu 18.04) # CMake version >= 3.1 # GCC version >= 7.x # 1. Boost 설치 (version 1.65.1) wget https://dl.bintray.com/boostorg/release/1.65.1/source/boost_1_65_1.tar.gz tar -xzvf boost_1_65_1.tar.gz cd boost_1_65_1 ./bootstrap.sh --with-python=python3.6 --with-libraries=python,serialization,system,iostreams --prefix=. vi project-config.jam ### Python 관련 설정 수정 ### ... import pyth..

Uncertainty를 표현하는 5가지 방법 (Softmax, Calibration, Dropout, Ensembles, Variational Bayesian inference)을 비교한 논문이다. 어떤 방법이 noise에 robust하면서도 out-of-distribution example에 대해 uncertainty를 잘 표현하는지 여러 데이터셋에 대해 검증하였는데, 결론만 말하자면 ensembles이 가장 좋았다. Google AI Blog에 실험 내용이 잘 정리되어 있다. https://ai.googleblog.com/2020/01/can-you-trust-your-models-uncertainty.html References [1] Y. Ovadia et al., Can You Trust You..

Bayesian approach는 posterior 추정 시 training 과정 자체를 흔들어야 하기 때문에 수렴이 잘 안되거나 많은 computing이 필요할 수 있다. 본 연구는 non-Bayesian approach로 3가지 방법 (proper scoring rule, adversarial training, ensembles)을 활용하여 uncertainty를 계산한다. Proper scoring rule Loss term을 잘 정의하는 것이다. Classification의 경우에는 cross-entropy를 활용하면 되고, regression 문제는 Gaussian의 log-likelihood form을 이용하여 term을 정의하면 uncertainty를 잘 표현할 수 있다. Adversaria..

AutoEncoder와 GAN은 데이터를 생성한다는 점에서는 유사하지만 latent space를 표현하기 위해서는 AE의 encoder-decoder design이 더 자연스럽다. (하지만 데이터 생성은 잘 못한다) 이 latent feature란 놈이 왜 중요하냐면 우리가 manually feature를 뽑고 label을 달아주지 않아도 딥러닝이 궁극의 feature를 알아서 만들어준다는 기대가 있기 때문이다. 이 feature는 각 unit이 하나의 semantic을 표현하도록 잘 disentangle 되어야 한다. 본 논문에서는 GAN과 비슷한 수준으로 데이터를 생성하고, disentangled representation을 학습하는 AE를 제안하였다. F는 deterministic function으..

DeepAR은 Amazon Sagemaker에서 제공하는 forecasting 알고리즘으로 decoder만 사용한다. Training phase에서는 next time sample을 바로 예측하도록 학습시키고 (teacher-forcing), 실제 목표로 하는 inference phase의 decoding 부분은 previous sample의 예측 값을 다음 step의 input으로 활용하는 과정 (full sampling)을 반복하여 예측을 진행한다. Contribution 1) LSTM-based autoregressive probabilistic model: LSTM으로 encoder와 decoder를 설계하고 각 LSTM step의 output을 확률 모델 (ex. Gaussian)로 가정한다. ..