숟가락 그만 얹어

설명 가능한 AI는 설명 가능한가? 기술 철학을 연구하시는 한동대 손화철 교수님께서 던지신 질문이다. 먼저 교수님과의 최초의 만남을 떠올려보자면 11년도 신입생 OT 중 학관 1층 어떤 강의실이었을 것이다. 교수님께서는 2학년 선배들의 말을 믿지 말라, 3학년 선배들의 말을 믿지 말라, 4학년 선배들의 말을 믿지 말라고 하셨고 나는 6년 동안 정말 하고 싶은 대로 했다. 그리고 학점은 엉망이 되었다. 물론 내 인생에서 가장 즐거운 시절이었을 것이다. 두 번째 만남은 16년도 고전강독이라는 강의에서 플라톤의 국가를 함께 읽었었다. 매주 수업 전날에 힘들게 읽어갔던 기억만 남아있고 무슨 내용이었는지는 잘 모르겠다. 나도 내가 공부한 분야에 한해서는 어느 정도 전문가라는 자부심이 있었는데, 위 질문에서 내가 ..

Generative model인 VAE에 GradCAM을 적용한 논문이다. dy/dx를 계산하는 것이 아니라 dz/dx를 계산하고 이를 feature activation map과 곱해준다. 재미있는 점은 모든 z(i)에 대해서 dz(i)/dx를 계산해주기 때문에 disentangle이 잘 되어있으면 각 latent의 semantic에 해당하는 attention map을 얻을 수도 있을 것 같다. 논문에서는 주로 anomaly detection으로 문제를 설정해놓고 anomaly localization 성능을 비교하였는데, 논문의 주장과는 달리 [2]에 따르면 SOTA 성능 reproduce가 안되었다고 한다. References [1] W. Liu et al., Towards Visually Explai..

어떤 모델 f를 선형 모델 g로 근사하면 g는 아래와 같이 표현될 수 있다. z'는 variable이고 phi는 z'의 contribution인데 phi를 Shapley value로 간주하고 아래와 같이 계산할 수 있다. Variable i의 contribution은 i의 포함 여부에 따른 output 차이의 기댓값으로 계산할 수 있다. 한 variable에 대해 정확한 Shapley value를 구하려면 2^F 번을 시행해야 하기 때문에 논문에서는 linear regression을 활용하는 Kernel SHAP, DeepLift의 특성을 활용하는 Deep SHAP 등 approximation 방법을 제안하고 있다. 논문을 다시 보며 생각한 것들 1) 위 Shapely value equation에서 분모..

본 연구는 time-series classification 문제에 Saliency, LRP, DeepLIFT, LIME, SHAP을 적용하고 실제로 의미 있는 time point에 relevance가 강하게 나타났는지를 검증하였다. 결론은 어떤 모델에 어떤 방법을 쓰느냐에 따라 다른 것으로.. 검증 방법이 재밌긴 한데 단순히 relevance가 강하게 나타난 point를 dummy 값으로 채워 classification 성능을 비교하기보다는, 그 point를 시작으로 subsequence의 순서를 바꾸거나 (swap time points) subseqence의 값을 mean으로 채워 버렸다. (mean time points) Time-series의 경우 time point 간의 dependency가 크므..

x(i)는 input image의 한 pixel이다. x'은 baseline으로 random 값일 수도 있고 0일 수도 있다. x'이 0이라면 검정 배경의 이미지를 서서히 밝게 하면서 누적되는 gradients를 평균하여 input image에 곱한다. 단순 gradient를 importance로 사용하지 않는 이유는 sensitivity 특성을 만족하기 위함이다. x(i) 값이 바뀌었을 때 y의 값도 바뀐다면 x(i)에 대한 contribution이 있어야 하는데 그러지 못한 경우가 있기 때문이다. (ex. 1 - RELU(1 - x) when x > 1) 위 식에서 derivative term의 분모는 사실 d(x' + alpha(x - x'))가 되어야 path method의 정의에 더 부합한다고 ..