설명 가능한 AI는 설명 가능한가?

설명 가능한 AI는 설명 가능한가? 기술 철학을 연구하시는 한동대 손화철 교수님께서 던지신 질문이다. 먼저 교수님과의 최초의 만남을 떠올려보자면 11년도 신입생 OT 중 학관 1층 어떤 강의실이었을 것이다. 교수님께서는 2학년 선배들의 말을 믿지 말라, 3학년 선배들의 말을 믿지 말라, 4학년 선배들의 말을 믿지 말라고 하셨고 나는 6년 동안 정말 하고 싶은 대로 했다. 그리고 학점은 엉망이 되었다. 물론 내 인생에서 가장 즐거운 시절이었을 것이다. 두 번째 만남은 16년도 고전강독이라는 강의에서 플라톤의 국가를 함께 읽었었다. 매주 수업 전날에 힘들게 읽어갔던 기억만 남아있고 무슨 내용이었는지는 잘 모르겠다.

 

나도 내가 공부한 분야에 한해서는 어느 정도 전문가라는 자부심이 있었는데, 위 질문에서 내가 따라갈 수 없는 어떤 수준의 차이를 느꼈다. 철학자와 법학자가 수학과 코딩 없이 AI를 이해하는 수준이 이 정도라니... (한 번 선생은 영원한 선생) 내 나름의 답변을 정리해보자면

 

설명 가능한 AI는 개미가 코끼리를 이해하려는 방식과 비슷하다고 생각한다. 코끼리를 한눈에 담을 수가 없으니 코끼리의 아주 일부 (눈, 코, 귀, 다리 등)만을 인식하고 전체를 이해하려는 것이다. 딥러닝은 그 세계가 사람이 이해하기에는 너무 복잡하기 때문에 선형 모델로 근사하는 다양한 방식 (LIME, SHAP은 물론이고 gradients를 이용하는 계열도 그런 노력의 일환)을 이용하여 탐구된다. 이때 다음과 같은 문제를 제기할 수 있다.

 

1) 코끼리의 아주 일부만으로 코끼리라고 단정할 수 있는가?

2) 코끼리라는 관념 안에서 이해될 수 있는가?

 

1번 문제는 그냥 그렇다고 우기면 된다. 어차피 사람은 복잡한 현상을 개념화, 체계화, 단순화하여 이해할 수밖에 없다고 생각한다. 학부 시절 류대영 교수님께서 이런 맥락으로 지금의 학문이라는 것의 한계를 설명하셨던 것 같다. 2번 문제는 훨씬 어렵다. 코끼리인 줄 알았는데 사실 코끼리가 아니라 우주의 미생물이거나 처음 보는 원소 같은 것이었다면? 설명 가능한 AI의 결과가 사람이 이해할 수 있는 형태로 나온다는 보장이 없고 실제로도 그렇다. 그렇다면 해결책은 무엇일까? (대답할 수 있다면 나는 세계적인 연구자) 내가 알고 있는 현재까지의 결론은 처음부터 딥러닝을 코끼리로 가정하는 것이다. 그러나 이것도 쉽지 않은 것이 Transformer의 발전에도 불구하고 코끼리로 정의할 수 있을 만큼 딥러닝의 자유도가 높지 않다.

설명 가능한 AI는 AI의 신뢰성 측면에서 중요한 연구 주제이다. 그래서 손화철 교수님의 질문에 매우 뼈아프고 더 잘해보고 싶다는 생각이 들기도 한다. 세미나에서 이국운 교수님의 두 번째 질문 (AI의 아버지가 필요하다면 AI가 아닌 것이 아니냐)도 역시 현재의 AI 수준을 정확히 진단하고 계시다는 생각이 든다.

 

References

[1] 데이터는 어떻게 지능이 되는가? - https://www.youtube.com/watch?v=W4y8m4d7JoY 

[2] 코끼리의 비유 - https://brunch.co.kr/@onestepculture/369