[Terminology] XAI에 대해 알아보자 - Explainable Artificial Intelligence

 

XAI(Explainable Artificial Intelligence)는 말 그대로 설명 가능한 인공지능을 뜻한다. 인공지능의 결과나 행동에 대해 사람이 이해할 수 있는 형태로 설명을 제공하는 기술 및 접근법을 모두 포괄하는, HCI와 인간공학에서 연구되는 분야이다.

---

Background

 

전통적인 머신러닝의 방법론에서 깊은 인공신경망 (DNN), 합성곱 신경망 (CNN), 시계열 분석, 그리고 거대 언어 모델 (LLM)에 이르기까지 인공지능은 다양한 분야에서 그 활용성을 입증하고 있다. 그러나 초반의 통계적인 방법론에 의한 기계 학습 기법과 대비되게, 좀 더 발전된 형태의 딥러닝 모델들은 그들의 의사 결정과 행동의 인과를 알 수 없는 블랙박스적 특징을 한계로 지니고 있다. 그들이 어떤 의사 결정을 하는 것이 정확도만 높다면 문제가 되지 않을 것이기도 한데, 우리는 왜 그들의 인과까지 알아야 할까? 그것은 바로 신뢰성의 이유이다. 의료나 법률, 금융 등 중요한 분야에서 AI의 결정은 강한 반발력을 지닐 수 있다. 자신의 진단에 대한 신뢰를 가지려면 그 이유가 요구되고, 법률적인 판단이 흑백논리로 판단되는 것이 아니며, 돈과 관련해서는 수많은 관성과 변동성이 관여될 수 있다. 그러므로 인공지능 모델이 정말 정확도 높은 결정을 내릴 수 있는 존재라면, 그들의 의사 결정의 이유 또한 밝히는 것이 과학적이고 합리적인 요구로 여겨진다.

---

XAI의 종류

 

Intrinsic Explainability

모델 자체가 자신의 의사 결정에 영향을 미친 요인을 담고 있는 모델은 Intrinsic Explainability를 가지고 있다고 한다. 대표적인 예로는 고전적인 기계학습 모델인 선형 회귀나 의사결정 나무가 있다. Intrinsic 한 모델들은 모델 자체가 직관적이고 구조적으로 투명하여 결과를 쉽게 해석할 수 있지만, 복잡한 데이터의 패턴을 충분히 반영하지 못할 가능성이 있다.

Post-hoc Explainability

모델 자체로는 결정에 대한 요인을 도출해 낼 수 없어 사후 분석이 필요한 경우 Post-hoc anaysis가 필요한 모델, 혹은 Post-hoc Explainability를 동반해야 하는 모델이라고 한다. 앞서 말했듯이 딥러닝 모델들이 대표적인 블랙박스 특성을 가진, 사후 분석이 필요한 모델들이라고 볼 수 있다. 특징의 중요도 분석, 시각화 기법 (딥러닝 모델의 특정 입력에 대한 중요도를 시각적으로 표현하는 방법), 대체 모델 생성 등 LIME, SHAP, Grad-CAM 방법론을 활용한 사후 분석을 통해 모델의 인과를 설명하려는 노력과 연구가 진행되고 있다.

 

→ Intrinsic Explainability는 직관적인 해석을 제공하지만 복잡한 데이터 처리에 한계가 있는 반면, Post-hoc Explainability는 복잡한 모델에도 적용 가능하나 추가적인 계산 비용과 모델 내부 메커니즘과의 불일치 가능성을 수반한다.

---

XAI의 목표

 

XAI 연구자들의 목표는 앞서 설명한 문제점들의 해결 방향과 나란한 선상에 있다. 인공지능 모델의 투명성을 증대시키는 것, 이를 통해 결과에 대한 사용자의 신뢰를 확보하는 것, 잘못된 판단이 발생했을 때 원인을 분석하고 책임 소재를 규명하는 것, 이들의 의사 결정 과정에서의 윤리성/공정성을 평가할 수 있도록 돕는 것, 마지막으로 사용자로부터 유용한 피드백을 받아 AI 모델을 지속적으로 개선시키는 것 등이다.