설명가능한 인공지능(XAI)이란 무엇인가 (링크드인 XAI 강의 요약)

오늘은 제 졸업논문의 주제이기도 했던 "설명가능한 인공지능(XAI)"에 대해 알아보려고 합니다.

링크드인의 설명가능한 인공지능 강의 (Learning XAI)를 정리 & 요약했습니다. 👇👇

What is XAI? - Learning XAI: Explainable Artificial Intelligence 동영상 튜토리얼 | LinkedIn 온라인클래스(이전 이

<목차>

1. 내가 경험한 XAI의 필요성
2. 그래서 설명가능한 인공지능(XAI)이 뭔데?
3. 세 가지 XAI 기술
4. XAI가 필요한 이유
5. XAI의 한계

---

| 내가 경험한 XAI의 필요성

저는 영화, 드라마, 예능에 나오는 인물을 AI로 인식하고 이에 대한 정보를 서비스로 제공하는 일을 하고 있습니다. 지금은 AI의 성능이 많이 좋아졌지만, 초반엔 꽤 자주 틀리곤 했는데요. 주로 비슷한 생김새인 사람들을 헷갈려했습니다. 예를 들면 중국 드라마에서 변발한 인이나 사극에서 수염을 붙인 사람들을 말이죠. 이 정도는 이해할 수 있습니다. 왜냐면 저도 자세히 보지 않으면 헷갈렸기 때문입니다.

 

Photo by LeeAnn Cline

문제는 비슷하게 생기지도 않았는데 자꾸 잘못 인식하는 인물들이 있었습니다. AI가 어떤 기준으로 A라는 사람을 B라고 인식하는지 이해하면 학습용 데이터를 보강하거나 수정해줄 수도 있고 일부 오류가 있더라도 감안하고 서비스를 사용할 수 있는데 이유 없이 자꾸 틀리면 그냥 AI가 이상하다고 밖에 볼 수 없더라고요. 서비스 사용자 입장에서도, 검수자 입장에서도 AI의 설명 가능성은 중요한 요소입니다.

 

만약 검수자들에게 인물 A를 B라고 판단한 이유가 해당 인물의 색깔 때문에, 얼굴형 때문에, 인물 A와 B의 유사도가 60%라고 판단해서, 인물 A의 학습 이미지 중 어떤 것 때문에 이러한 결과를 도출했다는 근거를 알려준다면 AI에 대한 신뢰도가 높아지겠죠. XAI의 핵심은 사용자가 기계의 결정을 이해할 수 있게 돕는 데에 있습니다.

 

서비스 기획자들이 XAI (설명가능한 인공지능)의 개념을 알아두면 AI 기반 서비스를 기획할 때 큰 도움이 될 것입니다. AI의 설명 가능성이 사용자 신뢰도와 관련성이 높기 때문입니다. 

 

| 그래서 설명가능한 인공지능 (XAI)가 뭔데?

XAI (Explainable AI)는 설명 가능한 인공지능을 의미합니다. "AI가 왜 설명 가능해야할까?" 라고 생각할 수도 있습니다. 결과만 잘 도출하면 되지 않냐고 말이죠.

 

인공지능은 본인이 도출한 결과에 대한 근거가 없습니다. 사람이 설계한 논리에 따라서 모델이나 결과가 만들어진 것이 아니기 때문입니다. 데이터가 스스로 모델을 만들었기 때문에 데이터의 어떤 속성이 AI가 내린 결론에 영향을 미쳤는지 AI 스스로도 알지 못합니다. 

 

<전통적인 AI 인식 과정>

1. 데이터 학습

2. 머신 러닝

3. AI 모델 생성

4. 사용자에게 예측, 추천 결과 제공

 

AI가 던져준 결과를 받은 사용자는 이런 질문을 하게 됩니다.

Photo by Tachina Lee

"AI가 왜 이렇게 했지? 왜 다른 건 아니고?

AI가 언제 성공했지? 언제 실패했지?

언제 신뢰할 수 있을까?

AI의 결과를 어떻게 수정해줄 수 있을까?"

 

사용자의 이러한 의문을 해결해줄 수 있는 것이 바로 XAI입니다.

AI의 불투명한 처리 과정을 투명하게 해주는 역할을 하죠.

 

<설명가능한 인공지능 XAI 인식 과정>

1. 데이터 학습

2. 머신 러닝

3. 설명가능한 모델 생성

4. 설명 인터페이스 제공

 

설명가능한 인공지능을 통해 사용자는

- AI의 결과를 이해할 수 있고,

- 언제 실패하는지,

- 언제 신뢰해야 하는지,

- 왜 오류가 나타났는지 알 수 있습니다.

 

| 세 가지 XAI 기술

1. LIME (Local Interpretable Model-Agnostic Explanations)

- 현재 가장 흔히 사용되고 있는 기술입니다.

- 결과가 나온 후 설명을 찾는 방식입니다.

- AI모델과 관계없이 적용 가능합니다.

- Input을 조금씩 바꾸면서 결과가 어떻게 바뀌는지 관찰합니다.

--> 어떤 input이 ouput에 가장 큰 영향을 끼치는지 알 수 있습니다.

 

2. RETAIN (Reverse Time Attention) model

- 조지아 공대에서 심부전을 예측하는 모델을 만들었습니다.

- 모델이 학습한 데이터중 어떤 것이 예측을 만들었는지 알 수 있는 모델입니다.

 

3. LRP (layer-wise relevance propagation)

- 뉴럴 네트워크에서 거꾸로 작동합니다.

- input의 어떤 특성이 가장 연관성이 높은지 찾아냅니다.

 

| XAI가 필요한 이유

사업 관점에서 XAI가 필요한 이유는 무엇일까요? 서비스가 성공하기 위해선 책임(accountability)과 신뢰(trust)가 중요합니다. 기존에 사람이 하던 결정을 AI가 점점 더 많이 하게 됨에 따라 이해관계자는 AI의 결정을 믿을 수 있는지 궁금해할 것입니다.

 

<AI를 둘러싼 여러 위험들>

1) Trust : 신뢰와 관련된 이슈

- AI가 추천해주는 결과를 신뢰할 수 있을 것인가

- 편향된 데이터로 만든 시스템을 신뢰할 수 있을 것인가

 

2) Liability : 법적 책임과 관련된 이슈

- 시스템이 실수하면 어떻게 되나? 누구의 책임인가?

 

3) Security : 보안과 관련된 이슈

- 누가 시스템을 악의적으로 건들지 않았다는 것을 어떻게 알지?

 

4) Control : 통제 권한과 관련된 이슈

- 누가 통제 권한을 가지고 있는가. (사람 vs. 기계)

- 만약 기계가 가지고 있다면 사람이 어떻게 다시 가져오지?

 

이러한 한계로 인해 AI가 적용되면 위험한 분야에서는 적용이 늦게 이루어지고 있습니다. XAI는 위와 같은 위험을 넘어설 수 있게 합니다. 또한, XAI는 AI의 결과를 설명하여 개발자들이 버그를 수정하고 해킹을 발견하고 사람-기계가 협력할 수 있게 합니다. 

 

| XAI의 한계

1. "설명가능성"이 뭔데

설명가능성의 정의가 모호합니다. AI 알고리즘에서 전반적인 논리까지 설명 가능한 것의 범위가 다양합니다.

 

현재 데이터 전문가들이 생각하는 설명 가능성은,

 

- AI가 스스로 장점과 단점,

- 결과를 만든 변수,

- 왜 특정 결과를 도출했는지,

- 어떤 실수를 낳을 확률이 높은지, 어떻게 바로잡는지

 

를 말해주는 것이라고 생각합니다.

그럼에도 불구하고 사람들이 생각하는 적절한 설명의 수준과 의미가 한 가지로 수렴되지 않습니다.

 

2. 설명가능성이 항상 좋지는 않습니다.

AI 모델이 작동하는 방식을 모두에게 알려주면 기술을 누군가 가져갈 수 있습니다.

 

3. AI 시스템이 너무 복잡합니다.

AI 시스템이 복잡하면 복잡해질수록 이에 관한 가장 쉬운 설명도 엄청 어려워질 수 있습니다.

 

4. 많은 결정들이 설명하기 어렵습니다.

사람들은 자신이 내린 결정도 설명하기 어려워합니다. 그러니 AI도 설명하기 어려운 결정이 있을 수 있습니다.

 

5. 설명 가능성을 찾기 위해 AI 시스템의 퀄리티가 떨어질 수 있습니다.

사람들이 AI가 어떻게 작동하는지 알기 위해 알고리즘에 뭔가를 추가해야 하기 때문입니다.

 

---

링크드인의 XAI 기초 강의 리뷰는 여기까지입니다.

그렇다면 현재까지 실무에서 XAI를 적용하지 못한 이유가 무엇일까요?

제 생각은 이렇습니다. 

 

 - 아직 기술이 적용 가능한 수준이 아님 : AI의 성능과 무관하게 설명 가능성을 덧붙일 수 있는 기술이 상용화 수준에 다다르지 못했습니다. 현재로선 대부분의 사람들이 설명가능성을 확보하기 위해 추론에 의존해야 합니다. A가 B라고 나온 이유는 대충 헤어스타일이 비슷해서인가보다 해야 되는 거죠.

 

- 기술 개발이 AI의 성능을 높이는 데에 더 치중되어 있음 : AI 성능 높이는 것만 해도 예산과 인력이 빠듯한데, 언제 설명가능성까지 개발하겠습니까. ^^; 쉽게 적용할 수 있는 XAI 플러그인이 개발되었으면 좋겠네요.

 

아직 XAI가 상용화되는 데까진 시간이 걸릴 것 같습니다.

 

추가 정보)

구글에선 XAI 상용화 서비스를 제공하고 있습니다. (구글 AI-explanation 백서)

What-If라는 툴을 통해 여러 가설에 따라 변화하는 모델을 시각화한 서비스도 제공합니다.

다음에는 구글이 XAI 서비스를 얼마나 실용적으로 제공하고 있는지 알아보겠습니다.

---

설명가능한 인공지능(XAI)이란 무엇인가 (링크드인 XAI 강의 요약)

20.12.11

림뽀의 세상