이번 포스팅에서는 설명 가능한 인공지능, XAI(eXplainable Artificial Intelligence)의 개념과 등장배경, 방향성에 대해 정리해보았습니다.
저전력 고성능 AI 반도체와 컴퓨팅 파워 성능 향상으로 많은 데이터가 양산되면서 인공지능 모델이 정교해지고 다양한 분야에 활용되고 있습니다.
이러한 인공지능 모델은 문제 해결을 위한 수단으로 적극 활용되면서 새로운 비즈니스 기회들이 생겨나고 있으며 그 영역은 계속 확장되고 있습니다.
그러나 이러한 인공지능이 점점 중요한 의사결정을 수행하는 핵심적인 역할을 하게 되면서 최종 결정한 근거와 도출과정에 대한 의문이 생겨나기 시작했습니다.
오류가 생길 경우 그 원인에 대해 즉각적으로 알기가 어렵고 왜 이런 결정을 했는지 파악이 어렵기 때문에 블랙박스처럼 존재하는 인공지능에 의존할 수 없다는 의식도 강해지고 있습니다.
이번 포스팅에서는 이러한 배경으로 생겨난 설명 가능한 인공지능, XAI(eXplainable Artificial Intelligence)의 정의와 함께 XAI 등장배경, 진행경과와 XAI 방향성에 대해 정리해보았습니다.
설명 가능한 인공지능, XAI 개념
XAI란 설명가능한 AI(=eXplainable Artificial Intelligence, XAI) 라는 의미로 기계학습(딥러닝) 모델을 통한 결과값에 대한 이유를 사람이 이해할 수 있도록 블랙박스 속에 있는 내용을 분해하고 파악하여 설명 가능한 형태로 제공하는 것을 의미합니다.
즉, 사용자가 인공지능 모델을 통한 동작 방식과 최종 결과에 대해 해석할 수 있도록 결과물이 만들어지는 과정을 설명 가능하도록 해주는 기술을 의미합니다.
예를 들자면, 인공지능이 “자동차” 이미지만을 분류한다면 기존에는 자동차인지 여부 또는 자동차일 확률만을 표시했다면,
XAI는 자동차 여부와 확률은 물론이고 이것이 자동차라는 근거가 되는 요소들(바퀴, 핸들(스티어링휠), 라이트, 버퍼 등)을 사용자에게 제공하는 것 입니다.
참고로 설명 가능한 인공지능, XAI 개념은 미국 국립표준기술연구소 자료(영문)에서도 매우 잘 정의되어 있습니다.
XAI 등장배경
인공지능 시스템 결과에 대한 사용자와 사회의 수용이 확장되고 이에 따른 중요한 의사결정을 하게 되면서 여러 우려사항이 생기면서 설명 가능한 인공지능, XAI에 대한 관심이 점점 높아지게 되었습니다.
하지만 역시 근본적인 원인은 딥러닝이 전세계적으로 확장되면서 딥러닝에 사용되는 신경망이 인간이 이해하기 어려운 분야이고 여러가지 위험 요소가 나타나기 때문이었습니다.
현재 기계학습 알고리즘 단점
우선 인공지능 또한 사람처럼 실수할 수 있습니다. 가끔 사용되는 데이터에 따라 민감한 인종이나 성별, 나이나 지역 관련 편향이 나타났고 이는 지속적으로 인공지능 모델을 만드는데 위험 요인이 되어왔습니다.
물론 실수가 아니더라도 적대적 공격(Adversarial Attack)을 통해서도 인공지능을 속일 수 있습니다.
적대적 공격(Adversarial Attack)이란 기계학습 알고리즘이 내재하고 있는 취약점에 의해 적대적 환경에서 발생할 수 있는 보안 위험을 의미합니다.
대표적인 케이스가 아래와 같이 17년 워싱턴대 연구팀이 자율주행 자동차를 매우 간단한 방법으로 오작동 시키는 방법입니다. 단순히 아래와 같이 스티커 부착만으로 자율주행차가 “정지” 표시를 “속도제한” 표시로 오인하게 만들었습니다.
보통 기계학습의 학습과정은 데이터를 수집한 다음, 학습용 데이터로 가공하는 데이터 준비 (데이터 전처리)로 시작되는데요, 학습 데이터가 준비되면 적절한 기계학습 알고리즘을 선택하여 기계를 학습시킵니다.
학습이 완료되면 테스트용 데이터를 입력하여 기계가 추론한 결과가 실제 정답에 얼마나 비슷한지 비교하여 모델의 성능을 테스트하고 배포하는 과정을 갖게 되는데요,
이러한 학습 과정에서 악의적인 학습데이터를 주입하여 기본적인 인공지능 모델을 오염시키는 것을 중독공격(Poisoning attack),기계학습 모델의 추론과정에서 데이터를 교란하여 기계학습을 속이는 회피공격(Evasion attack)이라고 합니다.
회피공격의 경우, 아래와 같이 이미지에 노이즈를 추가하여 팬더가 긴팔원숭이로 잘못 인식하게 하는 것도 가능합니다.
기계학습 모델이나 학습 데이터를 탈취하는 학습데이터 추출 공격(Inversion attack), 모델 추출 공격(Model extraction attack)이 존재합니다.
XAI 진행경과
실은 설명가능한 AI 자체는 70년대 인공지능 전문가 시스템이 도출된 결과를 전문가들에게 이해시키지 못하면서 처음 등장하기 시작했고, 설명 가능한 인공지능 “XAI”라는 용어 자체는 미 국방성 산하 국방위고등연구계획국(DARPA)에서 기존에 사용되던 인공지능 모델에 데이터를 기반으로 인공지능 시스템 안에 있는 블랙박스를 확인한다는 의미로 “XAI”라고 정의했다고 합니다.
특히 DARPA에서는 기밀정보에 대한 무인 자율 시스템 작동 분야에 대해 사람이 인공지능의 의사결정을 이해하고 결과를 신뢰하여 업무 수행을 하게 하기 위해 16년에 XAI 투자 프로그램을 발표하고 17년부터 XAI 관련 프로젝트를 추진하면서 예산 지원을 하고 있습니다.
유럽에서도 개인정보보호법(GDRP, General Data Protection Regulation)을 통해 인공지능 결과에 대한 설명을 요구할 권리를 강제하여 XAI 도입을 유도하고 있으며, 구글 또는 아마존(AWS)의 경우에도 점차 XAI 개발에 참여하고 있습니다.
특히 구글은 모델 예측 시 각 속성에 대한 상대적 중요도/우선순위를 보여주는 그래프/맵을 제공하는 도구를 개발하여 데이터의 편향성이나 기계학습의 공정성 문제를 분석할 수 있도록 하고 있습니다.
XAI 개발 방향성
우선 설명 가능한 인공지능, XAI를 만드는 방향성은 3가지 입니다.
1. 학습 모델 간 비교하기
: 설명 가능한 인공지능 분류 모델과 비교하고 추론하여 모델의 최종 결과를 설명하는 방법
2. 기존 모델 변형/역산
: 기존 학습 모델에 역산 과정을 추가하거나 학습 모델을 수정.
3. 새로운 학습 모델 개발
: 도출 과정에 있는 입력 데이터의 특징점들을 시각화하여 표현하는 등 중간 과정 표현이 가능한 학습 모델을 새롭게 생성
이러한 XAI 모델이 생성되면 3가지 업무 프로세스로 해당 모델을 활용하게 됩니다.
- XAI가 모델을 학습하고 결과값을 도출
- 사용자 인터페이스 등을 통해 시각화된 XAI 내부 모델을 파악
- 인공지능이 제공한 결론에 대해 업무를 수행
즉 설명가능한 알고리즘을 통해 최종 결과에 대한 근거로 신뢰성을 가지고 업무 수행이 가능해집니다.
이를 통해 인공지능 시스템의 성능향상 측면 뿐만 아니라 여러가지 인사이트를 도출하고 무엇보다 인공지능에 대한 법적 책임과 규정 준수 여부 검증이 가능해지리라 생각됩니다.
이번 포스팅에서는 이러한 배경으로 생겨난 설명 가능한 인공지능, XAI(eXplainable Artificial Intelligence)의 정의와 함께 XAI 등장배경, 진행경과와 XAI 방향성에 대해 정리해보았습니다.
앞선 포스팅에서 정리한 인공지능 관련 IT트랜드 관련 글은 아래와 같습니다.
인공지능과 사물인터넷의 결합 AIoT 정의와 요소기술과 사례, 전망
초거대 AI란 (1) 하이퍼스케일 인공지능과 GPT-3, 트랜스포머