그런데 유럽연합(EU)에서는 공공 부문에서 사용되는 AI를 고위험 AI로 분류한다. 공공서비스는 기본적으로 모든 국민을 대상으로 하기에, 기술이 오작동하거나 윤리적 오류가 생기면 문제가 심각해진다. 이를테면 내가 병이 났을 때 손이 느리고 실수 가능성이 있더라도 인간 의사한테 수술을 맡기고 싶지, 기계 의사의 수술실에는 들어가고 싶지 않은 것과 마찬가지다.

그래서 중요해지는 게 인간 감독(Human Oversight) 개념이다. 내 몸을 수술하는데, 기계를 쓰더라도, 어쨌든 인간 의사가 그 과정을 감독해주길 누구나 바랄 것이다. 마찬가지로 공공서비스는 내 이익과 안전에 너무 직결되는 문제이기 때문에, AI가 신속 정확한 처리를 하더라도 인간 담당자가 그 과정을 감독해야 한다는 것이다.
그래서 AI의 결정을 인간이 최종 승인하는 HITL(Human in the loop), AI의 결정을 인간이 실시간 모니터링하는 HOTL(Human on the loop) 등의 체계는 공공 분야 AI 기술의 중요한 조건으로 제시된다.

문제는 그것이 생각만큼 간단하지 않다는 점이다. 첫째, AI를 인간이 ‘실시간 모니터링’한다는 것 자체가 불가능하다. 방대한 데이터를 분석, 처리, 의사 결정하는 AI의 속도를 인간은 절대 따라갈 수 없기 때문이다. 인간보다 훨씬 빠르게 생각하기 때문에 AI를 쓰는 것인데, AI보다 훨씬 느린 인간이 하나하나 감독해야 한다면 애당초 AI 기술을 도입할 이유가 없다. 둘째, 그래서 일반적으로 적용하는 방법은 AI가 작업하되 ‘이상이 발생하면 인간에게 보고하는’ 구조인데, 이 또한 한계가 있다. ‘이상이 발생했음’을 인지하고 보고하는 주체가 바로 AI이기 때문이다. AI가 이상 상황을 발견하지 못하거나, 발견하더라도 그것이 문제라고 인식하지 않으면 인간에게 보고되지 않을 것이다.

결국 현재로서 이에 대한 해법은 다중 안전장치다. 다중 안전장치는 독립적인 시스템이 AI 시스템 외부에서 활동을 감시하고 유사시 인간에게 보고하는 구조이다.
이를테면 AI를 감시 감독하는 또 다른 AI를 구성할 수도 있다. 이런 체계가 제대로 작동하려면 절차적‧기술적으로 신경 써야 하는 일이 많다. 오버라이드 기능과 비상 정지 기능 등 기술적 장치가 잘 마련돼야 하며, 다중 안전장치가 문제 상황을 정확히 인지할 수 있게끔 시스템의 개발자와 관리자가 정책 준수 모니터링과 표준 규제 매뉴얼 등을 정밀하게 구성해야 한다. 현재의 ‘인간이 감독해야 한다’라는 원칙과 담당자를 배치하는 것만으로는 어떤 것도 해결할 수 없다.

필자는 최근 법무법인 및 국가시험원과 함께 전국의 공공기관을 대상으로 대규모 강연을 9월 한 달 내내 진행했다. 근래 나라장터에 올라온 공공 AI의 RFP가, 위에 제시한 문제에 대해 어떠한 고민 없이 진행되고 있음에 큰 우려가 들었기 때문이다. 공공의 AI 시스템은 다른 어떤 기술보다도 다수 국민의 이해관계와 안전‧인권에 직결될 수 있다. 그런데도 RFP에서는 국제 기준에서 강조되는 인간 감독에 관한 요구사항을 찾아볼 수 없었다. 이런 상황에서 섣불리 AI 시스템을 도입하면 심각한 오작동이 국민의 안전과 인권을 위험에 빠뜨릴 수 있고, 결국 기술에 대한 사회적 불신은 산업의 발전 속도를 한층 더디게 만들 뿐이다.

어느 시대에나 신기술은 국가경쟁력을 결정하는 핵심 변수가 된다. 그런데 수레바퀴이든 증기기관이든 원자력이든, 신기술로 승리자가 된 국가는 신기술을 먼저 발명한 국가가 아니라 먼저 실용화한, 다시 말해 신기술을 안전하고 효율적으로 활용하는 일에 먼저 성공한 쪽이었다. AI 기술 역시 마찬가지다. 진짜 경쟁력은 속도나 아이디어가 아니라, 신뢰성에 있다.




[출처]​
- 관련 기사 :
https://www.aitimes.com/news/articleView.html?idxno=165574

- 사진 :
씽크포비엘​​