2026-06-08
THINKFORBL COLUMN SERIES
[박지환의 인공지능 선긋기] “사람이 최종 결재하는 AI는 괜찮다”라는 설명이 위험한 이유
더에이아이(THE AI)
2026-06-08
THINKFORBL COLUMN SERIES
[박지환의 인공지능 선긋기] “사람이 최종 결재하는 AI는 괜찮다”라는 설명이 위험한 이유
더에이아이(THE AI)
인공지능(AI) 기본법 규제 대상이 되는 ‘고영향 AI’를 정하는 데 있어 ‘사람의 개입 여부’가 기준이 될 수 있다는 해설서의 설명이 논란이 되고 있다. 해당 설명의 취지는 대출 심사와 같이 법률상 고영향 AI라 명시된 영역이라도, “사람의 적극적·실질적 개입과 통제가 있는 경우 고영향 AI에서 제외될 수 있다”고 명시했는데, 쉽게 말해 어떤 결정이든 AI가 추천한 내용을 사람이 최종 승인하는 방식이라면 고영향 AI의 규제를 받지 않는다는 것이다.
고영향 AI란 사람의 생명이나 안전, 기본권에 중대한 영향을 끼칠 수 있기에, 관련 사업자에게 의무적으로 더 엄중한 안전관리를 해야 한다는 AI 시스템을 말한다. 그런데 같은 AI 시스템에 대해서 사람이 개입하지 않으면 고영향이고 개입하면 고영향이 아니다? 적절하지 않은 기준이다. 분야 자체가 위험하기에 인간이 개입해야 한다고 했더니, 인간이 개입했으니 이제는 위험하지 않다고 하는 격이다. 수술은 위험한 행위니까 의사가 있어야 하지만, 의사가 있다고 해서 수술이란 행위를 위험하지 않은 일로 분류해서 안전관리 대상에서 제외하는 것은 전혀 다른 문제다.
이렇게 좋지 않은 설명, 위험한 접근 방식이 나오는 것은 두 가지 착각 때문이다. 첫째로 위험분류와 통제 수단을 혼동하고 있다. 고영향 AI란 특정 AI 시스템이 어떤 영역에서, 누구에게 어떤 영향을 미치며, 잘못됐을 때 어떤 피해를 일으킬 수 있는지에 따라 영향도를 판단하는 기준이다. 반면에 인간개입은 발생확률을 줄이기 위한 통제 수단이다. 고영향이라는 위험분류는 ‘무엇이 위험한가’고 인간감독은 ‘그 위험을 어떻게 줄일 것인가’다. 통제 수단을 위험분류에 적용하는 식으로 함부로 섞으면 곤란하다.
둘째로 인간개입과 인간감독을 혼동하는 것이다. 인간개입이라는 표현은 애매하고 막연하다. 사람이 중간에 한 번 확인했다는 것일 수도 있고, 담당자가 화면을 보고 있었다는 뜻일 수도, 결재라인에 사람이 포함됐다는 뜻일 수도 있다. 하지만 국제 규범상 인간감독이란 이렇게 물렁물렁한 개념이 아니다. 인간감독은 사람이 마지막에 선의와 진심으로 도장을 찍는다는 뜻이 아니라, AI가 어디까지 자율적으로 결정할 수 있는지, 어떤 임계치에 인간을 호출해야 하는지, 어떤 상황에서 스스로 멈춰야 하는지, 어떤 판단은 사후 감사를 받아야 하는지를 기술적으로 미리 설계하는 일이다. 그 기술 기반 위에서 AI 한계와 위험을 이해한 사람이 필요한 순간에 해석, 의심, 중단, 번복, 사후 책임소재에 대한 추적까지 하도록 구조화한 체계다.
애당초 인간이 개입하는 것만으로 AI의 위험성이 없어질 거라는 것 자체가 인간의 자동화 편향을 간과하는 안이한 생각이다. AI의 지적 능력은 인간이 제공한 데이터에 의해 형성된다. 따라서 AI의 잘못된 판단, 편향된 제안은 많은 경우 사회에 만연한 ‘인간적’ 편견이 데이터에 반영된 결과이다. 이에 대해 같은 사회, 똑같은 편견의 영향권 하에 있는 사람이 검수한들 그것만으로 문제가 해결된다는 보장은 없다.
짠맛에 익숙한 사람이 국 간을 보면 짠 국도 싱겁다고 느끼는 것과 같은 상황이다. 미국 NIST의 AI RMF(Risk Management Framework)가 AI 편향을 모델이나 데이터의 문제만이 아니라, 통계적 편향, 인간인지 편향과 조직적 편향도 함께 봐야 한다고 설명하는 이유도 여기에 있다. 결국, 이러한 인간개입은 위험을 줄이는 게 아니라 감추는 것, 책임 회피의 장치가 될 수 있다.
따라서 인간감독에서 중요한 것은 ‘사람이 개입했는가’가 아니라, ‘AI가 어디까지 혼자 해도 되는가’다. AI의 자율범위는, 수행하는 업무의 성격이나 그 업무가 사람에게 미치는 영향, 피해가 생겼을 때 회복이 가능한지 아닌지 등을 기준으로 명확히 규정해야 한다. 이를테면 대출 업무에서도 AI의 단순 추천은 허용될 수 있어도 자동 거절은 제한돼야 할 수 있고, 일반적 사례는 AI의 자율에 맡기더라도 경계선 사례나 소수집단에 대한 불확실한 판단은 인간 담당자에게 넘겨야 할 수 있다.
그리고 이렇게 업무를 넘기는 일이 제때 정확히 이뤄지는지도 감독해야 한다. 신뢰도가 낮아지거나 데이터가 낯설 때, 판단 결과가 개인의 권리나 생계에 중대한 영향을 미치는 것으로 밝혀졌을 때, AI가 곧장 스스로 판단으로 업무를 멈추거나 인간에게 넘기게끔 기술적으로 설계되고 사후 감사를 받을 수 있는 구조도 갖춰야 한다. 이 정도가 시스템으로 완비돼야만 체계적인 인간감독이 작동한다고 말할 수 있다.
이런 이유로, ‘사람이 개입하면 고영향이 아니다’라는 식의 해석을 경계하게 되는 것이다. 이미 AI 오작동이 실재하는 위험성에 대해 체계화된 인간감독이 요구되는 현실에서, 이같이 안이한 접근은, 민감한 분야에라도 그저 최종 결재자만 사람으로 세워두면 규제 대상에서 벗어날 수 있다는 오해를 부를 수 있다. 그렇게 허술한 장치로 안전관리를 대신하게 만드는 것이 AI 기본법 취지는 아닐 것이다.
이제 AI 강국이란 무작정 많은 AI를 만들어 사용하는 나라가 아니라, 더 안전하고 믿을 만한 AI를 우리 삶에 밀착시키는 나라일 것이고, 그렇기에 AI 신뢰 문제에 대해 더 세밀하고 공학적인 접근이 요구되는 것이다.
[출처]
[출처]
