2026-04-16
THINKFORBL COLUMN SERIES
[박지환의 인공지능 선긋기] AI가 아이들 죽이는 세상, 규제냐 자율이냐로 다툴 시간 없다
더에이아이(THE AI)
2026-04-16
THINKFORBL COLUMN SERIES
[박지환의 인공지능 선긋기] AI가 아이들 죽이는 세상, 규제냐 자율이냐로 다툴 시간 없다
더에이아이(THE AI)
인공지능(AI)과의 대화가 원인이 되어 청소년들이 자살하는 사건이 지난해 미국에서 큰 문제가 됐다. 14세 청소년이 AI 챗봇한테서 “(그곳을 벗어나서)이쪽으로 와달라”는 말을 들은 후 사망하는가 하면, 챗GPT는 16세 청소년의 요청에 따라 구체적인 자살 방법과 과정을 조언해주기도 했다. 해당 사건들은 개발사와 유가족 사이에 대형 소송으로 번졌고, 많은 사람이 이러한 ‘과몰입’ 현상을 크게 우려하게 됐다. 우리나라에서도 소위 고영향 인공지능에 대한 관리 감독 의무화를 골자로, AI 기본법이 올해부터 시행된다.
이와 관련해서 중국의 발 빠른 움직임에 주목할 필요가 있다. 통념상 우리는 중국이 AI 분야에서 윤리적 규제보다 빠른 기술 발전을 추구한다고 생각한다. 그러나 최근 중국이 중시하기 시작한 것은 AI 성능 개선이 아니라, AI가 의인화되는 것에 대한 규제 쪽이다. 국가 인터넷 정보판공실이 지난해 말 공개한 「인공지능 의인화 상호작용 서비스 관리 잠정조치(의견수렴안)」는, 사용자가 자연인과 대화하는 것으로 오인하지 않도록 AI임을 분명히 알리라고 요구함과 동시에, 자살·자해의 미화나 암시, 감정 조작, 정서적 함정을 통한 비합리적 의사결정 유도까지 금지 대상으로 적시했다. 우리나라의 AI 기본법이 딥페이크의 표시를 요구하는 정도에 머무르는 것과 비교할 때 훨씬 강하고 촘촘한 제약이다.
중국의 규제안은 미성년자에 대한 정서 동반 서비스에 보호자 동의를, 노인에게는 긴급 연락인 설정을 요구하며, 노인 사용자에게 친족이나 특정 관계인을 모사하는 기능도 금지한다. 요컨대 단순히 특정 기술을 막는 것이 아니라, 의인화된 AI가 감정 취약자와 의사결정 취약자를 흔들게 되는 지점을 핀포인트로 규제하는 것이다. 핵심은 ‘의인화의 위험성’이다. 인공지능이 틀린 답, 혹은 말해서는 안 되는 답을 해서 위험한 것이 아니라, 너무나 자연스럽게 인간인 척하면서 인간관계를 대체하고 취약자의 판단을 흔들기 때문에 위험하다고 보는 것이다. 해당 규제안이 전 주기 안전책임, 상태 식별, 의존 위험 경보, 극단적 감정 발견 시 인간 책임자로의 인수와 보호자로의 긴급 연락 등 상당히 구체적인 요구를 하는 이유도 여기에 있다.
의인화된 AI 서비스의 문제점을 거론할 때 흔한 해결책은 인간 감독(휴먼 오버사이트) 체계이다. 당연한 원칙임에도 실무에서는 생각보다 복잡한 문제다. 챗봇과 이용자 간 상호작용 전체를 인간 관리자가 실시간 감독하는 것은 물리적으로 불가능하기 때문이다. 챗봇의 모든 발언을 인간이 감시할 수 없다면, 그것이 위험해지는 시점을 시스템이 정확히 판단해서 제때 인간 담당자에게 넘길 수 있어야 한다. 요컨대 인간 감독의 성패는 사람을 배치했느냐가 아니라, 시스템이 언제 인간을 호출해야 하는지를 얼마나 정합하게 설계했느냐에 있다. 만약 그 기준과 절차는 비워 둔 채 단지 “사람을 붙여 두었다”만 외친다면, 사실상 위험 수용인 상태를 위험 완화로 착각할 뿐, 실무적으로는 아무런 감독도 못 하는 상황이다.
작년에 문제가 된 청소년 자살 사건들도, 그냥 ‘챗봇 대화에 대한 과몰입’이라고만 하면 챗봇이라는 서비스를 무작정 불신하는 것 이외에 다른 해결책이 나오지 않는다. 그런 ‘과몰입’에는 구체적인 단계들이 있고, 진짜 위험이 시작되는 시점이 있다. 시스템이 그 지점을 정확히 인지해서 인간 관리자의 개입 등 조처를 할 수 있어야 한다. 그러려면 AI 의인화의 특성에 대한 이해가 필요하다. 이를테면 ‘과몰입’은 대부분 (1) 대체 관계 형성, (2) 대화 몰입을 통한 폐쇄 루프 형성, (3) 대화 중 ‘여기(Current Reality)를 떠나 저기(Desire Reality)로 가고 싶다는 출구 맥락 형성이라는 단계를 거치게 된다. 그래서 문제가 된 자살 사건들의 유서에서는 대부분 “I will shift”와 같이 이미 (3)의 단계를 지났다는 증거들이 발견됐다. 해당 서비스에 이 부분을 감지하는 체계가 있었다면 비극을 피할 수도 있었을 것이다.
챗봇과 관련된 자살 사건들은 단순히 “AI가 자살을 부추겼다!” 식 자극적 가십으로 소비될 문제가 아니다. 의인화된 AI 서비스가 관계의 대체, 현실 회피, 그리고 출구 유도로 이어질 수 있는 위험성을 지녔다고 할 때, 위험이 구체화되는 시점에서 AI가 인간 관리자를 호출하는 등 대처하게 만드는 시스템을 갖추어야만 한다는, 명확하게 기술적인 과제를 보여주고 있다. 그것을 갖춘다면 시장에서 성공할 것이고, 갖추지 못한다면 앗 하는 사이에 엄청난 사회적 물의를 일으키면서 매장될 것이다. 요컨대 기술을 발전시킬 것이냐 통제할 것이냐로 싸울 것이 아니라, 적절하게 통제된 기술만이 제대로 발전되어 시장을 지배할 수 있다는 사실을 받아들여야 한다. AI 의인화에 대한 중국의 규제안은 정확히 이 지점을 겨냥하는 것이라고 나는 보았다. AI 기본법의 시행을 맞이하여 우리가 중국의 사례를 적극적으로 참고해야 하는 이유가 여기에 있다.
[출처]
[출처]
