2026-07-27
THINKFORBL COLUMN SERIES
전원오프 스위치를 제품 완성 후에야 넣는다? 공공 AI 발주서의 모순
정보통신신문
2026-07-27
THINKFORBL COLUMN SERIES
전원오프 스위치를 제품 완성 후에야 넣는다? 공공 AI 발주서의 모순
정보통신신문
지난해 국가정보자원관리원 전산실에서 리튬이온 배터리 화재가 발생한 일이 있다. 이 사고로 정부 행정정보시스템 647개가 한꺼번에 차단됐고, 이로 인해 국민신문고, 청원24, 정보공개 등 대민 서비스가 멈췄다. 전체 시스템 복구에 95일이 걸렸고, 일부 기관에서는 민원 데이터가 아예 유실되어 다시 신청을 받아야 했다. 가정집의 정전은 전기를 다시 연결하면 그만이지만, 전산 시스템이 차단되면 데이터와 업무 상황에 복구 불가한 손상을 남긴다. 손상된 것이 공공데이터라면 누군가의 일상, 자산, 안전에 치명적인 피해를 줄 수도 있다.
그런데 인공지능(AI) 시스템은 이러한 시스템 차단이 기본 기능으로 작동해야 한다. AI에 인간 감독이 필요하기 때문이다. 인간 감독은 많은 사람이 생각하듯이 AI가 작동하는 것을 담당자가 화면으로 모니터링하다가 개입하는 방식이 아니다. AI의 속도를 사람이 따라가는 건 불가능하고, AI가 위험한 판단을 수백 번 반복한 다음에야 사람이 “그만해!” 명령하는 건 무의미하다.
시스템이 필요할 때 즉시 안전하게 멈춰야 하고, 그에 대한 권한과 정보가 인간에게 주어져야 한다. 그래서 인간 감독에는 흔히 ‘킬스위치’라 불리는 비상 중단 기능이 사용된다. 그런데 킬스위치가 단지 시스템을 셧다운하는 빨간 버튼이라면, 리튬이온 배터리 화재 사건 때와 같은 문제가 반복될 것이다. 그래서 특정 기능만 멈출지 전체 시스템을 중단할지, 직전의 데이터와 업무 상태를 어떻게 보존할지, 어느 안정 버전으로 돌아갈지가 설계되어 있어야 한다. 또한 애당초 무엇 때문에 셧다운을 해야 했는지, 다시 말해 어떤 모델과 데이터, 설정값에서 문제가 생긴 것인지, 누가 중단을 명령하고 재가동을 승인했는지도 추적할 수 있어야 한다.
여기서 필요해지는 것이 페일세이프 모드(Fail-Safe Mode)다. 페일세이프는 위험이 감지됐을 때 시스템을 무작정 꺼버리는 것이 아니라, 필수 데이터를 보호할 수 있는 안전상태로 전환하는 기능이다. 킬스위치가 “멈춰”라는 명령이라면 페일세이프 모드는 “이런 식으로 멈춰야 한다”는 지침이다. 복지 관련 AI 서비스라면 자동 탈락이나 지급 중단만 정지하고 해당 업무를 인간 담당자에게 넘길 수 있어야 하며, 의료 관련 AI 서비스는 자동 전송을 막되 환자 기록 조회는 유지해야 할 것이다. 제조 로봇이나 자율주행 시스템은 갑자기 전원을 끄는 행위가 더 위험한 사고를 일으킬 수 있어, 먼저 위험구역을 벗어나 안전한 위치로 이동한 후 인간에게 통제권을 넘겨야 한다.
문제는 대부분의 공공 AI 발주서에 이러한 안전장치에 관한 명확한 정책이 없다는 점이다. 정확도, 처리 속도 등 성능 요소는 상세하게 정리되는 반면, 중단과 복구, 안전상태 전환과 같이 공공서비스에서 치명적인 안전 요소는 요구되지 않는다. 이런 식으로 발주되는 이유는, 신뢰성의 경우 일단 개발이 끝난 후 검·인증을 통해 확인하면 된다고 생각하기 때문일 것이다. 하지만 발주할 때 요구되지 않았고 개발할 때 고려하지 않은 기능이, 운영 현장에서 갑자기 생겨날 수는 없다. 건물을 모두 완성한 다음에야 뒤늦게 비상계단과 방화구획을 추가 증축하는 것과 같다. 비용은 커지고 기간은 늘어나며, 경우에 따라선 설계를 처음부터 다시 해야 할 수도 있다.
AI 신뢰성은 완성된 제품에 시행하는 성능 시험이 아니다. 사고가 발생하면 시스템이 어디까지 자율적으로 움직일지, 어디서 어떻게 멈출 것이며 언제 어떤 검증을 거쳐 다시 시작할 것인지를 사전에 설계하는 일이어야 한다. 이런 고려가 없이 빠른 완성과 성능만을 신경 쓴다면 사소한 실수가 리튬배터리 화재와 같은 참사를 불러올 수도 있다. 건물의 안전성이 설계 도면에서부터 확실해야 하듯, 공공 AI의 신뢰성은 발주 조건에서부터 분명해야 한다.
[출처]
[출처]
