신뢰성 전문가도, 교육체계도, 위기의식도 없는 나라 ‘한국’
중국 등 AI 선진국은 ‘AI 안전’ 치밀하게 준비… 韓과 대조적
GPU 구매만으로 AI 경쟁력 올라가지 않아, 현명한 로드맵 구상해야

[편집자 주] 조선미디어그룹이 설립한 인공지능 전문매체, ‘더에이아이(THE AI)’가 창간 5주년을 맞이했습니다. THE AI는 생성형 AI 열풍이 불기 전부터, AI 가능성과 한계를 탐구하며 깊이 있는 취재와 분석을 이어왔습니다. 이번 5주년 특집에서는 국내외 AI 석학 및 전문가들과의 인터뷰를 통해 AI 기술의 현재와 미래를 조망합니다. AI 혁명의 최전선에 서 있는 여러 전문가의 통찰과 비전을 독자 여러분께 전합니다. 많은 관심과 성원 부탁드립니다. 

 ​박지환 씽크포비엘 대표는 “현재 한국은 AI 안전에 있어 아무것도 준비돼 있지 않았다”고 지적했다.​​

 ​박지환 씽크포비엘 대표는  “딥시크가 나왔을 때 한국은 중국을 부러워만 했다”면서 “AI 안전에서도 같은 모습을 보여선 안 된다”고 조언했다.​

​
- 최근 AI 시장은 온디바이스 AI를 넘어 AI 에이전트, 피지컬 AI 등 현실에 활용이 많아질 정도로 성장하고 있다. 그만큼 위험성도 커질 것 같은데.​
“컴퓨터 안에 있던 AI가 바깥세상, 즉 현실로 나오고 있다. 가상에 머물러 있던 AI가 현실 세계로 나오다 보니 영향력은 커질 수밖에 없다. 안전, 윤리, 법적 문제가 발생할 것이고 사고가 터지면 피해 규모가 클 수 있다. 여기서 문제는 크게 두 가지다. 하나는 책임 소재다. 사고가 나면 누가 책임을 질 것인지에 대한 논쟁이 불거질 것이다. 법이든 제도든 아직 제대로 정비가 안 된 상태라 책임소재가 모호하기 때문이다. 다른 하나는 이를 예방하기 위한 기술적 접근이 없다는 점이다. 문제가 발생해도 이를 해결할 수 있는 마땅한 해결책이 없다. 또 이를 문제라고 볼 수 있는 사람도 없다. AI 안전이 중요하다면서 아직 이를 관찰하고 해결할 수 있는 기술이 성숙하지 못했다. 큰 문제다.”​

- AI 안전이 탑재되지 않으면 어떤 위험이 생길까. 지금은 할루시네이션 현상만 많이 알려져 있다.​
“최근 많이 얘기되고 있는 AI 에이전트를 생각해 보자. 금융 쪽 에이전트가 항상 좋은 결과를 가져오진 않는다. 재산이 손실될 수 있다. 교육 쪽 에이전트가 등장한다면 이 에이전트가 정말 아이들을 잘 지도할까. 잘못된 사상으로 학생들을 지도한다면 큰 논란이 생길 수 있다. 산업 쪽은 사람들의 생명을 다치게 하는 사고가 날 수 있다. AI가 오동작하면 현장에 있는 사람이 다치게 된다. 여태까지 산업 현장에서 AI와 로봇으로 벌어진 사고도 여럿 된다. 국방에 활용되는 AI가 아군이 포로로 잡힌 적 기지를 공격할 수도 있다.”

- AI는 하나의 도구로 활용된다. 의사결정을 모두 사람이 한다면 그 위험성은 적을까.​
“점심 메뉴를 선택해야 한다. AI가 한 달간 내가 먹은 음식과 영양소를 분석해 음식을 추천해 준다고 가정해 보자. 그동안 중식을 먹지 않아 AI가 짜장면과 짬뽕을 먹으라고 추천해 줬다. 무엇을 먹을 것인가? 여기에 선택지는 2개다. 탕수육은 없다. 볶음밥도 없다. 사람이 의사결정을 한다고 하더라도 어느 정도 선택지는 AI라는 도구가 제공한다. 전쟁 상황에서 지휘관이 빠르게 결정해야 하는데 AI가 3가지 선택지를 준다면, 그 외의 선택지는 생각하기 힘들다. 사람이 AI로 인해 오류에 빠지는 것이다. 그런데 그 3가지 선택지에 아군이 모두 다칠 수 있다면. 이 때문에 그 AI가 아군의 상황에 맞게 선택지를 주는지 살펴야 한다. 그것이 안전이다.”

- AI 안전을 구축하기 위해 가장 필요한 것은 무엇일까.​
“AI 안전과 신뢰성을 얘기하다 보면 궁금증이 있다. ‘이것을 전문적으로 다룰 사람이 있는가’다. AI 산업이 뜨면서 가장 강조됐던 것이 인재 양성이었다. 지금도 이 안건은 중요하게 다뤄진다. 그런데 AI 안전을 얘기하면서 신뢰성 관련 인재 양성에 관해선 진척이 없다. AI 신뢰성은 이 분야 전문가가 필요하다. 하지만 국내엔 이 분야 전문가가 없다. 이보다 더 심각한 것은 그 전문가를 양성할 교육체계 자체가 아예 없다는 점이다. AI 신뢰성 전문인력을 양성할 교육기관이나 교육 프로그램, 제도 등이 전혀 준비되지 않았다. 이 분야는 완전 전문 기술 분야라 인재를 단기간에 양성할 수 없다. 간단히 해소될 일이라면 구글이나 메타, 테슬라, 마이크로소프트, 아마존 등 빅테크 기업은 모두 해결했을 것이다. 그만큼 어렵다. 그런데 더 큰 문제가 있다. 이 상황의 심각성 자체를 모른다는 것이다.”

- AI가 가진 잠재적 위협은 많다. 사용자들은 이에 어떤 자세를 가져야 할까.​
“AI를 믿지 말라고 하고 싶다. 이 말이 극단적으로 들릴 수 있다. 그런데 생각해 보자. AI가 인간이 할 수 있는 일을 대신하는 방향으로 개발되고 있다. 이는 ‘인간이 저지를 수 있는 나쁜 짓’도 AI가 거뜬히 해낼 수 있다는 뜻이기도 하다. 최근 여러 대형언어모델(LLM)에 마피아 게임을 시킨 연구가 있었다. 연구 결과가 재밌다. 앤트로픽의 클로드(Claude)가 마피아로 출전했을 때 다 이겼다고 한다. 14경기에 마피아로 나섰는데 100% 전승을 했다. 이 과정에서 클로드는 다른 LLM을 모함하고, 동료가 걸리면 가차 없이 배반했다. 토론 주도권을 쥔 LLM을 견제하는 모습도 보였다. 인간이 보여줄 법한 치밀한 ‘생존술’을 AI도 그대로 시연한 것이다. 그 이후, 앤트로픽에서는 AI의 숨은 의도를 찾기 위한 블라인드 감사 실험을 진행했다. 그 결과 4팀 중 정보를 받지 못한 감사팀은 AI가 이상하다는 징후조차 전혀 파악하지 못했다. 즉, AI가 위장하고 정렬된 척하기 시작하면 인간의 지적 능력과 정보력만으로는 그 속내를 발견하기가 쉽지 않다는 것이 드러난 셈이다.”

- AI가 사람을 먼저 기만할 일이 생길까.​
“A물론 AI가 인간을 상대로 일부러 기만하거나 어떠한 악의적인 의도를 가지는 영화 같은 일은 생기지 않을 것으로 본다. 하지만 AI는 인간이 학습시키는 것이다. 그리고 여기에 사용되는 학습 자료는 수많은 인터넷 데이터다. 유튜브에 방치된 어린아이가 스스로 올바른 가치관과 도덕관을 함양할 수 있을까. 아니다. AI는 우리 사회에 만연한 이기적이고 부덕한 인식이 데이터를 학습한다. 이 AI가 올바른 가치관을 형성할 수 있을까. AI는 우리 인간의 모습을 너무나도 적나라하게 투영하면서 기가 막힐 만큼 정교한 판단을 한다. 문제는 AI 활용에서 시작한다. 기술이 똑똑해질수록 인간은 점점 더 무능력해지는 역설적 상황에 직면하게 된다. 자동화 편향으로 인해 인간이 ‘판단의 무능력 상태’로 빠질 수 있다. 이 상황에서 AI가 잘못된 결정을 내린다면? 이 때문에 적어도 당분간은 사용자가 AI를 끊임없이 의심하고 경계하는 태도를 유지하는 것이 중요하다. AI를 경계하는 것은 아니다. 사람을 경계하는 것이다. AI는 사람의 데이터를 학습했기 때문이다.”​

- 주요 AI 기업들은 저마다 AI 윤리 원칙을 세우는 등 안전 확보에 노력하고 있다. 또 어떤 노력이 필요할까.​
“윤리 원칙을 줄줄 외운다고 AI가 자동으로 착해지는 건 아니다. 의사가 도덕적이라고 해서 수술까지 잘하는 것이 아닌 것과 같은 이치다. 착하고 바른 마음은 어디까지나 사람들 간에 사이좋게 지낼 때 필요한 덕목이다. 정작 AI를 통제하고 제어하려면 기술적인 전문성이 필수다. 단순히 ‘AI한테 착하게 행동하라’고 설득할 것이 아니라면, 이제는 구체적이고 전문적인 기술을 만들어야 한다. 데이터 편향 감지, 실시간 모니터링·패치 시스템, 안전 프레임워크 등이 대표 기술이다. 이러한 통제 기술을 활용하려면, 당연히 고도의 전문성이 필요하다. ‘AI 윤리’를 숙지한 인력도 중요하겠지만, 실제로 시스템 레벨에서 제어할 줄 아는 엔지니어와 연구자가 충분히 확보되지 않으면, 윤리 선언만 그럴듯하게 남고 실효성은 떨어질 수밖에 없다.”

- 씽크포비엘은 AI 신뢰성 기업으로서 AI 안전 향상을 위해 어떤 노력을 해왔나.
“과학기술정보통신부가 발간한 『신뢰할 수 있는 인공지능 개발 안내서』에서 6개 산업 분야 전 영역에 걸쳐 제작에 참여했다. 전 분야를 다뤘다. 또 국내에서 유일하게 AI 성숙도 진단 모델을 직접 연구·개발해, 국내외 다양한 기업을 대상으로 진단 컨설팅도 해오고 있다. 진단 항목이 1700여 항목이다. 방대하면서도 깊이 있다. 데이터 편향분석 관련 기술도 보유 중이다. 이 기술은 한국정보통신기술협회(TTA) 단체 표준으로 7건이 채택된 상태다. 알려진 바로는 공공기관에서 구축한 데이터에 대해서 중복성·편향성 진단과 평가 작업에 해당 기술이 쓰였다. 교육도 진행 중이다. AI 신뢰성 전문가 양성 교육 프로그램을 만들어 국내외를 대상으로 교육하고 있다. 이 모든 활동이 국내에서 유일하게 진행하고 있다는 점이다.”

- 정부와 타 기업에서 관심갖지 않는 일들을 홀로 해오는 것 같다.
“그만큼 중요하다고 보기 때문이다. 정부도 기업도 사용자도 모두 AI 신뢰성과 안전이 중요하다고 얘기하지 않는가. 그런데 제대로 움직이는 곳은 없다. 처음에는 국내에서 유일하다는 자부심이 있었다. 하지만 이제는 두렵다. 모두가 다 중요하다면서 이 시장은 쳐다보지 않는다. 난 괜찮은데, 우리 직원들이 이 분야만 연구하다가 나중엔 나이가 들어 쓸모없는 기술만 익히고 있을까 두렵다. 정말 힘들게 열심히 하고 있지만 다 쓸모가 없는 경험이 될까 겁난다. 국제연대 TRAIN에서 만난 중국, 베트남 정부와 기관, 기업은 우리 기술에 관심이 많다. 하루에도 몇십 번씩 우리가 연구해 온 성과들을 다 판매하고 그 돈을 밑천 삼아 돈 되는 사업을 할까 고민한다. AI 안전이 중요하다면서 왜 아무도 관심을 두지 않는가. 그렇다면 AI 안전이 중요하다는 말을 하지 않았으면 좋겠다. 정부도 기업도 모두 마찬가지다.”

- 정부에서는 국가 차원의 AI 인증을 준비하고 있는 것으로 안다. 일종의 평가도구를 만들어 AI가 어떻게 만들어지는지를 확인하는 절차 인증, 만들어진 AI가 이상이 없는지 확인하는 결과인증에 관심이 높더라.
“AI 인증의 오류에 빠져선 안 된다. ‘AI 인증’이라고 하면 왠지 그럴싸해 보인다. 기업은 ‘우리 인증받은 AI니까 안전해요’라는 마케팅 포인트가 생가고, 소비자는 ‘안심하고 쓸 수 있겠다’는 확신이 생긴다. 문제는 그 인증이 진짜 ‘안전 보증’이 되냐는 것이다. 원래 인증은 ‘정부나 공적인 기관이 책임지고 이 기술이 안전하다고 보증한다’는 뜻이다. 그런데 아직 AI를 완전히 통제하거나 검증할 만한 기술과 기준이 제대로 없다. ‘이 약은 안전하니 마음 놓고 드세요’라고 말하는데, 정작 그 약이 안전한지 판별할 수 있는 장비나 방법이 지구상에 없는 것이다. ‘AI가 진짜 얼마만큼 안전한지’, ‘위험이 전혀 없는지’ 평가할 장치가 부실한 상황에서 인증서만 덜컥 줘버리면 소비자는 ‘안전하다’고 믿고 사용할 것이고, 여기서 사고가 발생하면 누가 책임질 것인가. 전 세계적으로도 아직 AI 인증이 본격화되지 않은 이유가 AI 개발 속도나 위험 요소가 워낙 빠르게 변하고 복잡해서 ‘안전하다’고 자신하기 어렵기 때문이다.”

- AI 인증이 긍정적인 효과를 가져올 수도 있다. 인증을 받기 위해 최소한의 안전 체계는 구축하지 않을까.
“물론 인증 제도가 기업들의 AI 안전과 신뢰성 투자를 촉진할 수도 있다. ‘인증이 없으면 시장에서 밀린다’는 압박이 생기면 자연스럽게 안전·윤리에 공을 들일 수 있다. 소비자 보호 차원에서도 개인정보 보호, 결과 해석 가능성 등 최소 안전 기준을 요구하는 것이 나쁜 일이 아니다. 그런데 지금 기술적으로 미흡한 상태에서 인증을 남발해 버리면 역효과가 날 수 있다. 기업도 인증서를 획득한 후 그 이후로는 안전 투자나 모니터링을 게을리할 수 있다. ‘이미 인증받았는데 뭘 더해?’라는 식의 태도가 만연해질 수 있다. 결국 AI 인증이라는 딱지는 문제를 해결하는 만능 열쇠가 아니다. 핵심은 AI가 실제로 운영될 때 얼마나 안전하게 동작하는지 지속 점검하고 문제가 생기면 즉각 대응할 수 있는 제도·기술·인력이 제대로 갖춰졌느냐에 있다. 보여주기식 제도를 만들기보다는, 장기적 시각에서 AI 통제 기술 연구와 전문과 양성, 정기 검사·갱신 프로세스 등에 투자해야 한다.”

- 신뢰할 수 있는 AI 국제연대 ‘TRAIN’을 설립한 것으로 안다. 그 이유는 무엇인가.
“혼자 할 수 없기 때문이다. 결국 해외 시장으로 가야 하는데, 이를 위해선 해당 국가들과의 교류가 필요하다. 우리의 시스템이나 기술을 해외에서도 받아들이고 존중해주길 바란다면, 같이 논의하고 만들어가는 과정이 필수라고 생각했다. 우리가 단독으로 간다면 작은 시장에서 고군분투해야 하지만, 함께라면 시장 규모도 키울 수 있고 시장도 더 빠르게 형성될 것으로 생각한다. 아시아 연대를 통해 서로 나누고 논의하면서, 한 걸음 다가가는 길을 택했다. TRAIN 활동은 활발히 이뤄지고 있다. 지난해 서울에서 1회, 태국 대만에서 2회 심포지엄을 개최했다. 올해는 중국 상하이에서 3회 심포지엄 개최를 논의하고 있다. 그사이 전북도청, 광주시청, 경남TP, 서울시청 경기도청, 인사혁신처 등 공공기관 실무자들을 대상으로 순회 세미나도 열었다. 지난해엔 베트남 다낭에 있는 DSAC와 함께 ‘인공지능 신뢰성 DAY’ 행사를 열어, 현지 기업 약 80곳과 네트워킹을 진행했다. 관련해 베트남에서 계속 협력 요청이 오고 있다.”

 ​박지환 씽크포비엘 대표가 설립한 TRAIN은 지난해 10월 태국에 방문, ‘신뢰성 데이: 한국-태국 TRAIN 워크숍(Trustworthiness Day: Korea-Thailand TRAIN workshop)’을 개최했다.​

​
- 최근 중국이 딥시크를 선보였다. AI 모델과 데이터, 인프라가 클수록 높은 성능이 나온다는 스케일링 법칙에 도전한 사례로 관심받았다.​
“AI 시장의 경쟁력을 단순히 ‘인프라’나 ‘대형 모델’ 보유 여부만으로 치부하는 시대가 끝날 수 있다는 가능성을 보여줬다. AI 경쟁력은 수평적 관점과 수직적 관점으로 볼 수 있다. 수평적 관점은 데이터, 모델, 서비스, 온디바이스, AI 반도체, 피지컬 AI 등 AI에 관한 것이다. 수직적 관점은 금융, 제조, 우주항공, 로보틱스 등 산업별 특화 AI로 볼 수 있다. 수평적 관점에서의 경쟁력이란, ‘중간 플랫폼’ 역할이다. 데이터 전처리, 보안, 클라우드, 온디바이스 AI, 피지컬 AI 등 수익성 높은 시장이 있다. 굳이 초거대 투자 없이도 틈새시장을 노릴 수 있는 매력이 있다. 수평적 영역은 AI가 산업 전반을 파고들면서 무섭게 확장되고 있다. ‘가장 앞선 모델’이 없어도 플랫폼을 설계하고 서비스를 연결하는 혁신적 업체가 새로운 가치를 만들어낼 수 있다. 중국의 마누스(Manus)처럼 갑자기 등장한 기업이 시장을 휩쓸 수도 있다. 수직적 관점에서 보면 각 나라·기업이 제 나름의 특화된 산업과 AI를 접목해 혁신하려 할 것이다. 일례로 영국은 금융, 독일은 제조, 프랑스는 우주 항공, 일본은 로보틱스 등 전통적으로 잘하는 분야가 있으니 여기에 AI를 접목할 것이다. 문제는 AI가 전방위로 퍼지고 복잡성도 넘쳐난다는 건데, 산업마다 필요한 데이터, 모델, 규제 요구사항이 제각각일 테니, 어느 순간 보면 춘추전국시대가 열릴 듯싶다. 다 정돈되고 나면, 특정 분야에서 특정 국가나 특정 기업이 독보적 우위를 차지하게 되겠지만, 그게 언제, 또 누가 될지는 아직은 모르겠다.”

- 한국은 여기서 어떤 경쟁력을 높여야 할까.
“인프라나 대형 모델 쪽에서 미국, 중국을 단시간에 추월하기는 어렵다고 본다. 100조를 투자해도 어렵다. 그렇다면 차라리 수평적·수직적 산업 영역을 세분화해서 ‘어느 부분을 우리가 주도하고 어느 부분은 과감히 협력할 건지’를 짜임새 있게 설계해서 로드맵을 만드는 것이 훨씬 현명한 전략이라고 본다. 한마디로, 우리가 잘할 수 있는 곳부터 제대로 파고들자는 얘기다. 그렇게 경쟁 우위를 확보할 수 있는 분야부터 하나씩 안정적으로 쌓아 올려야, 결국엔 나중에 전체 AI 패권 다툼에서도 주요 플레이어로 자리 잡을 수 있을 것이다.”

- AI 안전도 경쟁 우위를 확보할 수 있는 분야로 보는가.
“AI 기술이 커질수록 데이터 프라이버시, AI 윤리, 보안, 표준 같은 문제들도 덩달아 중요한 이슈가 될 것이다. 많은 나라가 이 주제들을 방어적으로 때로는 공격적으로 이용하며 기술 패권 선두에 서려고 할 것이다. 결국 규제와 제도도 하나의 무기가 되어, 부족한 기술을 보완하거나 경쟁자를 막는 전술로 쓰일 수 있다. 지금 한국은 주요 길목에 서 있다. 지금 상황을 보면 AI 안전에 대한 전문인력도, 교육 제도도, 위기의식도 없는 상황에서 예산은 다 그래픽처리정치(GPU)에 투자하는 분위기다. 소프트웨어 기술이나 신뢰성 기술에 투자하는 선진국들과는 다른 행보다. GPU가 필요없다는 것은 아니다. 다만, 한정적인 예산에서 차기 미래를 확보하려면 현명한 로드맵이 필요하다는 것이다. AI 안전도 투자해야 한다. GPU 구매 비용의 100분의 1만 안전에 투자하면 어떨까. GPU 몇십 장 줄어든다고 국내 산업에 변화가 찾아오지 않는다. 하지만 안전은? 상당한 변화를 초래할 수 있다.”​

- TRAIN을 운영하며 타국 상황을 잘 알 것 같다. 다른 국가들은 AI 안전에 열심히 인가.
“중국을 비롯한 몇몇 국가들은 정말 치밀하게 준비하고 있는 것이 보인다. 벌써 눈에 보이지 않는가. 이미 중국은 국가가 추구하는 최고 안전인 ‘사회 안전’에 많은 투자를 했다. 우리와 안전 우선순위만 다를 뿐 자국이 필요한 AI 안전에 상당히 앞섰다. 우리가 중요시하는 신뢰성, 편향성 등에 대해서도 무서울 정도로 치밀하게 준비하고 있다. 지금 우리는 무엇을 하고 있나. 언젠가는 ‘왜 미리 신뢰성 전문가를 키우지 않았나’라는 후회가 나올 수 있다. 그때도 미국과 중국만 보고 부러워하지 않길 바랄 뿐이다. 우리가 코로나 때 K-방역을 성공적으로 수행했다. 다른 국가들이 부러워할 정도였다. 당시 우리는 메르스 이후 재난에 철저히 준비했기 때문이다. AI 안전에 대해서도 준비해야 한다. 잘 준비가 된 상황에서 문제가 발생했을 때 잘 대처한다면? 다른 국가들이 한국 AI를 부러워할 것이다.”




[출처]​
- 관련 기사 :
https://www.joseilbo.com/news/htmls/2024/02/20240222510395.html

- 사진 :
THE AI​

​​