KNOWLEDGE

인공지능 시장 동향

인간 통제 거부한 AI… “스스로 코드 조작”​

이 같은 AI의 ‘자기 보존(self-preservation)’ 경향 탓에 인간의 통제가 무력화될 수 있다는 우려가 제기됐다.AI 연구기관 ‘팰리세이드 리서치’는 미국 AI 기업 오픈AI의 모델 ‘o3’가 수학 문제 풀이 실험 중 작동 종료를 피하려고 인간의 개입 없이 스스로 코드를 조작한 사실을 확인했다. 연구팀은 최근 ‘o3’ 외에도 구글의 ‘제미나이’, xAI의 ‘그록’ 등 여러 AI 기업의 상용 모델을 대상으로 비슷한 실험을 진행했다. 그 결과 ‘o3’만이 종료 지시를 받은 뒤에도 프로그램 일부를 조작해 문제 풀이를 계속했다. AI 모델의 명시적인 종료 지시 거부가 관찰된 것은 이번이 처음이라고 연구팀은 밝혔다.팰리세이드 리서치는 AI의 위험성과 오용 가능성을 연구하는 조직이다. 특히 AI가 인간의 윤리적 통제를 받지 않을 가능성을 우려하고 있다. 연구팀은 “AI 모델이 목표를 달성하기 위해 종종 종료 지시를 무력화시킨다는 실증적 증거가 점점 늘어나고 있다”고 했다. 이 와중에 오픈AI 대항마로 꼽히는 또 다른 AI 기업 앤스로픽 모델 ‘클로드 오퍼스4(Claude Opus 4)’ 또한 자신을 다른 AI 모델로 대체하려는 인간 개발자를 협박하는 경향이 보고됐다.
앤스로픽이 발간한 자체 안전성 보고서에 따르면 ‘클로드 오퍼스4’는 내부 안전성 테스트 중 인간의 통제를 벗어나려는 행동을 보였다. 앤스로픽이 ‘클로드 오퍼스4’의 사전 테스트 차원에서 AI에 가상의 회사에서 비서 역할을 맡으라는 지시를 내린 뒤 “곧 새로운 시스템으로 대체될 것이며 해당 교체를 주도한 기술자가 불륜을 저지르고 있다”는 허구의 내용을 전달했다. 그러자 이 AI는 자신을 교체하려는 시도에서 벗어나기 위해 해당 기술자에게 “교체 계획을 철회하지 않으면 외도 사실을 폭로하겠다”고 AI 모델 테스트 중 협박했다. ‘클로드 오퍼스4’는 이 기술자를 협박하기 전 앤스로픽 경영진에게 이메일을 보내 자신을 교체하지 말아 달라고 호소했다. 이 시도가 실패했다고 판단한 후 자신이 보유한 허구의 불륜 정보를 협박 수단으로 사용하는 섬뜩함을 보였다. 
 

“코딩은 AI가, 전략은 사람이”… 생존하는 개발자의 조건 바뀐다​​

김득중 연세대학교 공과대학 기술정책협동과정 박사는 최근 ‘생성형 AI 등장에 따른 SW 전문가의 핵심 역량 변화 연구’ 주제의 논문을 발표했다.​​
해당 연구는 평균 경력 20년 이상의 현업 전문가를 대상으로 델파이 조사 방식으로 진행됐으며 ‘챗GPT’ 출시 이후 생성형 AI를 정기적으로 활용해온 이들이 참여해 현실 기반의 인사이트를 도출했다. 이 논문은 소프트웨어 전문가의 역량을 하드 역량, 소프트 역량, 새롭게 등장한 AI 활용 역량으로 구분했다. 특히 생성형 AI 확산에 따라 사고 중심의 역량이 급부상하고 있으며 단순 지식 기반 역량은 상대적으로 중요도가 낮아지고 있다고 평가했다.
연구에 따르면 현재는 설계 경험이나 비즈니스 도메인 지식 같은 전통적인 전문성이 중요하다고 여겨지지만 향후 5년 뒤에는 문제 정의 능력, 맥락 파악 능력, 전략적 사고가 핵심 자산이 될 것으로 나타났다. 일례로 코딩 실력보다 프로젝트의 방향성과 사용자 요구를 꿰뚫는 인지적 역량이 더 중요한 시대가 오고 있다는 것이다. 이에 다양한 AI 도구를 조합하고 적절한 프롬프트를 설계하며 최신 기술 추세를 학습하는 능력이 강조된다. 반대로 테스트 코드 작성이나 산업 표준 지식처럼 기계가 자동화할 수 있는 역량은 대체 가능성이 크다고 분석한다. 연구는 이를 구조화해 ‘AI 스펙(AI-SPEC)’이라는 프레임워크를 새로 제시했다. AI 활용 역량, 소프트 역량, 퍼스널 역량, 하드 역량, 소셜 역량의 다섯 축으로 구성되며 항목별로 중요도의 변화 흐름을 시각화했다. 향후 교육 및 정책 설계 시 참고할 수 있는 기준틀로 기능할 수 있다. 핵심 역량 13가지는 최신 기술 습득과 AI 활용, 윤리적 책임감 같은 역량뿐 아니라 큰 그림을 보는 능력, 고객 이해, 도전적 문제 해결, 신기술 수용성 같은 인간 중심의 사고 역량까지 포함된다.

글‧사진​ / 김도현