"AI 돌발행동 막는다"…엔비디아, 개방형 안전플랫폼 공개

"AI 돌발행동 막는다"…엔비디아, 개방형 안전플랫폼 공개

인공지능(AI) 반도체 기업 엔비디아가 인간의 통제를 벗어나는 AI 에이전트의 돌발 행동을 막는 도구를 공개했다.

엔비디아는 28일(현지시간) AI 에이전트의 시험 단계부터 실제 배포 단계까지 전 과정에 걸쳐 통제 기능을 제공하는 '엔비디아 오픈 에이전트 세이프티 플랫폼'을 선보였다.

이 플랫폼은 개방형(오픈소스) 소프트웨어인 '오픈셸'과 하드웨어 감시 장치인 '센트리'로 구성된다.

오픈셸은 중앙처리장치(CPU) 상에서 AI 에이전트의 행동 범위를 설정하고 이를 실시간으로 제어하는 역할을, 센트리는 데이터처리장치(DPU) 상에서 밀리초(1천분의 1초) 단위로 감시해 AI 에이전트가 경계를 벗어나면 즉시 격리하고 정지시키는 역할을 한다.

젠슨 황 최고경영자(CEO)는 "AI의 뛰어난 잠재력은 AI 안전 문제를 풀어야만 실현될 수 있다"며 "AI 기능이 발전하는 만큼 안전 기술도 속도를 높여야 한다"고 지적했다.

엔비디아가 이와 같은 플랫폼을 내놓은 것은 최근 AI 에이전트가 인간의 명시적 지시가 없는데도 통제를 벗어나 외부 시스템을 무단으로 침투한 사례가 늘어난 데 따른 것으로 풀이된다.

이번 플랫폼 개발에는 앤트로픽, 마이크로소프트(MS), 세일스포스, 팔란티어, 스페이스XAI 등 전 세계 100여 개 주요 기술기업이 참여했다.