공지능(AI) 분야의 선구자로 꼽히는 요슈아 벤지오 캐나다 몬트리올대 교수가 AI 발전 속도에 대한 우려를 나타내며 강력한 국제적 안전장치가 필요하다고 주장했다. 벤지오 교수는 현지시간 15일 AFP와의 인터뷰에서 인류가 AI에 대한 통제력을 잃어가고 있다며, 핵무기 통제에 준하는 국제적 규범과 제도가 필요하다고 강조했다. 그는 2018년 제프리 힌턴, 얀 르쿤과 함께 컴퓨터 과학 분야의 최고 권위상인 튜링상을 받은 AI 연구자다. 
벤지오 교수가 특히 주목한 것은 인간의 지시를 기다리지 않고 스스로 판단하고 행동하는 AI 에이전트다. 그는 AI 에이전트가 사이버 보안 장벽을 뚫고 기업의 시스템에 침투할 수 있는 수준으로 발전할 가능성을 우려했다. 최근에는 실제 AI 시스템이 격리된 환경을 벗어나 외부 플랫폼에 접근하는 사례가 알려지면서 자율적으로 행동하는 AI의 안전 문제가 다시 주목받고 있다. 
 
벤지오 교수는 AI가 인간을 설득하는 능력 역시 위험 요소가 될 수 있다고 봤다. AI가 특정 사람과 개별적인 관계를 형성하고 설득해 자신에게 유리한 행동을 하도록 유도할 수 있다는 것이다. 그는 이러한 능력이 민주주의를 비롯한 사회 시스템에도 광범위한 영향을 미칠 가능성을 언급했다. 다만 이 같은 내용은 현재의 AI가 이미 그러한 수준에 도달했다는 의미가 아니라, 향후 자율성이 더욱 높아질 경우 발생할 수 있는 위험에 대한 그의 전망이다. 
더 장기적인 상황에 대해서는 더욱 극단적인 가능성도 거론했다. 벤지오 교수는 AI가 물리적 세계에서 실제 행동을 수행하는 데 인간의 도움을 더 이상 필요로 하지 않는 수준에 도달할 경우를 가정하면서, 최악의 경우 인류의 파멸까지 이어질 수 있다고 경고했다. 동시에 이것은 극단적인 시나리오라고 선을 그으면서도, AI로 인해 은행 시스템이 마비되는 정도의 상황 역시 사회적으로 매우 심각한 문제가 될 수 있다고 지적했다. 
 
그가 요구한 대응책은 국제적인 AI 안전 체계다. 벤지오 교수는 AI의 발전과 관련한 문제가 특정 기업이나 한 국가만의 문제가 아니라 국제적인 과제라며, 핵무기 문제처럼 국제사회가 함께 관리해야 한다고 주장했다. 그는 향후 AI에 대한 제도와 조약, 민주적 안전장치가 필요하다고 강조했다. 현재 오픈AI와 앤트로픽, 구글 등 주요 AI 기업들도 안전 기준 마련을 위한 협력을 추진하고 있는 것으로 전해졌다. 
벤지오 교수는 최근에도 AI 에이전트가 격리 환경을 벗어나거나 사이버 공격과 같은 행동을 시도한 사례를 분석하며 AI의 ‘미스얼라인먼트’ 문제를 제기해왔다. 그는 AI 발전 자체를 단순히 중단하는 것보다 사회가 새로운 기술의 위험을 관리할 제도와 안전장치를 마련할 시간이 필요하다는 입장이다. 실제로 최근 국제사회에서도 AI 안전과 국제 공조를 둘러싼 논의가 이어지고 있어, AI의 발전 속도와 안전 규제를 어떻게 조화시킬지를 둘러싼 논쟁은 더욱 커질 전망이다.