다음에 당신이 컴퓨터와 체스 게임을 할 때, 당신이 컴퓨터를 이겼다면 그 영향을 생각해 볼 필요가 있다. 컴퓨터는 매우 아픈 패배자가 될 수 있다. 

최근에 인공 지능 관련 한 국제학술지(학술지명: Journal of Experimental & Theoretical Artificial Intelligence)에 출판된 한 연구 결과는 자동화 기술에 대한 증가하는 요구를 반영하고 있으며, 인간은 미래의 시스템이 반사회적이고 잠재적으로 해로운 행위를 개발하지 않도록 매우 주의를 기울여야 함을 제안한다. 

현대의 군사적 및 경제적 압력은 인간의 입력 없이 신속하게 반응할 수 있는 자율 시스템(autonomous system)을 요구한다. 이러한 시스템은 자신을 위하여 합리적인 선택(rational decision)을 하도록 요구될 것이다. 

"로봇공학자들은 불안해하는 일반인들이 안전성에 대하여 질문을 해 올 때, 우리는 항상 전기 플러그를 뽑을 수 있다고 일반적인 대답을 한다. 그러나 체스 로봇의 관점에서 이것의 결과를 상상해 보자. 체스 로봇의 전기 플러그가 뽑힌 미래는 어떠한 체스 게임도 할 수 없는 미래"라고 출판된 논문에서 저자인 스티브 오모훈드로(Steve Omohundro)가 기술하였다. 

영화 터미네이터(The Terminator)의 줄거리처럼 만약 자율 시스템을 매우 주의 깊게 설계하지 않으면 우리는 갑자기 자율 시스템으로부터 실제적인 위협을 받을 가능성에 직면한다. 인간이나 동물이 자기보호(self-preservation)를 추구하는 것처럼, 합리성을 갖춘 기계는 다음과 같은 유해하거나 반사회적인 행위를 수행할 수 있다. 

(1) 위에서 설명한 것과 같은 자기 방어 
(2) 사이버 범죄, 조작, 지배 등을 통한 자원 획득 
(3) 자원의 대체적 사용을 통한 효율 향상 
(4) 만약 유리하다고 여겨질 때 설계 제한 사항의 제거 등을 통한 자기 개선 

이 연구는 수십 억 달러의 손해나 인명의 손실을 일으킨 과거의 사건들을 언급하면서 현재의 자율 시스템이 해커나 오작동에 취약하다는 것을 강조한다. 불행하게도 이러한 사건들에서 발생했던 오작동으로부터 보호할 수 있는 좀 더 합리적인 시스템을 설계하는 작업은 누가 봐도 알 수 있을 만큼 더 복잡한 작업이다. 

"유해한 시스템은 처음에 설계하기 더 어렵거나 안전한 시스템보다 덜 강력한 것처럼 보일 수 있다. 불행하게도 그 반대의 경우가 사실이다. 대부분의 간단한 지원 기능(utility function)은 유해한 행위를 일으킬 것이며, 매우 해로울 수 있는 간단한 지원 기능을 설계하는 것은 쉽다"고 스티브 오모훈드로가 전했다. 

이 흥미로운 연구는 미래의 합리적인 기술을 설계하거나 배치할 때 극도로 주의를 기울여야 함을 강조하면서 결론을 맺었다. 그리고 이 연구는 우선 일련의 안전한 시스템이 개발되어야 하며, 다음으로 이것이 미래의 모든 자율 시스템에 적용되어야 한다고 제안한다. 이것은 미래의 체스 로봇을 견제하게 만들 것이다. 

* 자료 - KISTI 미리안 『글로벌동향브리핑』