[Nature] AI, 마인크래프트 마스터하다

DeepMind 프로그램, 학습 없이 다이아몬드 찾아낸다

인공지능(AI) 시스템이 처음으로 인기 있는 비디오 게임 Minecraft에서 다이아몬드를 수집하는 방법을 알아냈다. 이는 여러 단계가 필요한 어려운 작업이지만 플레이 방법을 보여주지 않았음에도 다이아몬드를 수집하는 방법을 알아 낼 수 있었다. 시스템 개발자는 Dreamer라고 불리는 이 시스템이 한 도메인에서 학습한 지식을 새로운 상황으로 일반화할 수 있는 기계로 나아가는 단계라고 전했다.

캘리포니아주 샌프란시스코에 있는 Google DeepMind의 컴퓨터 과학자 다니자르 하프너(Danijar Hafner)는 “Dreamer는 일반 AI 시스템을 향한 중요한 발걸음을 나타낸다”라고 말하며 “AI가 물리적 환경을 이해하고 시간이 지남에 따라 스스로 개선할 수 있게 해주며, 인간이 정확히 무엇을 해야 할지 말할 필요가 없다”고 주장했다.

하프너와 그의 동료들은 4 월 1일에 Nature에 게재된 연구에서 Dreamer를 설명하고 있다.

Minecraft에서 플레이어는 숲, 산, 사막, 늪을 포함한 다양한 지형이 있는 가상의 3D 세계를 탐험한다. 플레이어는 세계의 자원을 사용하여 상자, 울타리, 칼과 같은 물건을 만들고 가장 귀중한 것 중 하나인 다이아몬드를 포함한 아이템을 수집한다.

중요한 것은, 하프너는 두 가지 경험이 동일하지 않다는 것이라고 말한다. 그는 “마인크래프트를 플레이할 때마다 새로운, 무작위로 생성된 세계입니다”라고 강조했다. 이는 연구자들이 한 상황에서 다른 상황으로 일반화할 수 있기를 원하는 AI 시스템에 도전하는 데 유용하다. 그는 “당신은 눈앞에 있는 것을 정말로 이해해야 합니다. 특정 전략을 암기할 수는 없습니다”라고 말했다.

캐나다 밴쿠버에 있는 브리티시 컬럼비아 대학교의 컴퓨터 과학자 제프 클룬(Jeff Clune)은 다이아몬드를 수집하는 것은 “매우 어려운 작업”이라고 말한다. 그는 인간의 놀이 영상을 사용하여 다이아몬드를 찾는 프로그램을 훈련시킨 별도 팀에 속해 있었다. 

“이것이 인공지능 분야에서 큰 진전을 나타낸다는 데는 의심의 여지가 없습니다.”

다이아몬드는 영원하다

하프너에 따르면 AI 연구자들은 다이아몬드를 찾는 데 주력해 왔다. 나무를 찾고 나무를 부수어 목재를 모으는 등 일련의 복잡한 단계가 필요하기 때문이다. 플레이어는 이 목재를 이용해 제작대를 만들 수 있다.

이것을 더 많은 나무와 함께 사용하면 나무 곡괭이를 만들 수 있습니다. 플레이어가 올바른 도구를 조립하여 깊은 지하에 묻힌 다이아몬드를 수집할 때까지 계속한다.

AI 시스템이 다이아몬드를 수집하도록 하려는 이전 시도는 인간의 놀이 영상을 이용하거나 연구자들이 시스템을 단계별로 안내하는 방식에 의존했다.

이와 대조적으로 Dreamer는 강화 학습이라는 시행착오 기법을 사용하여 게임에 대한 모든 것을 스스로 탐구한다. 보상을 받을 가능성이 높은 행동을 식별하고 이를 반복하며, 잘못된 행동은 버리게 된다. 강화 학습은 AI의 주요 발전을 뒷받침한다. 하지만 이전 프로그램은 전문가였다. 즉, 새로운 도메인에 대한 지식을 처음부터 적용할 수 없었다.

*Source : https://www.nature.com/ 

By Celeste Biever, “AI masters Minecraft: DeepMind program finds diamonds without being taught”