‘마피아게임’에 속수무책 당하는 인공지능

챗지피티에 대한 뜨거운 관심이 흘러넘치고 있다. 하지만 조금 더 관심이 가는 뉴스는 카타고(Katago)라는 최고 수준의 바둑 인공지능이 인간에게, 그것도 정상급 프로 기사가 아닌 한 아마추어에게 15전 14패로 참패한 사건이다. 바둑 인공지능과 챗지피티는 모두 심층신경망을 기반으로 작동한다. 따라서 여기서 노출된 바둑 인공지능의 취약점은 챗지피티에도 동일하게 적용된다. 올해는 심층신경망의 놀라운 성과와 약점이 동시에 등장한 특이한 시점이다.
알파고(AlphaGo)는 대중에게 가장 큰 충격을 안겨준 인공지능으로 평가받는다. 2016년 구글은 바둑 인공지능을 들고 챔피언에게 대결을 신청했다. 당시 대부분은 이세돌의 압승을 예상했다. 바둑판 19×19의 격자에 흑백의 돌이 놓이는 순서가 만드는 경우의 수는 전 우주의 원자 수보다 많기 때문이다. 이 모든 경우를 따져 프로그램한다는 것은 애초에 불가능하다. 알파고 전에도 바둑 인공지능은 많았지만 성능은 형편없었다. 그런데 갑자기 이세돌을 능가하는 프로그램이 등장했을 가능성은 없어 보였다.

하지만 이전과 다르게 구글의 인공지능은 심층신경망이라는 무기를 장착하고 있었다. 알파고는 당시 바둑의 정석과 기보들을 전부 학습하였고, 스스로 바둑을 두면서 자신의 심층신경망을 다듬었다. 엄청난 데이터를 바탕으로 이길 수 있는 최선의 수를 찾는 것에 특화가 되어 있는 상태였다. 그 결과 5전 4승으로 이세돌을 꺾으며 충격을 안겨 주었다. 이후 인간이 바둑 인공지능을 이길 수 없다는 것이 상식이 되었고, 바둑계도 큰 변화를 겪어 왔다.
그런데 7년 전 세기의 대결에서 주목해야 할 것은 이세돌의 패배가 아니라, 4번째 대국의 78번째 수다. 승리를 판가름한 이 수를 이세돌은 꼼수라 자평하지만, 사람들은 ‘신의 한수’라 평가한다. 거기에서 인공지능이 인간을 이길 수 없는 핵심, 구체적으로는 심층신경망의 약점이 드러났기 때문이다. 세 번을 내리 진 이세돌은 정석으로는 이길 가능성이 없다는 것을 본능적으로 느꼈을 것이다. 그리고 기존에 존재하지 않았던 78수를 던진다. 당시 중계를 보던 많은 바둑 전문가들이 어리둥절했던 것처럼, 알파고도 제대로 대응하지 못했다.

훈련한 대로만 작동하는 심층신경망
심층신경망은 일종의 거대한 다변수 통계 프로그램이다. 통계는 과거 데이터를 분석해 미래를 예측하는 패턴을 찾는 작업이다. 알파고의 심층신경망은 정석과 기보들을 바탕으로 결과를 예측하면서 게임을 진행하도록 훈련되었다. 따라서 과거에 일어났던 상황과 유사한 순서로 바둑이 진행되는 경우에는 놀라운 성능을 보여준다. 하지만 한 번도 일어나지 않거나 아주 드물게 발생했던 상황에 대해서는 제대로 대응하지 못한 것이다.

그 이후 이세돌과 알파고 모두 은퇴하였지만, 바둑 인공지능은 계속 발전을 하였다. 현재는 카타고가 뒤를 이어 바둑의 왕좌를 차지하고 있다. 그리고 바둑 인공지능의 취약점을 찾아내는 연구도 같이 진행이 되어왔고, 올해 FAR AI라는 스타트업 회사가 그 성과를 증명했다. 흥미롭게도 인공지능의 취약점을 찾는 것에도 역시 인공지능이 동원되었다. 차이점은 기존 바둑 인공지능은 사람에게 이기기 위해 학습이 되었다면 그들의 인공지능은 바둑 인공지능을 이기기 위해 학습이 되었다는 것이다. 이것이 적용하는 영역과 목표가 명확하게 주어지는 (튜링기계인 컴퓨터에서 돌아가는) 프로그램의 특징이다.
바둑 인공지능을 깨기 위한 접근법을 살짝 들여다보면, 적대적 방식(adversarial policy)의 알고리즘을 사용한다. 이는 챗지피티의 한 축이기도 한데, 우리가 즐겨하는 ‘마피아 게임’의 규칙을 인공지능 학습에 도입한 것이라 생각하면 된다. 한 인공지능은 상대를 속이는 것을 목표로 프로그램 되고 다른 인공지능은 가짜를 찾아내는 것을 목표로 프로그램 된다. 그리고 이 둘을 수백, 수천만번 게임을 시킨다. 그럼 속이는 프로그램도 진위를 가리는 프로그램도 점점 더 정확해진다. 컴퓨터끼리 튜링의 이미테이션 게임을 시키는 셈인 것이다.

그리고 올해 초 이 적대적 인공지능이 찾아낸 방식을 배운 아마추어 바둑기사 카린 팰런은 카타고를 간단히 꺾을 수 있었다. 바둑판의 한 구역을 설정해 변칙적으로 운용하면서 카타고가 이기고 있다고 착각하도록 속이는 방식이었다. 심층신경망의 동작을 역이용한 것으로, 9점을 깔아줘도 이길 수 있을 정도로 그 취약점이 제대로 노출되었다. 이 사건은 훈련 받은 데이터 범위 내에서만 제대로 동작하는 심층신경망의 한계를 잘 보여준다. 이세돌이 본능적으로 찾아낸 ‘신의 한수’의 확장판이다. 이런 적대적 인공지능을 이용하면 거대한 심층신경망을 속이는 방법도 어렵지 않게 찾을 수 있다. ‘꼼수’라고도 불리는 인간 창의성의 무한한 가능성을 심층신경망이 모두 대응할 수 없기 때문이다.

창의성이란 낯선 사건에 대한 대응력
사람의 두뇌와 카타고의 가장 큰 차이는 새로운 사건에 대한 대응력, 즉 창의성이다. 기존 데이터로 훈련된 심층신경망은 예외적인 사건에 제대로 대응하지 못한다. 이는 챗지피티를 포함해 심층신경망을 이용하는 모든 인공지능에 공통적으로 적용된다. 챗지피티의 환각 현상도 이런 기전으로 발생한다. 현재 세계적 대기업만 대화형 인공지능을 선보이는 이유가 여기에 있는데, 오동작으로 이어지는 예외적 상황을 최소화하기 위해서는 엄청난 규모의 심층신경망과 학습 데이터가 필요하기 때문이다.

챗지피티가 불러온 인공지능에 대한 관심이 한참 뜨겁다. 대기업들의 경쟁으로 엄청난 규모의 자금이 투입되는 지금을 여름에 비유하면, 그 반대 상황의 시기는 인공지능 겨울(AI winter)이라 표현할 수 있다. 마치 빙하기와 간빙기를 오가며 생물 진화를 지속해온 생태계 역사처럼, 반세기가 조금 넘는 짧은 인공지능 역사에도 두 번의 큰 겨울(빙하기)과, 수많은 작은 겨울이 있었다. 생물 진화에서 혹독한 환경 변화는 더 유연한 적응력 가진 개체를 진화시키는 선택 압력으로 작용한다. 과학 연구에서도 환경 변화는 집단 지성 진화의 원동력이 된다.

튜링으로 시작된 인공지능 연구 분야는, 1980년 후반의 두 번째 빙하기 이후에는 지속적인 성과를 보여주며 발전하고 있다. 1997년 체스 세계챔피언인 가리 카스파로프를 꺾은 ‘디퍼블루(Deeper Blue)’, 2011년 퀴즈쇼 제퍼디에서 퀴즈 달인들을 꺾은 ‘왓슨(Watson)’, 그리고 알파고와 챗지피티 등이 굵직한 성과들이다. 디퍼블루는 인공 의사결정의 가능성을, 왓슨은 사람의 말을 이해하는 능력을, 알파고는 엄청난 경우의 수를 다루는 힘을 보여주었다. 그리고 챗지피티는 범용(general) 인공지능의 가능성을 살짝 보여주고 있다. 하지만 범용 인공지능을 위해 가야 할 길은 아직 멀다.

출처: 한겨레