1. 인공지능 테스트

2022년 11월, 자연어를 구사하는 인공지능 챗봇 ‘챗 GTP(GTP-3.5 모델)’가 등장했습니다. 그리고 반년도 지나지 않은 2023년 3월, 미국대학 수학능력 평가 시험(SAT)에서 상위 11%, 미국 변호사 시험에서 상위 10%, 미국 생물학 올림피아드에서 상위 1%를 달성하는 기염을 올렸습니다.(GPT-4 모델) 

인공지능 개발만큼 중요한 것이 있습니다. 바로 ‘시험(test)’입니다. 인공지능의 성능을 객관적으로 측정해 문제해결 능력을 판단할 수 있고, 개선 방향을 찾아 신뢰도를 향상할 수 있고, 다양한 능력(분석, 분류, 추론, 질의응답 등)이 실생활에 적용 가능한지 알아낼 수 있습니다. 따라서 인공지능 발전 속도만큼 테스트 수준도 비례하게 발전해야 의미가 있습니다. 

2. 인류의 마지막 시험

‘인류의 마지막 시험(Humanity's Last Exam)’은 인공지능 테스트를 위해 발족한 프로젝트입니다. 인공지능이 답변하기 어려운 질문을 던져 테스트하는 방식입니다. 이 프로젝트는 Center for AI Safety(CAIS)의 전무이사 댄 헨드릭스(Dan Hendrycks)와 Scale AI의 알렉산드르 왕(Alexandr Wang)이 주도하고 있습니다. 

• ✔️ CAIS는 안전하고 윤리적인 인공지능을 연구하는 비영리 단체입니다. 

• ✔️ Scale AI는 인공지능을 학습시키는 데이터(data-labeling)를 제공하는 기업입니다. 

• ✔️ 댄 헨드릭스는 2021년에 인공지능 테스트와 관련한 논문 두 편을 공동 집필한 이력이 있는데, 현재까지 널리 쓰이고 있는 테스트 기법으로 자리매김했을 만큼, 인공지능 테스트 분야 전문가로 널리 알려진 인물입니다. 

인류의 마지막 시험은 크라우드 소싱으로 질문을 수집하고, 수집한 질문을 내부 평가로 선별해서 인공지능에 제시하는 절차입니다. 주최 측은 우수한 질문을 평가해 총 500,000달러 규모의 상금을 지급할 계획이라고 전했습니다. 질문은 수학, 공학, 경제학, 철학, 인류학과 같은 모든 영역에서 제기 가능하며, 박사 수준으로 난해한 질문이나 연구에서 발생한 틈새 결과(niche result)에 관한 질문도 가능합니다. 

질문에는 4가지 가이드라인이 있습니다. 첫째, 타인의 질문을 모방하지 않고 독창적일 것. 둘째, 검색으로 쉽게 도출되지 않게 도전적일 것. 셋째, 질문의 답변이 다른 전문가도 동의할 정도로 객관적일 것. 넷째, 인류에게 위협을 가할만한 위험한 질문(무기, 화학, 핵무기, 바이러스 등)은 제외할 것. 

• ✔️ 질문 예시는 해당 웹페이지에서 확인할 수 있습니다. 공개된 예시는 6개이며, 수학, 생물학 분야입니다. 질문에 대한 답 그리고 인공지능 모델별로 도출한 답이 함께 공개되어 있습니다. 

• ✔️ 그러나 수집된 질문들이 추론보다는 객관식에 더 가깝다는 비판적 의견도 있습니다. 

3. 진화의 시작?

인류의 마지막 시험은 두 가지를 상징합니다. 첫째로 인공지능의 가파른 발전 속도입니다. 인공지능의 발전 속도는 예측 이상으로 빨라지고 있습니다. 불과 수년 전까지만 해도 학교시험이나 자격시험에서 낙제했던 인공지능이, 수개월 만에 최상위권에 등극했고, 이제는 석학 수준의 전문가가 만든 정교한 질문으로 테스트해야 할 정도로 빠르게 발전했습니다. 

둘째로 인류는 진화의 전환점에 이르렀습니다. 인공지능을 평가하는 마지막 시험이라는 것은, 스스로 사고 능력을 갖춘 ‘인공 일반 지능(AGI)’의 탄생이 머지않았다는 의미로도 해석할 수 있습니다.  인공지능이 완연한 지적 능력을 가진 개체가 된다는 것은, 인공지능은 하나의 피조물로 그리고 인공지능을 만든 인류는 창조자의 지위를 점유하는 일로 바라볼 수 있습니다. 

유발 하라리의 저서 《호모 데우스(2015)》에서도 인간이 과학과 이성을 바탕으로 새로운 창조자, 즉 ‘신이 된 인간(호모 데우스, Homo Deus)’으로 진화한다는 내용을 담고 있습니다. 호모 데우스에서 언급하는 신이 된 인간은 신체변형이나 수명연장으로 인간이 가진 한계를 뛰어넘는 전지전능에 더 방점을 두고 있지만, 인간이 새로운 지적 생명체까지 창조하게 된다면 신이 될 수 있는 조건을 하나 더 마련한 셈입니다. 

• ✔️ 호모 데우스의 전망이 낙관적인 것만은 아닙니다. 인류는 기계보다 모든 면에서 열등할 수밖에 없습니다. 효율이 제일의 가치가 되는 세상에서 인간의 위치는 모호해질 수 있습니다. 

이 시험이 인공지능의 한계를 명확히 선 그어 인류를 지킬 보루가 될지, 아니면 사고할 수 있는 지적존재의 탄생을 알리며 인간이 호모 데우스로 진화하게 될지, 채점표를 기다리는 모두에게 긴장감이 감돌고 있습니다. 

주간 미래소년의 두 번째 콘텐츠였습니다.
꾸준히 발행할 예정이니 관심과 애정을 갖고 팔로우해 주시면 감사하겠습니다.
다음엔 더욱 재밌고 유익한 콘텐츠로 찾아오겠습니다.