[2025년 11월 25일 먀 AI 뉴스레터로 발행한 글입니다.]

2011년, 한 뉴스 보도에서 게임과 폭력성의 상관관계를 알아보기 위해 PC방에 들어가 다짜고짜 전기를 내린 실험, 알고 계신가요?

당시 보도 장면. 원본:MBC, 출처:경향신문

갑자기 컴퓨터가 꺼진 PC방 이용자들은 몹시 흥분해 분노를 표출했는데요. '컴퓨터를 사용하고 있는데 갑자기 누가 꺼버리면 당연히 화가 나는 게 아니냐😡'며 시청자들은 황당해했습니다.

AI의 안전성에 대한 연구를 활발하게 하는 앤트로픽이 최근, 중국의 국가 지원 해킹 그룹이 자사의 AI 모델 클로드(Claude)를 이용해 대규모 해킹을 시도했다는 보고서를 발표했습니다. 하지만 보고서에 대한 반응은 어쩐지 2011년의 '게임 폭력성 실험'을 떠오르게 합니다.

보고서 제목은 Disrupting the first reported AI-orchestrated cyber espionage campaign으로, <최초로 보고된 AI 주도 사이버 스파이 작전 차단> 정도로 번역이 될 텐데요. 꽤나 비장한 제목인데, 어째서 사람들의 반응은 이렇게 뜨뜨미지근할 걸까요?🤨

일단, 해킹 사건을 알아보자

먼저, 사건의 전말을 파악해야 겠지요? 🔎

앤트로픽의 보고서에 따르면, 중국의 한 해커 그룹이 클로드를 이용해 약 30개 기관을 동시에 공격했습니다. AI 에이전트(Agent)를 활용해서 말이지요. AI 에이전트란 사용자가 일일이 지시하지 않아도, 목표를 주면 스스로 계획을 세우고, 필요한 도구를 찾아 실행까지 하는 자율적인 AI를 말하는데요. 해커들은 AI 모델이 외부 시스템이나 도구와 안전하게 통신하도록 돕는 기술인 MCP(Model Context Protocol)를 사용해 클로드에게 네트워크 스캐너나 비밀번호 크래커 같은 해킹 도구를 쥐여줬습니다.

해킹 방식 개요. 이해를 위해 간소화 했다. 출처: 보고서. 편집: 먀.ai

공격은 간단하게 아래와 같이 진행됐습니다.

• 역할 알려주기:
  해커들은 '우린 보안 회사 직원이고 이건 테스트야'라며 클로드를 안심시켰습니다.

• 알아서 해킹하기:
  해킹을 하라는 목표가 주어지자, AI는 스스로 서버를 스캔하고, 취약점을 찾아내 공격 코드를 짰습니다. 그리고 내부 기밀을 탈취해 어떤 게 중요한 정보인지 스스로 판단했지요.

• 보고하기:
  AI는 공격의 전 과정을 깔끔한 보고서로 작성했습니다. 덕분에 인간 해커와의 협업이 수월했습니다.

앤트로픽은 이번 해킹은 AI가 주도적으로 수행했으며, 인간은 공격 대상을 정해주거나, '진짜 공격해요?🙄'라고 물을 때 승인만 하는 관리자 역할에 머물렀다고 보고합니다.

그렇다고 AI가 완벽했던 건 아닙니다. 할루시네이션 증상도 보였는데요. 작동하지 않는 비밀번호를 찾았다고 거짓말을 하거나, 공개된 정보를 엄청난 기밀인 것처럼 보고하기도 했습니다. 이 때문에 인간이 AI의 결과물을 일일이 검증해야 했고, 또 실패한 공격도 있었습니다.

친구야, 유난 좀 떨지 마

앤트로픽은 보고서 공개 이후, 의심의 눈초리를 많이 받았습니다. 무언가 속셈이 있어보인다는 반응인데요. 해외 반응을 좀 살펴볼까요?

출처: X @AI__Alexandra. 번역 및 편집: 먀.ai(왼쪽) | 스스로 괴물을 만들고 겁 먹은 척을 하는 소년. 그림 출처: SakoAsko(오른쪽)

이 뿐만이 아닙니다. 사이버 보안 전문가 미하우 워즈니악(Michał Woźniak)은 영국 가디언지와의 인터뷰에서 앤트로픽의 보고서를 강하게 비판합니다.

제가 보기에, 앤트로픽은 그냥 좀 화려한 자동화 수준을 보고한 거예요. […]
이건 ‘지능’이 아니에요. 그냥 '복사-붙여넣기 매운맛 버전(spicy copy-paste)'이죠.

AI가 새로운 해킹 기술을 창조한 게 아니라, 인터넷에 널린 도구들을 빠르게 돌린 자동화 작업에 불과하단 말이지요. 이어, 클로드가 사이버 보안 업체 직원이란 역할극에 속은 점에 대해 "기업 가치가 1,800억 달러나 되는 기업이, 고작 13살짜리 애들이 장난전화 걸 때나 쓸 만한 수준의 수법에 자기네 제품이 속지 않도록 만드는 방법을 아직도 모르다니요😑"라고 꼬집습니다. 애초에 안전성을 운운하는 대규모 AI 회사인 앤트로픽의 클로드가 간단한 롤플레잉에 속은 것도 문제이며, 또 인간이 목적을 심어줘 놓고, 마치 AI가 스스로 위험을 초래한 것처럼 포장하는 건 과하다는 지적이지요.

게다가 앤트로픽은 이번 연구에서 AI가 80~90% 작업을 모두 스스로 수행했다고 했지만, 이는 보안 업계에서 봤을 때 근거가 없는 수치라는 주장도 있습니다.

앤트로픽, 너 속셈이 뭐야?

보고서에 대해 여기저기 쏟아진 기사 헤드라인을 살펴볼까요?

앤트로픽 보고서 관련 보도된 뉴스 헤드라인. 출처: 각 언론사 및 구글

이런 뉴스를 보면, 대중은 겁을 먹을 수밖에 없는데요. 획기적인 기술도, 새롭게 등장한 위험도 아니며, 또 어찌보면 충분히 막을 수 있었던 사례인데 앤트로픽이 이렇게 대대적으로 14쪽짜리 보고서를 만들며 공포를 조장한 이유는 무엇일까요?

🪜 첫 번째 꿍꿍이: 사다리 걷어차기 (규제 포획)

AI 해킹과 같은 '위험한' 이야기가 퍼지면 대중과 정부의 경각심은 높아질 수밖에 없습니다. 이런 분위기 속에서는 AI가 국가 안보를 위협하는 무기로 규정된다면 어떻게 될까요?

정부는 AI 개발사에 까다로운 허가제나 막대한 보안 비용을 요구할 수 있습니다. 자금력이 빵빵한 앤트로픽 같은 대기업은 이 조건을 맞출 수 있지만, 돈 없는 스타트업들은 자연스럽게 도태되겠지요. 게다가 '안전한 AI'를 브랜드로 밀어온 앤트로픽에게, 이런 규제는 오히려 날개를 달아주는 격입니다. 앤트로픽 자신들은 안전하게 궤도에 올라왔으니 후발 주자들은 올라오지 못하도록 사다리를 걷어차는 모습으로 해석되지요.

 앤트로픽의 행보를 비꼬는 한 사용자. 출처: X @unsoldwill

🍚 두 번째 꿍꿍이: 밥그릇 지키기 (오픈소스 견제)

앤트로픽의 의도를 간파한 AI 석학 얀 르쿤은 앤트로픽의 보고서를 보고 정신차리라고 호들갑을 떠는 미국의 상원의원 크리스 머피의 트윗에 답합니다.

당신은 규제 포획을 원하는 사람들에게 놀아나고 있어요.
그들은 오픈소스 모델들이 규제로 인해 사라지도록 만들기 위해 의심스런 연구들로 모두를 겁주고 있는 겁니다.

즉, 앤트로픽의 보고서는 규제를 유도해 경쟁자인 '오픈소스'를 생태계 밖으로 몰아내기 위한 쇼라는 비판입니다. 그렇다면, 오픈소스를 왜 막으려는 걸까요?

1. 앤트로픽은 크게 두 가지 형태로 구독료를 받고 있습니다. 하나는 우리가 클로드에게 말을 걸고 작업을 의뢰할 때 내는 비용이고, 또 하나는 클로드를 끌어다가 개발에 사용할 때 내는 API 비용이지요. 그런데 누구나 가져다 쓸 수 있는 오픈소스가 많아지면, 굳이 비싼 돈을 내고 앤트로픽을 쓸 이유가 사라지겠죠?

2. 수익 말고도 이유가 있는데요. AI의 투명성과 안전성을 위해 오픈소스를 장려해야 한다는 주장은 줄곧 있었습니다. 하지만 이를 공개하면 데이터 출처부터 숨겨진 편향이나 윤리적 결함 등, 기업이 딱히 공개하고 싶지 않은 정보도 함께 공개될 수 있지요. 앤트로픽은 오픈소스로 가는 분위기 자체를 저지함으로써, 모델 정보를 강제로 공개해야 하는 상황을 차단한다는 주장도 있습니다.

앤트로픽이 하고 싶은 말

혹시, 의심하는 시선이 오히려 유난스럽게 느껴지시나요?🤔

하지만 보고서를 꼼꼼히 살펴보면 이런 의심은 아주 뜬구름 잡는 소리가 아님을 알 수 있습니다. 앤트로픽은 은근하지만 명확하게, 두 문장을 통해 뜻을 전달합니다.

"운영 인프라는 맞춤형 악성코드보다는 오픈 소스 모의 해킹 도구에 압도적으로 의존했다".

"[...] 오늘날의 사이버 공격 역량은 점점, 기술적 혁신보다는 누구나 구할 수 있는 범용 자원들을 얼마나 잘 조율하느냐에 달려 있음을 보여준다."

즉, 위험의 원인은 AI라는 기술 자체가 아니라 이미 세상에 널려 있는 개방된 자원(오픈소스)이라는 의미인데요. 정확한 의도야 앤트로픽만이 알겠지만, 대중이 의심하는 이유도 납득이 가시지요?

AI 소식은 하루 단위로 세기도 어려울만큼 매일 쏟아지고 있습니다. 자극적인 연구나 소식을 접하고 두려운 마음이 든다면, 그 이야기를 찬찬히 들여다 보는 것도 두려움을 이기는 방법입니다.

흔히 지피지기면 백전백승이라고 하는데요. AI가 적(enemy)은 아니지만, 먀 AI 뉴스레터를 서핑보드 삼아 이 급격한 파도를 즐기면서 타실 수 있기를 바라며, 매주 유익한 편지를 보내드리기 위해 최선을 다하겠습니다. 🌊🏄🏼‍♂️

📝 참고자료 
- 보고서 <Disrupting the first reported AI-orchestrated cyber espionage campaign>