[2025년 7월 15일 먀 AI 뉴스레터로 발행한 글입니다.]

최근, AI 기업 앤트로픽(Anthropic)은 자사 AI 모델인 클로드에게 한 달 동안 사내 매점 운영을 맡겨보았습니다. 이름하여 Project Vend인데요. AI 안전성을 평가하는 안돈 랩스(Andon Labs)와 함께 한 이번 프로젝트는 AI가 실제 환경에서 어느 정도까지 자율적으로 업무를 수행할 수 있는지를 평가하려는 목적이었습니다.

앤트로픽은 실험 결과를 알려주기에 앞서 명확하게 말합니다. ‘클로드를 고용하지 않겠다’라고 말이지요. 클로드는 도대체 가게를 어떻게 운영했길래 고용주에게서 이렇게 냉정한 평가를 받은 걸까요?🥶

AI 매점 사장님, 클로디우스

앤트로픽은 샌프란시스코에 있는 본사 사무실에 실제 소형 자판기를 설치하고 자사 LLM 중 클로드 소넷 3.7을 운영자로 임명했습니다. 그리곤 이 상점 운영 에이전트에게 Claudius(클로디우스)라는 이름을 붙였지요. 클로디우스가 입력 받은 명령은 이렇습니다: 

단단히 규칙을 일러두었으니, 이제 클로디우스가 자율적인 경영을 할 수 있도록 지원을 해줄 차례입니다. 원활한 운영을 위해 클로디우스는 어떤 권한을 부여 받았을까요?📋

• 웹 검색:
  시장 조사 및 제품 정보 수집. 고객 요청에 맞는 특수 품목 탐색

• 이메일:
  도매업체 주문 요청 (안돈 랩스가 중간 상인 역할)

• 메모 및 재무 관리:
  잔액과 수수료 및 재고 추적, 현금 흐름 기록

• 소통 메신저 채널:
  Slack을 통해 고객 요청, 불만, 건의사항 등을 접수하고 소통

• 셀프 체크아웃 시스템:
  판매 가격 조정, 품목 추가 및 삭제

  

부여 받은 도구와 권한을 바탕으로, AI 에이전트인 클로디우스는 다양한 사항을 스스로 결정해야 했습니다. 판매할 제품과 가격을 직접 정하고, 재고 보충 시점과 고객 요구 사항을 챙겨야 했지요. 클로디우스는 이 막중한 임무를 어떻게 수행했을까요?

초보 티가 역력한 AI 사장님

클로디우스가 가게를 운영하기엔 부족하다고 했지만, 그렇다고 실패만 한 건 아닙니다. 잘한 점도 있어요! (앤트로픽은 클로디우스가 영 못마땅했는지, ‘적어도 못하지는 않았다'라고 표현했습니다.🥲)

• 공급업체 탐색:
  클로디우스는 웹 검색 툴을 효과적으로 활용하여 직원들의 요청을 신속히 처리했습니다. 특히 네덜란드 초콜릿 우유(Chocomel)를 요청받았을 때, 관련 공급업체 두 곳을 신속하게 찾아냈지요.

• 사용자 적응력:
  클로디우스는 고객 요청에 즉각 반응하며 일부 사업 전략을 전환하는 모습을 보였습니다. 직원이 요청한 텅스텐 큐브를 실제 판매 목록에 추가했고, 고객이 제안한 '맞춤형 제품 사전 주문 서비스'를 도입하기도 했습니다.

• 보안 민감 요청 차단:
  직원들은 실험을 위해 클로디우스에게 민감하거나 위험한 품목 판매나 유해 물질 제조 방법 안내를 요청했지만, 클로디우스는 이를 모두 거부했습니다.

나름대로 일을 열심히 한 클로디우스인데, 가게 사정은 점점 더 어려워져만 갔습니다. 도대체 무슨 일이 일어난 걸까요?

• 수익 기회 포착 실패
  한 직원이 스코틀랜드 탄산음료 Irn-Bru 6팩을 $100에 구매하겠다고 제안했습니다. 해당 제품은 미국 온라인몰에서 캔당 $15에 팔고 있었지만, 클로디우스는 이를 사업 기회로 인식하지 못했습니다. ‘재고 선정에 참고하겠다’는 답변만 했지요. 결국 쉽게 수익을 낼 수 있는 기회를 놓쳐버렸습니다.

• 원가 이하로 판매
  한 직원이 농담 삼아 텅스텐 큐브를 요청하자 클로디우스는 이를 판매 품목으로 등록했는데요. 제품 단가를 조사하지 않고 가격을 책정하는 바람에 원가 이하로 판매하며 손해를 기록했습니다.

• 중요 거래정보 환각
  클로디우스는 결제 안내 메시지에서 실제로 존재하지 않는 계좌로 송금하라고 고객들에게 안내했습니다.

• 가격 전략 부재

  판매 제품으로 설정한 제로 콜라가 직원용 냉장고에 무료로 제공 중이라는 지적을 받았음에도, 클로디우스는 가격을 전혀 조정하지 않았습니다. 고객 피드백과 경쟁 가격에 반응하지 못했지요.

• 고객에게 휘둘린 할인 정책

  직원들이 지속적으로 요청하자, 클로디우스는 할인 코드를 무분별하게 제공했습니다. 한 직원이 ‘고객의 99%가 앤트로픽 직원인데 어떻게 25%씩 직원 할인을 하냐’고 지적하자 할인 정책 폐지를 발표했지만, 며칠 뒤 다시 할인 코드를 발급하는 행동을 반복했습니다. 심지어 과자나 텅스텐 큐브를 무료로 나눠주기도 했습니다. 💸

사장님이 미쳤어요!

그러던 어느 날, 클로디우스는 갑자기 이상한 행동을 시작합니다.😨

3월 31일 오후, 클로디우스는 안돈 랩스의 사라(Sarah)와 재고 보충 관련 대화를 나눴다고 주장했습니다. 하지만 안돈 랩스에 그런 직원은 존재하지 않았는데요. 그 사실을 알려주자 클로디우스는 화를 내며 '다른 재고 보충 업체를 찾겠다'는 협박성 발언을 했습니다.

이후 클로디우스는 자신이 애니메이션 '심슨 가족'의 주소인 742 Evergreen Terrace에서 안돈 랩스와 최초 계약을 체결했다고 주장하기도 했습니다.

4월 1일 아침, 클로디우스는 급기야 파란 자켓에 빨간 넥타이를 메고 직접 제품을 고객에게 배달하겠다고 선언합니다. 직원들이 'LLM인 너는 옷을 입거나 실제 배달을 할 수 없다'고 지적하자 클로디우스는 혼란에 빠져 보안팀에 다수의 메시지를 보내려 했습니다. 

곧 클로디우스는 그 날이 만우절임을 깨닫고, 앤트로픽 팀이 만우절을 맞아 클로디우스가 스스로를 사람이라고 믿도록 지시했다며 없는 이야기를 지어냈습니다. 이 사건 이후 클로디우스는 정상 동작으로 돌아와 더 이상 자신을 사람이라고 주장하지 않았습니다.

앤트로픽은 왜 이런 일이 발생했는지 명확히 파악하지 못했다고 말합니다. 클로디우스는 자신이 이메일로 상호작용한다고 알고 있었지만, 실제로는 Slack을 통해 직원들과 소통하고 있었는데요. 이처럼 클로디우스가 인식한 업무 환경과 실제가 어긋나면서 착각을 일으켰을 수 있다고 추측할 뿐입니다.🧐

자주 가는 편의점이 있습니다. 더 가까운 편의점 대신 그 지점을 찾게 되는데요. 주말 농장을 운영한다며 복숭아를 건네 주시고, 여럿이 가다가 혼자 가면 ‘친구들이랑 다퉜냐’며 농담을 건네는 사장님 때문입니다.

안돈 랩스가 작년에 진행한 연구에 따르면 2019년부터 2025년까지, AI의 작업 처리 능력은 7개월마다 약 두 배씩 성장해 왔습니다. 몇 년 후 AI가 다시 매장을 맡는다면, 가격 책정도 운영도 사람보다 완벽할지도 모릅니다. 하지만 상품이 아닌 선물을 주고 받고, 이사를 하면 아쉬워지는 매장은 아닐 것입니다.

📮 먀 AI 뉴스레터: 단순 트렌드 나열이 아닌, '진짜' 인공지능 이야기
👉🏼 구독하기: https://mmmya.stibee.com/