[2025년 11월 4일 먀 AI 뉴스레터로 발행한 글입니다.]

다른 세상에 사는 것 같은 인물 셋이 대한민국 국민이라면 가장 친숙한 공간인 치킨집에서 발견되었습니다. 엔비디아 CEO 젠슨 황, 삼성전자 이재용 회장, 그리고 현대자동차그룹 정의선 회장이 '치맥'을 하는 모습이 포착된 것인데요.

이재용 회장, 정의선 회장, 그리고 젠슨 황의 모습. 서비스로 치즈볼이 나왔다고 한다. 출처: 중앙일보

한국을 방문한 젠슨은 사진 속 맥주만큼이나 시원한 약속을 하고 돌아갔습니다. 엔비디아의 최신형 AI 칩 '블랙웰(Blackwell)' 26만 장을 한국에 우선 공급하겠다는 약속인데요. 공짜도 아니고 판매한다는 약속에 왜 열광하나 싶을 수 있지만, 엔비디아의 AI 칩은 현재 돈이 있어도 구하기 어렵습니다.💰

젠슨 황이 약속한 이 '블랙웰'이 무엇이고, 왜 필요하고, 또 어쩌다 한국은 이 칩에 대한 우선권을 가지게 되었는지 함께 알아볼까요?

젠슨 황의 '통찰'

젠슨 황은 1990년대 초 회사를 세우던 시절을 회상하며 말합니다:

회사를 시작했을 때다.

소프트웨어 프로그램을 뜯어보니 전체 코드의 10% 정도밖에 안 되는 수의 코드가, 전체 연산의 99%를 수행하고 있었다. 그 99%의 연산은 병렬로 처리될 수 있었다. 그리고 남은 90%의 코드는 순차적으로 실행되어야 했다.

'제대로 된, 완벽한 컴퓨터'란 순차와 병렬 처리를 둘 다 할 수 있는 컴퓨터이지, 둘 중 하나만 할 수 있는 컴퓨터가 아니었다. 그것이 바로 핵심적인 통찰(the big observation)이었다.⚡️

여기서 순서대로 일을 처리하는 게 CPU, 그리고 동시에 처리하는 게 GPU에 해당합니다. AI 학습은 본질적으로 '당근 1억 개 썰기'와 같이 <단순 수학 계산의 무한 반복 작업>인데요. 레스토랑에 비유하자면 CPU는 주방장입니다. 손님의 주문을 받고, 어떤 요리부터 나갈지 순서를 정하고, 재료를 확인하는 등 복잡하고 순차적인 일을 처리하지요. GPU는 거대한 재료 손질 공장으로, 복잡한 요리는 못 하지만, '당근 1mm로 썰기' 같은 단순하고 반복적인 일 하나는 기가 막히게 해냅니다. 주방장이 '오늘 당근 100억 개 썰어!'라고 지시하면, 직원들 1만 명이 동시에 당근을 마구 썰어버리리는 모습을 생각할 수 있습니다.🥕

CPU는 물감이 한 번에 하나씩 나와 천천히 그림을 완성하는 개념이라면, GPU는 동시에 다양한 물감이 뿌려지면서 한 번에 그림을 완성하는 개념이다. 출처: 엔비디아

만약 강아지를 인식하는 AI를 만든다고 가정했을 때, CPU와 GPU는 어떻게 작동할까요?

1. 주문 접수 (CPU):
   CPU가 "강아지 사진 100만 장을 학습시켜서, 강아지를 알아보는 AI를 만들어줘!"라는 사용자의 주문을 받는다.

2. 준비 작업 (CPU):
   CPU는 여기저기서 강아지 사진 100만 장을 불러오고, 사진들을 학습하기 좋은 크기로 다듬은 다음, '이건 강아지야🐶'라며 이름표를 붙이는 등 복잡한 준비 작업을 마친다.

3. '공장'에 작업 지시 (CPU가 GPU에게):
   준비가 끝난 CPU가 GPU '공장'에 시킨다.
   "자, 강아지 사진 100만 장이야. 이 사진들에서 '강아지의 특징'을 찾는 수학 계산을 지금부터 1억 번 반복해!"

4. 공장 가동 (GPU):
   GPU 공장의 수천 명 직원은 100만 장의 사진 데이터를 동시에 받아들고, CPU가 지시한 계산을 동시에 수행한다.

5. 결과 보고 (GPU가 CPU에게):
   계산을 마친 GPU는 "작업 완료! 강아지 특징 찾았습니다!"라고 결과물을 CPU에게 보고한다.

6. 작업 마무리 (CPU):
   CPU는 이 결과물을 받아서 '강아지 인식 AI 모델'이라는 이름으로 저장하고, 사용자에게 "AI 완성되었습니다!🫡"라고 알려준다.

엔비디아는 GPU칩으로 유명한 회사인데요. 젠슨 황이 선물을 약속한 블랙웰은 과연 무엇이 얼마나 좋아진 칩일까요?

블랙웰(Blackwell)이 뭐길래?

엄밀히 따지면, 블랙웰은 칩 이름이 아닙니다. 엔비디아가 칩을 만드는 접근 방식, 즉 기술과 시스템을 통틀어서 블랙웰이라고 부르고, 그 안에 다양한 모델명이 있습니다. 마치 삼성 갤럭시가 있고 그 안에 엣지나 플립 등 다양한 모델이 있는 것과 같지요. 우리에게 블랙웰 GB200이라는 슈퍼칩을 제공한다고 알려져 있는데요. 이 슈퍼칩은 위에서 설명한 CPU와 GPU를 모두 가지고 있는 그야말로 '슈퍼' 칩입니다! ✨

GPU 두 개와 CPU 하나로 구성된 블랙웰 GB200. 출처: 엔비디아

이전 세대 방식으로 만든 칩들에 비해 블랙웰 칩들은 무엇이 좋아졌을까요?

공장 두 개를 하나로!

반도체 칩은 '틀'에 찍어내는데요. 그동안은 이 '틀'의 크기가 정해져 있기 때문에 무작정 크게 만들 수가 없었습니다. 이에 엔비디아는 칩 두 개를 초고속 연결로 묶어버렸어요!😮

• 블랙웰:
  'A 칩'과 'B 칩'을 따로 짓는 대신, 두 칩 사이의 벽을 허물었습니다. 그리고 그 사이는 초당 10TB(테라바이트) 속도로 다닐 수 있습니다.

• 왜 중요할까?
  이제 칩은 마치 하나처럼 움직입니다. 데이터를 주고받는 속도에 병목 현상이 없어, AI가 처리해야 할 데이터가 아주 커져도, 빠르고 매끄럽게 처리할 수 있습니다.

AI, 눈치 챙겨!

챗GPT를 쓸 때 느리면 아주 답답하지요? 이제는 AI의 속도가 정말 중요해졌는데요. 기존에는 AI가 계산할 때, 소수점 16자리까지 따져가며 아주 정밀하게 계산했습니다. 정확하지만 시간이 걸렸지요.

• 블랙웰:
  AI가 굳이 소수점 16자리까지 계산할 필요가 없는 순간을 눈치 챕니다. 100을 3으로 나눌 때, 이전 칩은 33.33333333...까지 계산하느라 애썼다면 블랙웰은 "음, 지금 상황에선 그냥 '33.3' 정도만 알아도 충분해!🤔"라고 스스로 판단하고 계산을 줄일 수 있습니다.

• 왜 중요할까?
  계산을 대충하나 싶지만, AI가 답을 내는 데는 전혀 지장이 없습니다. 대신 계산 속도는 최대 5배나 빨라지고, 전기도 훨씬 적게 먹지요. 

시스템 단, 결!

요즘 AI는 너무 거대해져 GPU가 수만 개씩 필요합니다. 하지만 수천 개만 연결해도, GPU끼리 데이터를 주고받는 통신 속도가 느려져서 시스템 전체가 멈칫거리는 문제가 있었지요.

• 블랙웰:
  블랙웰은 'NVLink 스위치'라는 전용 초고속 네트워크를 새로 깔았습니다. 이 시스템은 최대 576개의 GPU를 하나로 묶어, 마치 하나의 거대한 두뇌처럼 작동하게 합니다. 예전에 도로로 다녔다면, 이제는 순간이동한다고 볼 수 있지요.🚀

• 왜 중요할까?
  계산이 효율적이고 빨라졌기 때문에, 이전에는 불가능하다고 여겨졌던 '초거대 AI' 구현 조건에 가까워졌습니다.

그래서, 왜 한국일까?

블랙웰이 전투기라고 생각했을 때, 잘 작동하기 위해서는 엄청난 양의 연료를 초고속으로 주입해 줄 '연료 탱크'가 필요합니다. 이 연료가 바로 HBM, 고대역폭 메모리인데요. 엔비디아는 이 HBM을 생산하지 않습니다.

전 세계에서 HBM을 만들 수 있는 회사는 딱 3곳 뿐인데요. 그 중 대한민국의 SK하이닉스와 삼성전자 두 기업이 전 세계 시장의 80~90%를 압도적으로 장악하고 있습니다. 이번 블랙웰 구매 우선권은 "우리가 최고의 엔진인 블랙웰을 줄게. 대신 최고의 연료인 HBM을 줘!" 라는 일종의 AI 동맹인 셈입니다.🤝🏼

현존 최고 사양으로 알려진 HBM3E. 출처: SK하이닉스(왼쪽), 삼성전자(오른쪽)

엔비디아의 AI 칩을 26만 장 받고 나면, 우리는 이제 미국과 중국 다음으로 AI 칩이 많은 국가가 됩니다. 작은 나라지만 어떤 분야든 우리는 상위권에서 빠지지 않는 듯합니다. 'AI 혁명'이라고도 불리는 이 시기에 우리나라가 보여줄 저력을 기대합니다.🇰🇷