[2025년 5월 20일 먀 AI 뉴스레터로 발행한 글입니다.]

‘키덜트’를 아시나요?

키덜트란 어린이(kid)와 어른(adult)을 합성한 말로, 어른이 되었지만 어린 시절의 감성이나 놀이를 즐기는 사람을 의미합니다. 키덜트 문화의 대표주자라고 하면 뭐니뭐니해도 덴마크의 브릭(brick) 조립놀이 ‘레고(LEGO)’가 있습니다. 네모난 브릭을 요리조리 조립하면 온갖 디자인을 만들 수 있지요.

레고 로고와 브릭들. 출처: LEGO & webuybricks

최근, 자연어로 만들고 싶은 물체를 입력하면 레고 버전으로 생성해 주는 AI가 나왔습니다. 바로 레고GPT인데요. ‘클래식 기타/길고 좁은 선체를 만들어 줘'라고 요청하면 아래와 같은 레고 구조를 생성해 줍니다.

출처: 논문

레고GPT는 단순히 시각적으로 그럴듯한 브릭 구조를 만드는 데 그치지 않습니다. 사람이나 로봇이 조립할 수 있는, 물리적으로 안정적인 구조를 생성하는데요. 어떻게 가능한 걸까요?🧐

레고GPT, 어떻게 작동하는 거야?

레고GPT는 메타(Meta)에서 공개한 언어 모델인 LLaMA-3.2-1B Instruct를 기반으로 학습된 AI 모델입니다. 텍스트로 레고 구조를 생성할 수 있도록 특별히 훈련된 레고GPT는, 사용자가 '등받이가 높은 의자'처럼 자연어로 원하는 바를 설명하면, [2x4 (3,5,0)] 같은 형식의 브릭 목록을 출력합니다.

생성: 챗GPT

각 브릭의 크기(h × w)와 위치(x, y, z)를 간단하게 표현한 이 포맷은 구조의 공간과 형태에 대한 정보를 담고 있는데요. z는 레고를 바닥에서 위로 쌓는 층의 개념을, x와 y는 각 층을 위에서 내려다본 평면 좌표를 의미합니다.

생성된 브릭 목록을 통해, AI는 다음에 올 브릭을 하나씩 예측할 수 있고, 이렇게 예측된 브릭들이 쌓여 최종 레고 구조가 완성됩니다.

레고GPT, 어떻게 공부한 거야?

레고GPT를 학습시키기 위한 전반적인 절차에 앞서, 학습 과정에서 사용된 주요 데이터셋과 모델을 먼저 살펴보겠습니다.

• ShapeNetCore: 다양한 3D 객체(의자, 소파, 테이블 등)를 포함하는 대규모 3D 모델 데이터셋입니다. 각 객체를 레고처럼 규격화된 블록 구조로 바꾸는 데 사용됩니다.

• StableText2Lego: 이번 연구에서 새롭게 구축한 [텍스트-레고] 쌍 데이터셋입니다. 앞서 알아본 ShapeNetCore 기반 객체를 여러 시점에서 렌더링한 이미지를 GPT-4o에 입력해 다양한 수준의 설명 텍스트를 생성한 후, 이를 AI 모델 훈련에 활용합니다.

• LLaMA-3.2-1B Instruct: 메타에서 공개한 언어 모델로, 사용자의 명령(prompt)에 따라 적절한 출력을 생성하도록 미리 학습된 소형 LLM입니다. 이번 연구에서는 이 모델을 기반으로 레고 구조 생성이라는 특수한 작업에 맞게 추가 학습(fine-tuning)을 진행했습니다.

어떤 데이터셋이 사용되는지 알았으니, 레고GPT가 학습하는 과정을 알아볼까요?

레고GPT의 학습 개요. 출처: 논문 | 번역 및 편집: 먀. AI 뉴스레터

1. ShapeNetCore에 포함된 3D 객체 데이터를 20×20×20 규격에 맞는 레고 브릭으로 바꾸는 ‘legolization’ 과정을 거친다(a). 이 과정을 통해 자유로운 3D 모델은 레고처럼 규격화된 브릭 구조로 바뀌며, 브릭의 크기와 방향까지 함께 결정된다(b).

2. 동일한 객체에 대해 브릭 배치만 무작위로 바꿔 여러 구조 버전을 생성한다. 이후 시뮬레이션을 통해 각 구조의 물리적 안정성을 평가한다. 무너질 가능성이 있는 구조는 제외하고, 실제로 조립 가능한 구조만 남긴다(c).

3. 선별된 구조를 24개 시점에서 렌더링하고, 이 이미지들을 GPT-4o에 입력해 구조의 모양과 특징을 설명하는 자연어 문장을 생성한다(d). 이렇게 생성한 설명은 레고 구조를 언어적으로 학습하는 데 필요한 핵심 정보로, 숫자로만 이루어진 단순 3D 좌표보다 훨씬 풍부한 의미를 제공한다.

4. 이처럼 텍스트와 구조가 짝을 이루는 데이터가 쌓이면 레고GPT 학습의 기반이 된다.

레고GPT, 너의 '진짜' 의미가 뭐야?

레고 ‘덕후’들에게는 무척 흥미로운 소식이지만, 사실 한계도 명확합니다. 아직은 단 8종의 브릭만 사용할 수 있고, 생성 가능한 조립물도 20×20×20 크기 안에 제한되어 있지요.

그런데 이 연구의 ‘진짜’ 의미는, 연구진이 왜 레고를 실험 매체로 택했는가에 있습니다. 기존의 3D 생성 모델들은 보기에는 그럴듯해도, 실제로 조립 가능한 구조를 만드는 데에는 한계가 있었습니다. 반면, 레고는 규격화된 브릭으로 구성돼 있어 조립 가능 여부를 판단하기가 명확한데요. 이렇게 규격화된 요소로 자유로운 설계를 가능하게 한 이번 연구는, 각기 다르게 생긴 부품을 조립하는 AI 시스템으로 확장될 수 있는 가능성을 보여줍니다. [프롬프트 → 구조 설계 → 물리 안정성 검증 → 실제 조립]까지, 모든 단계를 하나의 시스템으로 만든 이번 연구를 통해 우리는 생성형 AI와 제조 기술이 통합한 미래를 미리 본 셈이지요.

특히 눈여겨볼 점은, 레고GPT는 물리적 안정성까지 고려해서 구성을 생성한다는 점입니다. 레고 디자이너 루이스 고메즈는 이렇게 말한 적이 있습니다:

You cannot simulate gravity or how kids hold the model or if it’s stable.
중력이나 아이들이 모델을 어떻게 잡는지, 혹은 그게 안정적인지까지는 시뮬레이션할 수 없어요.

실제 레고 설계에서는 구조가 무너지지 않는지를 끊임없이 테스트해야 하는데요. 레고GPT는 바로 이 과정을 자동으로 실행합니다. 힘이 평형을 이루지 않거나, 마찰이 심하거나, 브릭이 충돌하면 해당 구조를 다시 탐색한 후 문제가 되는 브릭을 버리고 재생성하지요.

레고가 받는 힘을 분석하는 과정. 출처: 논문 | 번역 및 편집: 먀. AI 뉴스레터

구조 안정성 판단은 단순한 시뮬레이션이 아니라, 브릭 단위로 중력·지지력·마찰력 등을 계산해 전체 구조의 균형을 유지하는 방식입니다. 생성 도중 구조가 무너지면 문제 구간부터 다시 설계하는 ‘physics-aware rollback’ 방식으로, 무조건 조립 가능한 구조만 최종적으로 남게 되지요. 레고GPT는 자신이 설계한 레고 구조가 실제로 무너지지 않고 조립될 수 있는지를 사전 검증하는 AI 모델입니다.

로봇이 레고GPT가 생성한 구조대로 레고를 조립하는 모습. 출처: 논문

레고GPT가 생성한 레고 구조는 손이 둔한 로봇도 조립할 수 있었는데요. 설계가 얼마나 안정적이고 정밀한지 알 수 있습니다.

또한 연구진은 LLaMA 모델이 별도의 추가 학습 없이 레고 구조 생성을 시도한 zero-shot, 또는 예시 몇 개만 제시한 few-shot 조건에서도 실험을 진행했습니다. 이 경우 대부분 충돌이 발생하거나, 구조가 조립 불가능했으며, 형식 오류도 자주 나타났습니다. 반면 레고GPT는 98.8%의 안정성과 100% 가능한 구조를 달성했어요! 💯

제로샷과 퓨샷 결과 비교. 출처: 논문 | 번역 및 편집: 먀. AI 뉴스레터

이는 최신 LLM이라면 누구나 낼 수 있는 결과가 아니라, 레고GPT의 설계 방식 덕분에 가능해진 기술이라는 점을 증명합니다. '이 레고 구조가 이 설명에 어울리는가?'를 측정하는 테스트에서도 레고GPT는 가장 높은 점수를 기록했는데요. 곧, 원하는 집을 상세하게 설명하면 짓는 방법을 AI가 뽑아내고, 시스템을 통해 로봇이 직접 지어주는 세상이 올 수도 있겠어요!😮(물론, 이론상으로요.)

AI는 ‘지금 무엇을 할 수 있는가’ 보다는 ‘지금 하는 기능이 어디까지 확장이 가능한가’로 보아야 합니다. AI가 설계한 구조를 로봇이 실제로 조립한 이번 연구는, 생성형 AI가 디지털 생성물에서 현실 세계로 진출하는 발판을 마련했습니다.

레고는 늘, 누구나 레고 디자이너가 될 수 있다고 이야기해왔는데요. 이제 진정으로, 누구나 레고 디자이너가 되는 길이 머지 않았습니다.

📮 먀 AI 뉴스레터
단순 트렌드 나열이 아닌, '진짜' 인공지능 이야기

👉🏼 구독하기: https://mmmya.stibee.com/