AI는 왜 내가 원하는 대로 답을 안 할까?

[콘텐츠 발행일: 2025.02.20]

저는 현재 카카오엔터테인먼트에서 AI 언어모델의 실용성 평가를 담당하고 있으며 인문학도의 시선으로 바라본 AI의 현주소와 실제 활용 가능성을 탐구하고 있습니다. 매주 프롬프트 엔지니어링 스터디를 몇 개씩 참석하면서 다양한 프롬프트를 실험해 보는 저조차도 AI를 사용해서 원하는 결과를 끌어내는 건 언제나 어려운 일이에요. 하지만 꾸준한 연습과 평가를 통해 발전시킬 수도 있는 게 프롬프트 엔지니어링입니다.

혹시 여러분은 AI에 "마케팅 전략을 써줘" 혹은 "이 문서를 분석해 줘"라고 요청하신 적 있나요? 그리고 그 답변에 실망해서 AI를 꺼리게 된 경험도 있으신가요? 이건 마치 우리가 외국인에게 "같이 밥 먹자"고 말하는 것과 "이번 주 금요일 오후 6시에 판교역에서 만나서 밥 먹자"라고 말하는 것처럼 큰 차이가 있습니다.

프롬프트를 어떻게 쓰냐에 따라서 AI의 답변은 변할 수 있습니다. 아무런 맥락 없이 마케팅 전략을 짜달라고 하면 AI는 개인화된 마케팅 전략이 아닌 일반적으로 마케팅에 사용되는 전략을 나열하기만 합니다. 하지만 프롬프트를 수정하면 구체적인 활용 방안까지 제시해 줘서 업무 시간을 반으로 줄일 수도 있죠.

AI는 우리와 상호작용을 하며 우리가 입력하는 지시를 그대로 해석합니다. AI가 원하는 답변을 하지 않는 건 결국 우리가 제대로 원하는 바를 AI에 지시하지 못했다는 뜻이기도 합니다. 아무리 많은 기능이 있더라도 그 기능을 제대로 사용하지 못하면 좋은 품질을 기대하기 어렵습니다. 

우리는 AI와 소통하는 대화법을 알아야 합니다. 요즘 서점에 가면 베스트셀러에서 처세술과 대화법에 대한 책을 쉽게 찾아볼 수 있습니다. 사람 간의 관계와 소통에 아주 중요한 요소이기 때문이죠. 그러면 AI와는 어떨까요? AI가 일상에 녹아든 요즘엔 AI와 소통하는 법에 대해 많은 분이 어려움을 토로하고 계십니다. AI와 소통하는 법을 우리는 프롬프트라고 불러요. 프롬프트는 우리가 AI에 전달하는 모든 텍스트, 단어를 뜻합니다. AI 소통의 가장 기본적인 단위가 되겠죠. 

프롬프트 엔지니어링은 어떨까요? 일단 엔지니어링이라는 단어가 들어갔으니, 무언가를 설계한다는 의미가 추가됩니다. 바로 프롬프트를 설계하고 작성하는 일을 프롬프트 엔지니어링이라고 불러요. 쉽게 말하자면 프롬프트는 도구, 프롬프트 엔지니어링은 도구를 사용하는 행위가 됩니다.

프롬프트 엔지니어링은 왜 중요할까요? 프롬프트를 벽돌이라고 생각해 봅시다. 우리가 집을 짓기 위해 벽돌을 쌓는 일을 프롬프트 엔지니어링이라고 할 수 있습니다. 집을 짓는데 벽돌을 계획 없이 아무렇게나 올리면 그 집은 안전할까요? 바닥부터 촘촘하게 쌓아 올린 집과는 비교할 수 없을 거예요. 이렇듯 안전하고 믿을 만한 AI 답변을 받기 위해서는 벽돌을 쌓는 일, 프롬프트 엔지니어링이 필요해졌어요.

클로드(Claude)를 만든 앤트로픽(Anthropic)에서 2024년 흥미로운 논문을 발표했습니다. 짧게 설명하자면, 프롬프트 엔지니어링을 통해서 언어모델이 대답하는 구조를 예측할 수 있고 답변의 품질을 제어할 수 있다고 합니다. 또한 마이크로소프트(Microsoft)에서도 생성형 AI에서는 미세조정(파인튜닝)보다 프롬프트 엔지니어링이 더 효과적이라는 연구 결과를 발표했었죠.*

* 관련 기사: MS "프롬프트 엔지니어링 잘하면 미세조정 필요 없어" (AI타임스, 2023.12.5)

즉, 프롬프트 엔지니어링을 통해 할루시네이션(거짓 정보)을 줄이고 AI의 성능을 최대로 끌어내는 일을 할 수 있게 되었어요. 이번 글을 통해 제가 현업에서 프롬프트 엔지니어링을 할 때 지키려고 하는 규칙과 유용한 프레임워크*를 소개해 드리려고 합니다. 

* 소기의 목적을 달성하거나 복잡한 문제를 해결하고 서술하는 데 사용되는 기본 개념 구조