[Book Review] LEVELIT 유니티와 OpenAI API로 만드는 인공지능 NPC | ChatGPT, Whisper, TTS, DALL-E로 구현하는 대화형 게임 캐릭터 실전 가이드

 

 

 

 

 

Unity로 게임 개발을 해 본 사람이라면 한 번쯤 이런 고민을 해봤을 것 같다. 요즘 생성형 AI 관련해서 다양한 기술들이 빠르게 나오고 있는데, 이걸 게임에는 어떻게 적용할 수 있을까? 학부 때 교내 동아리에서 Unity로 2D 게임 프로젝트를 진행했을 때는 대부분의 로직들을 직접 작성하고, 기본 에셋 혹은 무료 에셋을 조합해서 게임을 개발했었다. 

 

당시 기준으로 LLM이나 생성형 AI와 직접적으로 연결하는 방식은 경험해본 적이 없기에, 처음에 「LEVELIT 유니티와 OpenAI API로 만드는 인공지능 NPC」을 봤을 때 Unity와 OpenAI를 실제로 어떻게 연결하는 것일까 궁금했다. (물론 책을 읽으면서 나중에 알게 된 정보로는 API 형태로 연결해서 질의 응답을 다양화하는 등 여러 방면에서 쓰일 수 있다고 한다.)

 

LEVELIT 유니티와 OpenAI API로 만드는 인공지능 NPC

 

LEVELIT 유니티와 OpenAI API로 만드는 인공지능 NPC | 박재환 | 제이펍 - 예스24

 

 

[책 소개]

 

「LEVELIT 유니티와 OpenAI API로 만드는 인공지능 NPC」는 Unity 기반 게임 개발 환경에서 생성형 AI를 활용하여 플레이어와 실제로 상호작용하는 NPC를 만드는 과정을 다룬 책이다. ChatGPT를 이용한 대화형 NPC 구현을 시작으로 Whisper API를 활용한 음성 인식, TTS 기반 음성 출력, DALL·E 이미지 생성, 립싱크 및 얼굴 애니메이션까지 이어지면서 NPC가 말하고, 듣고, 반응하는 흐름을 하나의 프로젝트 맥락 안에서 설명한다.

 

LEVELIT 유니티와 OpenAI API로 만드는 인공지능 NPC

 

실제 게임 안에서 NPC를 완성해 가는 과정에 맞춰 필요한 기술들을 자연스럽게 안내하고, 플레이어와의 대화가 어떻게 이어지는지, 음성 입력과 출력이 어떻게 연결되는지, 시각적 표현과 기억(프롬프트 캐싱)이 어떤 식으로 작동하는지를 코드와 예제를 통해 단계적으로 따라갈 수 있도록 설명한다. 또한, OpenAI, Google, Meta, Claude, Naver Clova 등 대표적인 AI API의 특징과 비용을 비교하는 내용부터 시작해 어떤 상황에서 어떤 기술을 선택하는 게 좋은지에 대한 기준도 함께 제시하고 있다.

 

 

[추천 독자]

 

• 유니티 6와 OpenAI API를 활용해 말 걸면 답하는 NPC나 AI 동료 캐릭터를 만들고 싶은 게임 개발자
• AI 기반 교육 콘텐츠, 버튜버, 가상 인플루언서 등 실시간 상호작용 캐릭터를 기획하고 있는 창작자
• 유니티와 C# 기초는 아는데 AI NPC를 어디서부터 손대야 할지 모르는 초보 개발자
• 메타버스 플랫폼이나 인터랙티브 콘텐츠에서 AI 캐릭터를 도입하려는 기획자, 프로덕트 오너, UX 디자이너
• 최신 AI 기술을 구체적인 유니티 프로젝트로 학습하고 싶은 학생과 현업 실무자

 

Unity를 마지막으로 사용해봤던 게 2023년이긴 하지만 유니티랑 C#에 대해 공부했었던 덕분인지 책 속 이론과 실습을 따라가는 데 어렵지는 않았던 것 같다. (그 사이에 Unity 환경에 매우 깔끔해져서 신기했다.) 다만 도서 정보에 있는 것과 같이 유니티와 C#에 대한 지식이 전무하다면 어렵게 느껴질 수 있을 것 같다. 적어도 프로그래밍에 대한 경험이 있으면 책 속 설명 보면서 차근차근 따라갈 수 있을 것 같다는 생각이 들었다.

 

 

[책 목차 소개]

 

책 목차도 AI 설명 - AI API 설명 - NPC 구현 실습 - 프롬프트 엔지니어링 - AI의 미래 순으로 구성되어 있다. 책 앞 부분에 전반적인 마일스톤에 대해 요약해 놓은 페이지가 있는데, 이 책이 어떤 단계를 거쳐서 최종 목표(= Open AI API를 활용한 게임 NPC 만들기)에 도달하는지 이해하기 쉬웠다. 아래는 「LEVELIT 유니티와 OpenAI API로 만드는 인공지능 NPC」의 전체 목차이다.

 

LEVELIT 유니티와 OpenAI API로 만드는 인공지능 NPC - 목차

 

1. LEVEL 1 대표 AI API 비교 분석
2. LEVEL 2 Text generation API를 사용하여 인공지능 대화형 NPC 구현하기
3. LEVEL 3 Whisper API 사용하기
4. LEVEL 4 TTS API 사용하기
5. LEVEL 5 Image Generation API 사용하기
6. LEVEL 6 립싱크 기술로 구현하는 음성 기반 인공지능 NPC 얼굴 애니메이션
7. LEVEL 7 인터랙션 인공지능 캐릭터 만들기
8. LEVEL 8 프롬프트 엔지니어링
9. LEVEL 9 AI의 미래, 그리고 진화하는 NPC

 

게임과 관련되어서 그런지 책 컨셉도 그렇고 전반적인 디자인이 픽셀 스타일로 되어 있어서 더 귀엽고 눈이 간다. 요즘 이렇게 감각적인 디자인의 도서들이 많이 보이는데, 독자의 입장에서 더 읽고 싶게 만드는 포인트 중 하나라고 생각한다. 더 몰입감이 느껴진다고 해야하나. 뭔가 마인크래프트 같기도 하고 메이플스토리가 생각나기도 하고 너무 귀엽다.

 

 

[책을 읽고 나서]

 

앞서 작성한 바와 같이 AI를 게임 안에 어떻게 자연스럽게 넣을 수 있을지가 가장 궁금한 부분이었는데, Unity 프로젝트 안에서 실제로 어떤 순서로 적용되고 어떤 역할을 하는지 설명되어 있어서 이해하기 쉬웠다. 아무리 Unity를 해본 경험이 있어도 지금은 그때보다 변화한 부분도 많고 인공지능을 공부하다 보니 대부분 Python 으로 프로그래밍을 하고 있어서 까먹은 부분이 많았기 때문이다. 그래도 중간에 '지식 포션' 항목을 보면서 어느 정도 개념을 복기할 수 있었다.

 

LEVELIT 유니티와 OpenAI API로 만드는 인공지능 NPC - LEVEL 3 Whisper API 사용하기

 

가장 인상 깊었던 부분 중 하나는 추천사에서 언급된 내용이었는데, '일상에서 사용하는 제품이나 서비스를 게임 속 NPC처럼 구현한다면 제품을 처음 접하는 사용자나 잠재 고객에게 더 직관적인 가이드를 제공할 수 있지 않을까'라고 적혀있었다. 책 속에 나와있는 예제를 이용해서 사용자와 실시간으로 상호 작용하면서 온보딩을 도우는 그런 서비스를 만들어도 재밌겠다는 생각이 들었다. 나에게 게임과 AI의 활용 가능성을 새로운 시야에서 바라볼 수 있도록 한 부분이었다.

 

그리고 요즘 게임과 AI를 결합한 사례가 많이 보이지만, 이 책처럼 Whisper API나 이미지 생성 API를 활용하여 상호 작용 가능한 콘텐츠를 만드는 프로세스를 정리한 책은 아직 없었던 것 같다. 그래서 그런지 단순히 이런 기술이 있구나 보다는 이 기술을 이 분야에 접목하여 새로운 서비스나 프로덕트를 창출할 수 있겠구나 생각이 들었다.

 

 

지금 음성 언어 처리를 기반으로 한 프로젝트를 진행하고 있어서 이 책을 읽게 되었는데, 기술 부분은 그대로 유지하되 이미지 생성 기술을 추가적으로 활용한다면 메타버스 기반 콘텐츠를 만들 수 있을 것 같다. 혹은 어시스턴트나 다른 형태의 인터랙티브 프로젝트로 확장 가능하지 않을까 싶다. 다만 현재 작업 중인 프로젝트는 Unity 기반이 아니라서 코드 수정이 매우 많이 필요할 것 같아서, 예제 보면서 실습했던 프로젝트에서 실험을 해봐야겠다.

 

1월 중순부터 책을 쭉 읽어보면서 느꼈던 생각을 정리하자면, 이 책은 새로운 기술을 많이 알려주기보다는 NPC를 바라보는 관점을 바꿔준다. AI를 활용해 게임 속 캐릭터를 더 살아 있는 존재로 만들고 싶다면 충분히 참고해볼 만 책이다. 프로그래밍 경험이 있다면 충분히 따라갈 수 있는 난이도에, 지금 AI 트렌드 중 하나인 Agent와도 접목할 수 있어 흥미롭게 느껴질 것이다.

 

* 서평단 활동을 기반으로 작성된 글입니다.