요모챗(YOMO Chat)은 메타버스 환경과 디지털 아바타 기술의 발전 속도에 발맞춰, 사용자 간의 자연스러운 실시간 커뮤니케이션을 가능하게 하는 새로운 형태의 웹 기반 인터랙티브 챗팅 시스템입니다. 기존 메신저나 화상회의 솔루션은 텍스트나 실사 기반 영상 중심으로 감정 표현이나 비언어적 소통에 한계가 있었으나, 요모챗은 이러한 한계를 극복하고자, 아바타를 통해 음성과 함께 얼굴 표정 및 상체 포즈를 실시간으로 전달하는 방식을 채택하였습니다. 이 시스템은 브라우저에서 바로 사용 가능하며, 얼굴을 직접 드러내지 않아도 감정과 의사를 자연스럽게 표현할 수 있어 프라이버시를 보호하면서도 몰입도 높은 커뮤니케이션을 제공합니다.

또한, 메타버스 기반 가상 오피스나 소셜 플랫폼 등 다양한 환경에서도 활용 가능한 범용성과 확장성을 고려하여 설계되었습니다. 본 정부지원 사업 과제를 통해 개발하고자 하는 MVP의 핵심 기능은, WebRTC를 활용한 실시간 음성 전송과 함께 브라우저 내 안면 인식 기술(MediaPipe + Kalidokit)을 활용하여 사용자 표정과 상체 포즈를 추출하고 이를 VRM 기반 3D 아바타(GLTF morph 값)로 반영하는 기술입니다. 사용자 정보나 가상화폐 등 기타 부가 기능은 프론트엔드에서 더미 데이터로 대체하고, 핵심 기능의 완성도에 집중한 프로토타입을 구현 되었습니다. 백엔드는 NestJS와 PostgreSQL, TypeORM을 기반으로 하고, 프론트엔드는 Next.js, Three.js, Tailwind CSS를 중심으로 구축되며, 실시간 WebRTC 통신과 3D 인터랙션이 원활하게 작동하도록 통합되었습니다.

<백앤드

NestJS+PostgreSQL+TypeORM
WebRTC 음성 챗팅 기능
이메일 인증 회원가입

<프론트앤드

Next.js
Three.js: VRM 렌더링 및 3D 인터랙션
MediaPipe+Kalidokit : 브라우저 내 안면 인식 처리 후 VRM에 처리
WebRTC 실시간 보이스 채팅 (브라우저 간 연결)
Tailwind CSS