프로젝트 배경
1) 문제점
- 기존 성형외과 상담은 정면 사진이나 수기 상담 위주로 진행되어,
- 시술 결과에 대한 예측력이 떨어지고 고객의 이해도 및 만족도가 낮았습니다.
- 또한, 대부분의 가상 성형 앱은 단순한 2D 필터 방식이어서 실제 얼굴 구조를 반영한 시뮬레이션에 한계가 있었습니다.
2) 프로젝트 목표
- 정면 및 측면 이미지를 기반으로 3D 얼굴 메쉬를 자동 생성하고,
- 사용자가 직접 눈, 코, 턱 등의 부위를 조정해 Before/After 결과를 실시간으로 확인할 수 있는 성형 시뮬레이션 엔진을 개발하는 것이 목표였습니다.
- 해당 기술은 성형외과 및 피부과 상담에서 정밀도 높은 시각적 설명 도구로 활용됩니다.
3) 주안점
-실제 사용자 사진을 기반으로 한 정밀한 3D 얼굴 생성 정확도 확보
- 동양인 얼굴 구조에 적합한 눈/코/턱 조정 알고리즘 커스터마이징
- 쌍꺼풀 표현 등 미세한 뷰티 포인트까지 반영 가능한 구조 설계
- 모바일 적용을 고려한 엔진 경량화 및 처리 속도 개선
- 향후 SaaS 서비스화와 병원 연동을 고려한 API 중심 설계
- 기존 성형외과 상담은 정면 사진이나 수기 상담 위주로 진행되어,
- 시술 결과에 대한 예측력이 떨어지고 고객의 이해도 및 만족도가 낮았습니다.
- 또한, 대부분의 가상 성형 앱은 단순한 2D 필터 방식이어서 실제 얼굴 구조를 반영한 시뮬레이션에 한계가 있었습니다.
2) 프로젝트 목표
- 정면 및 측면 이미지를 기반으로 3D 얼굴 메쉬를 자동 생성하고,
- 사용자가 직접 눈, 코, 턱 등의 부위를 조정해 Before/After 결과를 실시간으로 확인할 수 있는 성형 시뮬레이션 엔진을 개발하는 것이 목표였습니다.
- 해당 기술은 성형외과 및 피부과 상담에서 정밀도 높은 시각적 설명 도구로 활용됩니다.
3) 주안점
-실제 사용자 사진을 기반으로 한 정밀한 3D 얼굴 생성 정확도 확보
- 동양인 얼굴 구조에 적합한 눈/코/턱 조정 알고리즘 커스터마이징
- 쌍꺼풀 표현 등 미세한 뷰티 포인트까지 반영 가능한 구조 설계
- 모바일 적용을 고려한 엔진 경량화 및 처리 속도 개선
- 향후 SaaS 서비스화와 병원 연동을 고려한 API 중심 설계
프로젝트 성과
정면사진 기반 고정밀 3D 얼굴 생성 알고리즘 구현
단 1장의 이미지(정면, 측면)만으로 사용자의 얼굴을 정밀하게 복원하는 3D 메쉬 생성 기술을 구현하였습니다.
기존 3DMM 기반 모델을 커스터마이징하고, Landmark 위치 정합도를 개선하여 높은 적합도 확보.
기존 3DMM 기반 모델을 커스터마이징하고, Landmark 위치 정합도를 개선하여 높은 적합도 확보.
사용자 조작 기반 필러 및 정점 조정 시뮬레이션 기능 개발
코 길이·높이, 콧대 각도 등을 사용자가 직접 드래그하거나 필러인터페이스로 조정할 수 있는 실시간 인터랙션 기능을 개발하였습니다. 조정 결과는 실시간으로 반영되어 Before/After 효과를 직관적으로 확인 가능
핵심 기능
정면 이미지 기반 3D 얼굴 자동 생성
- 사용자의 정면 이미지를 입력으로 받아 3D Morphable Model 기반으로 얼굴의 전체 구조를 자동으로 복원합니다.
- 결과물은 OBJ + MTL + 텍스처 포맷으로 출력됩니다.
- 결과물은 OBJ + MTL + 텍스처 포맷으로 출력됩니다.
코 필러 시뮬레이션 기능
- Z축 방향의 메쉬 높이를 조절하여, 필러 주입에 의한 코 높이 및 코끝 볼륨 변화를 정밀하게 시뮬레이션 가능.
- 사용자의 입력에 따라 콧대, 코끝, 콧망울 등 세부 위치에 차등 적용할 수 있습니다.
- 사용자의 입력에 따라 콧대, 코끝, 콧망울 등 세부 위치에 차등 적용할 수 있습니다.
Before/After 결과 실시간 비교 인터페이스
- 사용자가 조정 전후의 얼굴을 스탬프 이미지의 형태로 각도 별로 동시에 비교할 수 있도록 실시간 인터페이스를 구성하였습니다.
- 렌더링은 DirectX11 기반으로 구현되었습니다.
- 렌더링은 DirectX11 기반으로 구현되었습니다.
진행 단계
기술 검토 및 사전 기획
2024.06.
- 국내외 3D 얼굴 생성 및 성형 시뮬레이션 기술 트렌드 조사
- 기존 성형외과의 상담 방식(2D 기반)의 한계점 분석
- AI 기반 정밀 얼굴 분석 및 시뮬레이션의 적용 가능성 도출
- 기존 성형외과의 상담 방식(2D 기반)의 한계점 분석
- AI 기반 정밀 얼굴 분석 및 시뮬레이션의 적용 가능성 도출
얼굴 3D 모델 생성 기술 개발
2024.06.
- eos 기반 3DMM 모델을 커스터마이징하여 정면+측면 이미지 입력만으로 3D 얼굴 자동 생성 기능 개발
- OBJ + 텍스처 형식의 고해상도 출력 포맷 구현
- 실시간 생성 시간 30~50초 내외 확보
- OBJ + 텍스처 형식의 고해상도 출력 포맷 구현
- 실시간 생성 시간 30~50초 내외 확보
얼굴 부위 조정 기능 알고리즘 개발
2024.06.
- 코, 턱, 이마 부위를 개별적으로 조정할 수 있는 Landmark 기반 조작 알고리즘 설계
프로젝트 상세
1) 포트폴리오 소개 : AI 기반 3D 얼굴 분석 및 성형 시뮬레이션 R&D 프로젝트입니다.
정면 이미지 기반으로 개인의 얼굴을 고해상도 3D 모델로 자동 생성하고, 코, 턱, 이마 등 주요 부위를 자유롭게 조정할 수 있는 인터랙티브 성형 시뮬레이션 기술을 개발하였습니다.
해당 기술은 실제 성형외과 상담에 적용 가능한 수준의 시각적 정확도와 피부 렌더링 정밀도를 갖추고 있으며,
국내 및 미국에서 특허를 확보한 자체 기술입니다.
2) 작업 범위 :
- 얼굴 정면 이미지 기반 3D 메쉬 자동 생성
- Landmark 기반 얼굴 분석 및 부위별 조정 기능 구현 (눈, 코, 턱 등)
- 사용자 조작에 따른 실시간 Before/After 시뮬레이션
- 고해상도 피부 렌더링 기술 적용
- 외부 플랫폼 연동을 위한 API/SDK 설계
- AI 학습 모델 개선 및 성능 최적화
3) 주요 업무 : 총괄 개발
- 정면 이미지 입력 기반 3D 얼굴 재구성 알고리즘 설계 및 구현
- 코 필러 등 주요 미용 시술에 대한 형태 변화 시뮬레이션 처리
- DirectX11 기반 고해상도 렌더링 시스템 개발
- CUDA11 기반 병렬 처리 적용을 통한 실시간 시뮬레이션 최적화
- 테스트 사용자 기반 정밀도 향상 및 오류 케이스 분석
4) 주안점 :
- 정면 이미지만으로 정밀한 3D 모델을 생성하는 AI 알고리즘 정교화
- 실제 성형외과와 협의한 주요 시술 범위(코, 턱, 이마 등)에 맞춘 사용자 인터랙션 설계
- 3D 메쉬와 텍스처의 정합성을 높여 실사용자에게 신뢰감 주는 시각 결과 확보
- 고성능 GPU 및 병렬 연산을 활용해 모바일 적용을 고려한 경량화 방향까지 테스트
5) 성능평가
- 얼굴인식 정확도 : 93.85 %
- UV Texture 해상도 : 4,096 * 4,096 pixel
- Facial object 편집의 정밀도 : 소수점 이하 5 자리
- 초당 프레임 (tesellation) : 527.9 fps
- GPU 메모리 사용량 : 1,638 MB
정면 이미지 기반으로 개인의 얼굴을 고해상도 3D 모델로 자동 생성하고, 코, 턱, 이마 등 주요 부위를 자유롭게 조정할 수 있는 인터랙티브 성형 시뮬레이션 기술을 개발하였습니다.
해당 기술은 실제 성형외과 상담에 적용 가능한 수준의 시각적 정확도와 피부 렌더링 정밀도를 갖추고 있으며,
국내 및 미국에서 특허를 확보한 자체 기술입니다.
2) 작업 범위 :
- 얼굴 정면 이미지 기반 3D 메쉬 자동 생성
- Landmark 기반 얼굴 분석 및 부위별 조정 기능 구현 (눈, 코, 턱 등)
- 사용자 조작에 따른 실시간 Before/After 시뮬레이션
- 고해상도 피부 렌더링 기술 적용
- 외부 플랫폼 연동을 위한 API/SDK 설계
- AI 학습 모델 개선 및 성능 최적화
3) 주요 업무 : 총괄 개발
- 정면 이미지 입력 기반 3D 얼굴 재구성 알고리즘 설계 및 구현
- 코 필러 등 주요 미용 시술에 대한 형태 변화 시뮬레이션 처리
- DirectX11 기반 고해상도 렌더링 시스템 개발
- CUDA11 기반 병렬 처리 적용을 통한 실시간 시뮬레이션 최적화
- 테스트 사용자 기반 정밀도 향상 및 오류 케이스 분석
4) 주안점 :
- 정면 이미지만으로 정밀한 3D 모델을 생성하는 AI 알고리즘 정교화
- 실제 성형외과와 협의한 주요 시술 범위(코, 턱, 이마 등)에 맞춘 사용자 인터랙션 설계
- 3D 메쉬와 텍스처의 정합성을 높여 실사용자에게 신뢰감 주는 시각 결과 확보
- 고성능 GPU 및 병렬 연산을 활용해 모바일 적용을 고려한 경량화 방향까지 테스트
5) 성능평가
- 얼굴인식 정확도 : 93.85 %
- UV Texture 해상도 : 4,096 * 4,096 pixel
- Facial object 편집의 정밀도 : 소수점 이하 5 자리
- 초당 프레임 (tesellation) : 527.9 fps
- GPU 메모리 사용량 : 1,638 MB


