프로젝트 배경
1) 문제점
- 고성능 시멘틱 세그멘테이션 모델의 높은 계산 복잡도로 인한 엣지 디바이스 배포 어려움
- 실시간 처리가 필요한 자율주행, CCTV 분석 등에서 클라우드 의존으로 인한 지연시간 문제
- 기존 경량화 연구가 인코더에만 집중되어 디코더의 연산 효율성 개선 미흡
2) 프로젝트 목표
- 디코더 최적화: 가중 합(Weighted Sum) 기반 효율적 디코더로 연산량 70% 이상 감소
- 엣지 배포 최적화: 다양한 엣지 디바이스에서 실시간(30FPS 이상) 추론 가능
- 정확도 유지: 연산량 감소에도 mIoU 95% 이상 성능 유지
3) 주안점
- 특징 맵(Feature Map) 간 상관관계 분석을 통한 중복 연산 제거
- 채널별 가중치 학습을 통한 효율적 특징 융합
- 고성능 시멘틱 세그멘테이션 모델의 높은 계산 복잡도로 인한 엣지 디바이스 배포 어려움
- 실시간 처리가 필요한 자율주행, CCTV 분석 등에서 클라우드 의존으로 인한 지연시간 문제
- 기존 경량화 연구가 인코더에만 집중되어 디코더의 연산 효율성 개선 미흡
2) 프로젝트 목표
- 디코더 최적화: 가중 합(Weighted Sum) 기반 효율적 디코더로 연산량 70% 이상 감소
- 엣지 배포 최적화: 다양한 엣지 디바이스에서 실시간(30FPS 이상) 추론 가능
- 정확도 유지: 연산량 감소에도 mIoU 95% 이상 성능 유지
3) 주안점
- 특징 맵(Feature Map) 간 상관관계 분석을 통한 중복 연산 제거
- 채널별 가중치 학습을 통한 효율적 특징 융합
프로젝트 성과
모델 연산량 71% 감소
ConvNeXt 기반 UperNet 디코더 대비 WSDecoder 적용으로 전체 모델 연산량 71% 감소, 디코더 단독 연산량은 98% 이상 감소 달성
엣지 추론 속도 향상
NVIDIA Jetson Orin에서 기존 모델 대비 5.2배 빠른 추론 속도로 실시간 처리(35 FPS) 실현
핵심 기능

적응형 게이트 메커니즘
입력 이미지의 특성에 따라 동적으로 가중치를 조정하는 Gated Decoder로 다양한 환경에서의 강건성 확보
진행 단계
기술 연구 및 분석
2023.04.
- 최신 세그멘테이션 모델(SegFormer, ConvNeXt, DeepLabV3+) 디코더 구조 분석
- 특징 맵 상관관계 및 주성분 분석(PCA) 수행
- 특징 맵 상관관계 및 주성분 분석(PCA) 수행
디코더 아키텍처 설계
2023.05.
- 가중 합 기반 특징 융합 방법론 개발
- Channel-wise/Grouped Blueprint/Gated 변형 설계
- MMSegmentation 프레임워크 통합
- Channel-wise/Grouped Blueprint/Gated 변형 설계
- MMSegmentation 프레임워크 통합
모델 학습 및 최적화
2023.05.
- ADE20K, Cityscapes, COCO-Stuff 데이터셋 학습
- 하이퍼파라미터 튜닝 및 ablation study
- 논문 작성
- 하이퍼파라미터 튜닝 및 ablation study
- 논문 작성
프로젝트 상세
1) 포트폴리오 소개
- 자율주행 및 영상 분석 시스템을 위한 경량화 시멘틱 세그멘테이션 모델 개발 - 엣지 디바이스에서 실시간 처리가 가능한 고효율 디코더 아키텍처 연구 및 최적화
2) 작업 범위
- 딥러닝 모델 개발: WSDecoder 아키텍처 설계 및 PyTorch 구현
- 모델 최적화: ONNX 변환 및 TensorRT 최적화를 통한 추론 속도 개선
- 실험 및 검증: ADE20K, Cityscapes, COCO-Stuff 데이터셋 학습 및 성능 평가
- 엣지 배포: NVIDIA Jetson 시리즈 등 엣지 디바이스 최적화
- 연구 개발: MMSegmentation 프레임워크 통합 및 논문 작성
3) 주요 업무
- 가중 합 기반 디코더 설계: 특징 맵 융합을 위한 WSDecoder 아키텍처 개발
- 다중 변형 모델 구현: Channel-wise, Grouped Blueprint, Gated 방식의 3가지 변형 모델
- 주성분 분석(PCA): 특징 맵 상관관계 분석을 통한 중복 연산 제거
- 적응형 게이트 메커니즘: 입력 이미지 특성에 따른 동적 가중치 조정 시스템
- 벤치마크 테스트: SegFormer, ConvNeXt, DeepLabV3+ 등 주요 모델과 성능 비교
4) 주안점
- 연산 효율성 극대화: 디코더 연산량 98% 감소로 엣지 디바이스 실시간 처리 실현
- 정확도 보존: FLOPs 71% 감소에도 mIoU 95% 이상 성능 유지
- 범용성 확보: 다양한 백본 네트워크(ConvNeXt, SegFormer 등)와 호환 가능한 플러그인 구조
- 실용성 중심: NVIDIA Jetson에서 35 FPS 달성으로 자율주행 및 CCTV 실시간 분석 가능
- 자율주행 및 영상 분석 시스템을 위한 경량화 시멘틱 세그멘테이션 모델 개발 - 엣지 디바이스에서 실시간 처리가 가능한 고효율 디코더 아키텍처 연구 및 최적화
2) 작업 범위
- 딥러닝 모델 개발: WSDecoder 아키텍처 설계 및 PyTorch 구현
- 모델 최적화: ONNX 변환 및 TensorRT 최적화를 통한 추론 속도 개선
- 실험 및 검증: ADE20K, Cityscapes, COCO-Stuff 데이터셋 학습 및 성능 평가
- 엣지 배포: NVIDIA Jetson 시리즈 등 엣지 디바이스 최적화
- 연구 개발: MMSegmentation 프레임워크 통합 및 논문 작성
3) 주요 업무
- 가중 합 기반 디코더 설계: 특징 맵 융합을 위한 WSDecoder 아키텍처 개발
- 다중 변형 모델 구현: Channel-wise, Grouped Blueprint, Gated 방식의 3가지 변형 모델
- 주성분 분석(PCA): 특징 맵 상관관계 분석을 통한 중복 연산 제거
- 적응형 게이트 메커니즘: 입력 이미지 특성에 따른 동적 가중치 조정 시스템
- 벤치마크 테스트: SegFormer, ConvNeXt, DeepLabV3+ 등 주요 모델과 성능 비교
4) 주안점
- 연산 효율성 극대화: 디코더 연산량 98% 감소로 엣지 디바이스 실시간 처리 실현
- 정확도 보존: FLOPs 71% 감소에도 mIoU 95% 이상 성능 유지
- 범용성 확보: 다양한 백본 네트워크(ConvNeXt, SegFormer 등)와 호환 가능한 플러그인 구조
- 실용성 중심: NVIDIA Jetson에서 35 FPS 달성으로 자율주행 및 CCTV 실시간 분석 가능

가중 합 기반 특징 결합 디코더 응용 방식 개요

특징 맵 결합 입출력 시각화 및 특징 맵 별 주성분 분석 결과

KCI 등재(정보과학회 컴퓨팅의 실제 논문지)

우수발표논문상(2023 한국컴퓨터종합학술대회)